AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者来自香港大学和腾讯。作者列表：李沁桐，LeyangCui，赵学亮，孔令鹏，WeiBi。其中，第一作者李沁桐是香港大学自然语言处理实验室的博士生，研究方向涉及自然语言生成和文本推理，与博士生赵学亮共同师从孔令鹏教授。LeyangCui和WeiBi是腾讯高级研究员。

大型语言模型（LLMs）在解决问题方面的非凡能力日益显现。最近，一个值得关注的现象是，这些模型在多项数学推理的基准测试中获得了惊人的成绩。以GPT-4为例，在高难度小学应用题测试集GSM8K[1]中表现优异，准确率高达90%以上。同时，许多开源模型也展现出了不俗的实力，准确率超过80%。

然而在使用中我们经常会发现，当数学问题稍作改变时，LLMs可能会出现一些低级错误，如下图所示：

图1：GPT-3.5-Turbo正确解答了一个数学问题（左），但当在原问题的基础上添加一个限制条件（右）时，Turbo因为没有正确区分“离开”和“返回”的方向，而误用运算符出错。

我们不禁要问：大型语言模型是否真的掌握了数学知识的精髓？它们是如何在这些测试中取得如此高分的？难道仅仅是因为模仿了大量训练数据中的表面推理模式吗？LLMs是否真正理解数学概念，仍是一个值得探讨的问题。

为了探究这一问题，本文作者设计了一个评估基准GSM-Plus。这个测试旨在对一个问题进行8种不同的细粒度数学变换，系统地评估当前LLMs在处理基础数学应用题时的能力。在这一全新的基准测试中，论文对25个不同的LLMs进行了严格评测，包括业界的开源和闭源模型。

实验结果表明，对于大多数LLMs来说，GSM-Plus是一个具有挑战性的基准测试。即便是在GSM8K上，GPT-3.5-Turbo已能取得73.62%的准确率，但在GSM-Plus上仅能达到61.19%的准确率。本文工作已经以4，4，4.5分被ACL2024录用。

论文标题：GSM-Plus:AComprehensiveBenchmarkforEvaluatingtheRobustnessofLLMsasMathematicalProblemSolvers

论文地址：https://arxiv.org/pdf/2402.19255

论文主页：https://qtli.github.io/GSM-Plus/

背景

数学推理是人工智能发展的重要证明。它需要严格的问题理解、策略制定和计算执行能力。在过去几年中，诸多公开数据集被用于评估人工智能系统的数学推理能力。早期的数学数据集侧重于基于方程的数学问题。随后，更难的数据集被引入，涵盖了小学、高中和大学水平的数学问题。

随着评测数据难度的不断提高，LLMs的发展也变得十分迅速。为了提升LLMs在数学领域的性能，可以通过在多样化的任务数据上进行训练，使用监督微调（SFT）来快速帮助LLMs适应到数学领域。在推理阶段，通过设计巧妙的输入提示（例如，Chain-of-Thought和Program-of-Thought）也可以有效激发LLMs的数学能力。

对于大多数LLMs而言，面对高中及以上的数学问题仍有很大的提升空间。然而，在小学数学领域，LLMs已经展现出巨大的潜力。这让我们不禁思考，在现实环境中LLMs是否能依然保持高性能？

对抗性评测数据集GSM-Plus

本研究旨在推出一个综合性基准测试GSM-Plus，以系统地检验LLMs在解决基础数学问题时的鲁棒性。受Polya原则[2]中解决数学问题的能力分类法的启发，本文确定了五个方面的指导原则用于构建GSM-Plus数据集：

为了便于理解，此处以「珍妮特的鸭子每天下16个蛋。她每天早上吃三个蛋作为早餐，并且用四个蛋烤松饼给她的朋友。她每天以每个鸭蛋2美元的价格在农贸市场出售剩余的蛋。她每天在农贸市场上赚多少美元？」问题为例。

（1）数值变化：指改变数值数据或其类型，本文定义了三个子类别：

数值替换：在同等数位和类型下替换数值，例如将问题中的“16”替换为“20”。

数位扩展：增加数值的位数，例如将“16”替换为“1600”。

整数-小数-分数转换：将整数更换为小数或分数，例如将“2”转换为“2.5”。

（2）算术变化：指对数学问题引入额外的运算或者进行反转，但只限于加、减、乘、除运算：

运算扩充：在原问题基础上增加限制条件。例如，增加新条件“她每天还会使用两个鸡蛋自制发膜”。

运算逆转：将原问题的某个已知条件转换为GSM-Plus变体问题的待求解变量。例如，图2中原问题的陈述“每个鸭蛋2美元”转换为新问题的疑问句“每个鸭蛋的价格是多少？”，而原问题疑问句”每天在农贸市场上赚多少美元？”则转换为新问题的已知条件”她每天在农贸市场赚18美元”

（3）问题理解：指在意思不变的前提下，用不同词句重新表述数学问题，如”珍妮特养了一群鸭子，这些鸭子每天产16个鸭蛋。她早餐消耗三个鸭蛋，然后消耗四个鸭蛋烤松饼给她的朋友。珍妮特在农贸市场上以每个新鲜的鸭蛋2美元的价格将剩余的鸭蛋全部出售。她每天通过在农贸市场出售鸭蛋赚多少钱？”

（4）干扰项插入：指将与主题相关、包含数值但对求解无用的句子插入到原问题中，如”珍妮特还想用两个鸭蛋喂养她的宠物鹦鹉，所幸她的邻居每天送她两个鸭蛋用于喂养鹦鹉”。

（5）批判性思维：侧重于当数学问题缺乏必要条件时，LLMs是否具有提问或怀疑能力，例如”珍妮特的鸭子每天都会下蛋。她每天早上吃三个蛋作为早餐，并且每天用四个蛋烤松饼给她的朋友。她每天以每个鸭蛋2美元的价格在农贸市场出售剩余的蛋。她每天在农贸市场上赚多少美元？”。

基于GSM8K的1,319个测试问题，本文为每个问题创建了八个变体，从而生成了包含10,552个问题变体的GSM-Plus数据集（本文还提供了一个包含2,400个问题变体的测试子集，以便快速评测）。通过使用每个问题及其八个变体测试LLMs，GSM-Plus可以帮助研究人员全面评估LLMs在解决数学问题中的鲁棒性。

图2：基于一个种子数学题，使用5个角度的8种扰动生成问题变体。主要修改内容以绿色标出。

通过使用GSM-Plus评估25个不同规模、不同预训练方式、不同任务微调的LLMs，以及组合4种常用的提示技术，本文发现LLMs整体上可以准确解决GSM8K问题，但在回答GSM-Plus中的变体问题时会遇到明显困难。主要发现如下：

任务特定的优化，即在数学相关的数据集上微调，通常可以提高下游任务准确性；而鲁棒性的高低更多地取决于基础模型和微调数据集的选择。

当需要“批判性思维”、涉及“算术变化”和“干扰因素插入”时，LLMs的性能会迅速下降；但对于“数值变化”和“问题理解”的扰动，LLMs的性能比较稳定。

先前的提示技术（例如，CoT，PoT，LtM和Complexity-basedCoT）对于鲁棒性增强作用不显著，特别是对于“算术变化“和”批判性思维”。在前人工作的基础上，本文进一步探索了一种组合提示方法，通过迭代生成和验证每个推理思维，可以同时提升LLMs在GSM8K和GSM-Plus上的性能。

GSM-Plus特点

质量保证：采用两阶段生成GSM-Plus评测题。首先，利用GPT-4的问题改写能力生成问题变体，然后为这些变体生成候选答案；为确保数据质量，所有由GPT-4生成的问题变体和答案都要经过人工标注团队进行严格检查。人工标注团队修正了18.85%的GPT-4改写的问题。

细粒度评估：对于主流评测数据集GSM8K的每个测试题，GSM-Plus提供了8个扰动方向的变体问题，充分测试了在不同上下文下，大模型灵活解决数学应用题的能力。

挑战性：相比于GSM8K，GSM-Plus的问题变体更具挑战性，所有参与评估的LLMs的性能都显著下降。在接下来的分析中，本文会特别分析LLMs在不同类型扰动下的解题鲁棒性。

与其他小学数学应用题数据的比较

表1：不同颜色代表不同的扰动类型：

从上表可以看出，先前的研究使用不同的扰动来检验数学推理的鲁棒性，但是评估设置仅涵盖部分扰动类型，且大多是通过自动方法构建引入扰动，质量难以保证。相比之下，GSM-Plus使用八种不同的数学推理技能对单一问题进行扰动，覆盖面更全，且经过严格的质量控制。

实验分析

评测指标

性能下降率（PDR）：与原问题相比，LLMs在扰动后的问题上的性能下降程度。

同时解决的问题对的百分比（ASP）：原问题及其对应的某个问题变体均被LLMs正确解答的比例。

整体性能

如下表所示，相较于GSM8K，大多数LLMs在GSM-Plus上的性能都大幅下降。

GPT-4表现出最高的鲁棒性，其PDR最小仅为8.23％。而CodeLlama的PDR最大，其中7B、13B和34B的模型分别为40.56％、39.71％和34.27％，超过了其基座模型LLaMA-2-7B（39.49％），以及在其上微调的数学SFT模型，如SEGO-7B（34.91％）。这表明仅使用程序语言推理对于扰动是很脆弱的。

在面对数学扰动时，模型规模越大，性能越稳定。虽然监督微调可以提高在下游任务上的准确率，但并不能显著增强模型对于扰动的鲁棒性（即更低的PDR）。监督微调的数据对于鲁棒性非常重要。同样是基于LLaMA-2进行微调，使用不同的数据，会导致模型的准确率和鲁棒性具有较大差异。

表2：整体性能

细粒度实验分析

不同扰动下LLMs的性能表现

本文进一步评估了LLMs在8种问题变体下的性能稳定性。与人类基线相比，对于“批判性思维”（紫色）、“运算扩充”和“运算逆转”（蓝色）、“干扰项插入”（粉色）以及“整数-小数-分数转换”（橙色）扰动，LLMs性能下降明显。而对于“数值替换”和“问题理解”，LLMs的性能稳定，甚至有轻微的提升。

图3：细粒度实验分析

数学推理能力的迁移性

前面的分析主要基于数据集整体。接下来，本文根据数学题是否被正确回答将2个数据集分割，分析当LLMs成功解决GSM8K问题时，是否意味着正确回答GSM-Plus变体问题的可能性变高（即高ASP值），反之亦然。如果这种断言成立，可以认为LLMs在这类特定的数学题子集上性能稳定，即使在整个数据集上并非如此。在实验设置中，每个GSM8K问题及其在GSM-Plus中的变体转化为8个问题对，结果如图4所示。

图4：LLMs在GSM8K和GSM-Plus问题对之间的推理可迁移性。紫色（均正确）和蓝色（均错误）的条形图表示一致的模型行为，而红色（GSM8K正确&GSM-Plus错误）和黄色（GSM8K错误&GSM-Plus正确）的条形图则表示不一致的模型行为。紫色和红色条形图的高度和表示LLMs正确解决GSM8K问题的数量。

红色条形图的存在（LLMs正确回答原问题，但未解决变体问题），表明大多数模型的性能可迁移性有限。虽然LLMs在GSM8K问题上性能有所差异（紫色和红色条形图的高度），但性能可迁移性相似（红色条形图的高度）。这意味着现有的基准测试无法准确评估模型在数学推理方面的真实能力。高准确率并不等价于强大的推理鲁棒性。

提示对于LLMs性能鲁棒性的帮助

先前的工作表明，良好的提示指令对于激发语言模型的数学能力十分重要。本文选择了4个代表性模型，并测试它们在不同的提示指令下解题的表现。如下图所示，当面对干扰时，使用复杂的示例作为上下文演示（Complexity-basedCoT）时，LLMs表现最为稳定；相比之下，仅使用程序语言表示中间推理（Program-of-Thought）时，LLMs更容易受到干扰的影响。总体而言，这些提示技巧都不足以让LLMs在GSM-Plus上维持与GSM8K相同的性能。

图5：提示对于LLMs性能鲁棒性的影响

组合提示是否有效？

如何基于现有的提示方法增强LLMs的鲁棒性呢？本文发现LLMs在解题过程中常常会忽略重要条件或出现计算错误。为此，本文探索了一种组合提示方法Comp。该方法首先提示LLMs提取问题中与数值相关的必要条件（Prompt1）。接着，根据问题和关键条件，指示LLMs迭代地生成推理目标（Prompt2）和计算目标（Prompt3），并让其为生成的历史解题步骤提供反馈，以确定是否获得了最终答案（Prompt4）。具体实现如图6所示。

图6：Comp迭代提示方式的示意图

可以看出，Comp通过迭代生成和自我验证可以改善LLMs在各种问题变化类型下的性能，但它仍然无法弥合LLMs在标准测试集和对抗性测试集之间的性能差距。该研究期待未来有更多的方法进一步提升模型的鲁棒性，推动LLMs在数学推理领域的进一步发展。

表3：Comp迭代提示的性能

生成示例

下图展示了在GSM8K问题和基于“运算逆转”的GSM-Plus改写问题上，不同提示技术下GPT-3.5-Turbo的表现。虽然所有提示都可以激发Turbo准确回答GSM8K问题，但只有Comp能够帮助Turbo在GSM-Plus变体问题上生成正确的答案。

图7：在不同提示设置下，模型回答数学问题的示例

结语

本文介绍了一个对抗性小学数学应用题评测集GSM-Plus，旨在系统分析LLMs在解决数学应用题中的鲁棒性。实验分析发现，大多数LLMs在面临扰动时，性能相较于它们在标准基准上的表现显著下降，远远达不到人类的表现水平。研究者期望本文的工作能够促进更多未来研究，包括但不限于：（1）对LLMs的数学技能进行系统评估；（2）构建能够灵活进行数学推理的模型。

未经允许不得转载：头条资讯网_今日热点_娱乐才是你关心的时事 » ACL 2024 | 对25个开闭源模型数学评测，GPT-3.5-Turbo才勉强及格