近期，关于人工智能的「思维链」（Chain-of-Thought，简称 CoT）技术是否真的能有效提升语言模型的推理能力有了一番深入探讨。一项新的研究聚焦于这一话题，结论或许会让人觉得有些出乎意料。
这项研究来自德克萨斯大学奥斯汀分校、约翰·霍普金斯大学和普林斯顿大学的合作，他们综合分析了 CoT 在多个常见任务中的表现。研究结果显示，虽然 CoT 在处理涉及数学和符号推理的问题时表现出色，但在其他类型的任务上就显得力不从心了。
研究者们利用 20 个数据集与 14 种当下流行的大型语言模型进行了广泛测试。这些测试覆盖了从零样本到少样本的不同情境，力图揭示 CoT 的实际效能。值得一提的是，他们发现，在涉及计算和符号操作的任务中，CoT 能较好地辅助模型完成规划阶段的工作；不过，与此同时，如果引入外部的符号求解器，效果更佳。这种发现暗示，CoT 在某些领域可能正逐渐显示出它的局限性。
例如，在常识、语言理解和阅读理解类的问题中，CoT 与普通的直接解答方法相比，并没有显示出太多优势。尽管这些领域也涉及一定的推理过程，CoT 没有为这些任务带来预期中的显著提升。研究中还指出，CoT 的运算成本往往更高，如果提升效果有限，那么它的实用价值便会受到质疑。
此外，研究者还探讨了问题的回答格式是否对 CoT 的效果有影响。从他们的数据来看，无论是选择题还是简答题，CoT 的表现都相对一致，这进一步表明回答格式不是决定 CoT 成败的关键因素。
