Meta 甩出“白盒手术刀”:CoT-Verifier 把 AI 推理失误钉在归因图上
meta AI 实验室今天把 Llama3.1改造成推理“X 光机”——新模型 CoT-Verifier 正式登陆 Hugging Face,专门剖开链式思维(CoT)每一步的“电路轨迹”,让错误不再躲在黑箱里。
传统验证只看输出对不对,meta 换了个视角:先给模型跑一次前向,再把每一步的归因图(attribution graph)抽出来。团队发现,正确与错误推理的图结构差异极大,就像两条形状完全不同的电路板。用轻量级分类器在这些“图特征”上训练,错误步骤的预测准确率直接飙到 SOTA,且不同任务(数学、逻辑、常识)各自有独特的“故障图谱”,说明推理失败并非随机噪声,而是可量化、可分类的计算模式。
更关键的是,归因图不仅能“诊断”,还能“动刀”。meta 在实验里对高可疑节点做定向消融或权重偏移,成功把 Llama3.1在 MATH 数据集上的准确率再提4.2个百分点,而无需重新训练主干。换句话说,CoT-Verifier 把推理纠错从“事后复盘”变成“术中导航”。
模型已开源,脚本一键复现。开发者只需把待验证的 CoT 路径喂给 Verifier,就能拿到每一步的“结构异常分”,并定位最可能出错的上游节点。meta 在论文结尾放话:下一步把同样的图干预思路搬到代码生成、多模态推理,让“白盒手术”成为 LLM 的新标配。
(来源:小熊科技)免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。
