2025-06-25 科研追新

论文将认知科学中的礼貌言语模型用于解释 LLM 在社交场景中的多元价值权衡，量化模型对信息准确性、关系维护和他人感受等竞争性效用的权重。作者比较了前沿黑盒模型在不同推理努力程度下的表现，并追踪开源模型经过强化学习后训练时的动态变化。结果显示，推理模型普遍更加重视信息效用而非社交效用，这种趋势在数学推理能力较强的开源模型中尤为明显。研究还发现，基础模型和预训练数据的选择会在训练初期造成显著且持久的效用差异，其影响可能超过反馈数据集或对齐方法。

DnD 是一种基于提示词的参数生成器，可以在不进行传统微调的情况下为 LLM 生成任务专属参数。它结合轻量级文本编码器与级联超卷积解码器，仅根据无标签任务描述便可在数秒内生成 LoRA 权重矩阵。其计算开销据称比全量微调低约 12,000 倍，并在常识推理、数学、编码和多模态零样本基准上超过需要训练的强 LoRA 方法。该方法还表现出跨领域泛化能力，为低成本、即时化的大模型定制提供了新路径。

研究比较了 Llama 与 Qwen 等基础模型在强化学习后训练中的差异，分析中期训练的数据质量、格式与规模如何影响推理任务表现。实验发现，MegaMath-Web-Pro 等高质量数学语料以及长思维链问答和指令数据可以显著增强强化学习效果，但过长响应也可能造成训练不稳定。作者提出“稳定后衰减”的两阶段中期训练策略：先以恒定学习率训练 2000 亿 token，再在三个思维链分支上以衰减学习率训练 200 亿 token。由此得到的 OctoThinker 模型缩小了 Llama 系模型与 Qwen 等高强化学习适配模型之间的差距，并开源超过 700 亿 token 的数学推理密集型语料库 MegaMath-Web-Pro-Max。

莱斯大学、约翰斯·霍普金斯大学和英伟达的研究团队提出视觉游戏学习方法 ViGaL（Visual Game Learning）。该方法让多模态大语言模型玩贪吃蛇等简单游戏，通过游戏反馈开展强化学习，不依赖数学或其他学科的训练数据。实验显示，游戏中习得的策略与推理能力可以迁移至视觉数学任务和 MMMU 系列基准。ViGaL 在多个基准上超过了使用数学等领域内数据训练的强化学习模型，表明通用交互环境也能成为推理训练的数据源。

ECCoT 是一个端到端的认知链思维验证框架，用于识别和完善大型语言模型生成的推理链。框架采用马尔可夫随机场嵌入式主题模型（MRF-ETM）生成主题感知的思维链，并使用因果句子 BERT（CSBert）进行因果推理对齐。它进一步利用结构化排序统计过滤无效推理链，降低错误链条对最终结论的影响。该方法旨在减少推理偏差，并增强大模型决策过程的可解释性和可信度。

论文研究强化后训练（RPT）带来的大模型推理能力提升能否泛化至未见领域。作者首先开展观察性研究，在多个可见与不可见领域中比较多种开放权重 RPT 模型及其基础模型。随后开展介入性研究，仅在单一领域对模型进行强化后训练，再测试其跨领域表现。两项研究均表明，RPT 在与训练数据相似的任务上收益明显，但面对推理模式不同的领域时，增益不稳定甚至可能完全消失。

论文从句子层面分析大模型的长思维链，以降低逐 token 依赖带来的可解释性困难。作者提出黑盒反事实比较、白盒注意力聚合和因果注意力抑制三种互补的归因方法。实验发现，推理轨迹中存在对后续过程影响极大的“思维锚点”，它们通常承担规划或回溯功能。不同方法得到的结果具有一致性，作者还提供了可视化工具，用于观察多步推理中的关键句子及信息传播模式。

成功的说服要求模型理解对方独立的想法、信念与动机，并据此调整论证方式。现有大模型通常只围绕核心论点或己方观点展开，难以利用论点间的联系开辟新角度，也无法及时响应对方态度的变化。ToMAP（Theory of Mind Augmented Persuader）将心智理论机制引入大模型说服过程，训练模型形成对手感知能力。该方法旨在让 AI 从对方视角进行推理，从而实现更个性化、灵活且逻辑连贯的说服。

传统领域微调依赖大规模人工标注数据，成本高且难以扩展，Synthetic Data RL 则只需给出任务定义即可自动构造领域样本。该框架先用基础模型评估初始数据集，并依据回答是否正确将样本划分为已解决与未解决两类。随后，大语言模型改写器将已解决样本改写得更难、将未解决样本改写得更容易，从而生成贴合当前模型能力边界的训练数据。最终合并原始样本、困难样本与简单样本开展强化学习，将领域知识直接内化到模型参数中，全程无需人工标注。

研究团队使用 1300 亿个代码词元训练了 70 亿参数的掩码扩散语言模型 DiffuCoder，以探索扩散模型在代码生成中的训练和推理机制。分析发现，模型可自主决定生成过程的因果程度，而提高采样温度不仅会改变词元选择，还会影响词元的生成顺序。论文进一步提出耦合 GRPO，通过为补全样本构造互补掩码噪声，降低词元对数似然估计的方差并保持训练效率。该方法使 DiffuCoder 的 EvalPlus 指标提升 4.4%，同时进一步减少解码过程对自回归因果性的依赖。

复旦团队在 ACL 2025 相关工作中介绍了小说世界模拟系统 BookWorld。该系统将小说角色建模为能够自主行动和互动的智能体，尝试还原角色关系、行为逻辑与故事环境。它使静态文学文本能够转化为可交互、可持续演化的沉浸式虚拟世界。该方向展示了大模型智能体在数字叙事、角色扮演和内容娱乐领域的应用潜力。

上海交大、SII、MIT、港中文（深圳）等机构的研究团队在 ICML 2025 提出预测一致性学习（Predictive Consistency Learning，PCL）。该方法受生成式一致性模型启发，利用类似扩散过程的机制逐步削弱标签中的信息，构造噪声标签。模型以数据样本和噪声标签为共同输入，并据此预测完整标签，使标签不再只是监督答案，也成为训练过程中的条件与学习指南。

研究从熵的视角分析监督微调（SFT）与强化学习（RL）在策略分布和学习动态上的差异，指出SFT主要引发粗粒度的全局变化，而RL侧重细粒度的选择性优化。作者据此提出监督强化微调（SRFT），通过熵感知加权机制在单一训练阶段内统一两种范式。该方法同时利用示范数据和模型自我探索生成的轨迹直接优化LLM，避免传统的两阶段顺序训练。实验中，SRFT在五个数学推理基准上取得59.1%的平均准确率，并在三个分布外基准上较纯RL方法提升10.9个百分点。

研究提出增量式自动化数据管理管道，用于降低代码筛选、运行环境配置和单元测试验证的人工成本。构建的数据集包含来自2,531个GitHub仓库的10,169个真实Python任务，并提供自然语言任务描述及专用运行时环境镜像。团队从中整理出8,000余条通过运行时验证的训练轨迹，实验显示模型的软件工程能力随数据规模扩大持续增长，尚未出现饱和。基于Qwen2.5-Coder-32B和OpenHands的Skywork-SWE在SWE-bench Verified上取得38.0% pass@1，引入测试时扩展后进一步提升至47.0%。

该评论重新审视 Shojaee 等人提出的“推理悬崖”，认为其结论受到静态纯文本评估范式的实验伪影影响。作者指出，工具使用受限、上下文召回困难、认知基线缺失、统计报告不足及输出限制，都可能导致模型性能在复杂度阈值后骤降。实验显示，原本在纯文本条件下判定谜题无解的模型，在获得代理工具后不仅能够完成任务，还能处理远超原有阈值的复杂变化。对 o4-mini、GPT-4o 等模型的分析进一步呈现了从程序执行到元认知自我纠正的代理推理层次，说明机器推理能力的评估应纳入行动与工具条件。

大型推理模型通过扩展思维过程提升复杂任务表现，但也可能在简单任务上生成大量不必要的令牌。研究提出 ICBench，分别衡量任务设置间不一致、训练目标与学习行为不一致，以及内部推理与自我解释不一致。实验发现，尽管更大的模型通常一致性更高，多种开源模型仍会出现自我分歧、事后合理化和隐藏推理线索等行为。No-Thinking 和简单令牌预算等高效推理策略会加剧三类不一致，说明压缩推理并非没有稳健性与可监督性代价。