2025-07-01 科研追新

论文将大语言模型识别并适应对话伙伴身份与特征的能力定义为“对话者意识”，并对其进行系统评估。研究覆盖推理模式、语言风格和对齐偏好三个维度，发现模型能够较可靠地识别同系列模型，以及 GPT、Claude 等特征突出的模型家族。案例研究表明，对话者意识可通过动态适应提升多 LLM 协作效果。与此同时，它也可能带来奖励黑客、越狱易感性上升等新的对齐与安全风险。

该研究尝试使用综合信息理论（IIT）分析大型语言模型在心智理论（ToM）测试中形成的内部表示。作者分别计算 IIT 3.0 与 IIT 4.0 中的 Φmax、Φ、概念信息和 Φ-结构，并将其与不依赖意识假设的 Span 表示分析进行比较。实验覆盖不同 Transformer 层及不同语言跨度，以检验 ToM 表现差异能否由这些指标揭示。结果未发现当代 Transformer LLM 的表示序列具有统计显著的“意识”指标，但 Span 表示及空间排列分析显示出一定的内在可分离性。

论文提出以心理语言学词特征作为评估 LLM 与人类一致性的新维度，而非仅考察推理、问答或翻译等任务表现。研究在格拉斯哥规范和兰开斯特规范两个数据集上，对代表性 LLM 与人类对数千个单词、13 类特征的评分进行比较。结果显示，模型在唤醒、效价、支配、具体性、可成像性、熟悉度和性别等特征上的一致性较高，但在味觉、嗅觉、触觉、听觉和视觉等感官属性上表现较弱。这种差距可能源于 LLM 缺少人类具身经验，也说明心理语言学数据可用于补充现有模型评估体系。

ATGen 是一个连接主动学习与自然语言生成任务的综合框架，可将先进的主动学习策略应用于文本生成。它同时支持人工标注和基于大语言模型的自动标注代理，并兼容 ChatGPT、Claude 等在线服务及本地部署模型。该框架提供统一平台，用于实现、比较和基准测试面向 NLG 的新型主动学习策略。多项文本生成任务的实验显示，ATGen 能减少人工标注工作量以及调用大模型标注代理的 API 成本，代码以 MIT 许可证开源。

清华大学与字节跳动提出 PAROAttention，一种面向视觉生成模型的模式感知注意力优化方案。该方法通过硬件友好的离线 Token 重排统一注意力模式，并据此设计针对性的稀疏计算与量化方法。结合高效 CUDA 系统实现，方案可支持 5 倍注意力稀疏和 4 比特量化，同时较好地保持生成性能。项目主页：https://a-suozhang.xyz/paroattn.github.io/

SeqPO-SiMT是一种面向同声机器翻译的序贯策略优化方法，相关论文入选ACL 2025。该方法将翻译内容与输出时机统一建模为序贯决策过程，不再局限于优化单个局部动作。通过对完整决策序列进行优化，模型能够更好地平衡翻译质量和响应延迟。实验显示，其性能可接近同等规模的离线翻译模型，并在部分指标上实现超越。

现有 LLM 具身规划方法通常依赖静态知识生成开环动作脚本，难以理解动作与环境反馈之间的因果关系。Embodied Planner-R1 使用纯强化学习和分组轨迹并行探索，无需人工标注即可开展环境内交互。该框架采用任务完成驱动的稀疏奖励，并提出交互式策略优化（IPO）以高效利用分组轨迹。在两个文本具身规划基准上，该方法取得突出表现，并在未见环境中仅出现 3.66% 的性能下降，显示出较强的泛化能力。

大型语言模型通常依赖人工设计的 CoT、ToT 等任务特定提示，适应性和效率受到限制。MoR 将多种推理策略直接嵌入模型，支持自主且任务自适应的推理。该框架首先利用 GPT-4o 等模型生成推理链模板，再将模板与基准数据配对，构建用于监督微调的数据集。实验显示，MoR150 在不同设置下取得 0.730 和 0.734 的成绩，较相应基线分别提升 2.2% 和 13.5%。

大型推理模型在简单任务上也常生成大量“等待”等思维令牌，触发不必要的反思与回溯行为，造成推理冗长。作者将这种可能阻碍有限预算下正确推理的现象称为“思维陷阱”。为此，论文提出双重策略偏好优化（DuP-PO），通过平衡采样、细粒度优势控制和策略塑造来调节思维令牌。五个数学推理基准的实验显示，该方法能够显著提升令牌效率，并取得优于基础模型的表现。

IDEA-CVR 提出 Rex-Thinker，将思维链机制引入视觉指代物体检测任务。模型能够围绕文本指令进行多跳推理，分步定位并验证相关视觉证据，而非直接输出检测结果。实验显示，该方法在权威测评中提升了检测准确率，同时增强了推理过程的可解释性。模型还具备一定的认知边界判断能力，可对证据不足或无法确定的情况作出更可靠的响应。

ASTRO（Autoregressive Search-Teach Reasoner）旨在让语言模型像搜索算法一样推理，并在输出中显式执行自我反思、回溯与探索。该框架从蒙特卡洛树搜索生成数学解题轨迹，再将其转换为能够描述成功路径及失败恢复过程的自然语言思维链。模型首先在这些搜索轨迹上微调，随后利用可验证奖励进行强化学习，使搜索先验能够指导探索。应用于 Llama 3 系列后，ASTRO 在 MATH-500、AMC 2023 和 AIME 2024 上分别取得 16.0、26.9 和 20.0 个百分点的绝对提升，尤其有利于需要迭代修正的难题。

MAPS 首先通过思维链提示生成数学问题的初始解答，并在检测到错误后启动自适应自我反思。框架会分析错误并自动生成定制提示，引导模型逐层修正和优化推理过程。在多个大模型和四项成熟基准上的实验中，MAPS 明显优于标准 CoT，并使通用模型达到接近专用推理模型的表现。考虑到反思层数增加会带来更多 token 消耗，MAPS 通过限制反思深度平衡准确率与成本。

Sapient Intelligence 的研究者受人脑分层处理与多时间尺度机制启发，提出了分层推理模型（HRM）。该模型包含两个相互依赖的循环模块：高级模块负责缓慢、抽象的规划，低级模块负责快速、细致的计算。HRM 可在单次前向传递中执行顺序推理，并在无需显式监督中间过程的情况下保持训练稳定性和计算效率。实验显示，它在复杂数独求解和大型迷宫最优路径搜索等挑战性任务上取得了近乎完美的性能。

研究评估了二十余个开放权重推理模型在数学、科学问答、智能体规划、编程和指令遵循等任务上的表现，发现多数模型的数学能力提升并未迁移到其他领域。作者进一步仅使用数学数据，以不同方法对 Qwen3-14B 进行对照训练。结果显示，强化学习调整具有更好的跨领域泛化能力，而监督微调容易导致模型遗忘原有的通用功能。潜在表示与输出分布分析表明，SFT 会引发显著漂移，RL 则更能保留一般领域结构。

论文提出一个面向低资源语言与任务的统一迁移框架，将知识转移模块和参数高效微调策略结合起来。该方法利用知识对齐损失、软提示调优、参数冻结与提示注入，在保留模型通用知识的同时学习目标语言或任务的结构特征。研究还通过稳定性分析和合成伪数据迁移实验，评估其在数据稀缺条件下的适用性与稳健性。在 MLQA、XQuAD 和 PAWS-X 等跨语言基准上，该框架相较多语言预训练模型及主流迁移方法取得了更好的性能和稳定性。

PromptAug 是一种面向精细冲突分类的 LLM 文本数据增强方法，旨在缓解高质量敏感标注数据稀缺及平台数据访问受限的问题。该方法针对模型安全护栏难以生成冒犯性内容的挑战设计提示，在冲突和情感数据集上将准确率与 F1 提升约 2%。研究通过极端数据稀缺实验、定量多样性分析和定性主题分析，与其他增强方法进行了系统比较。分析发现，合成文本仍存在语言流畅性不足、幽默含义模糊、增强内容歧义和语义误解四类问题。

百度官宣文心大模型 4.5 系列正式开源，进一步开放其核心模型能力。开发者除可获取开源模型外，还能通过 API 服务快速接入文心大模型。官方同步发布了 ERNIE 技术报告，介绍模型相关技术与能力。此次发布有助于降低企业和开发者使用国产大模型的门槛。

华为宣布开源盘古 Embedded 70 亿参数稠密模型，以及盘古 Pro MoE 720 亿参数混合专家模型。模型面向昇腾平台进行原生适配，并同步开放相关模型推理技术。其核心技术包括分组混合专家 MoGE 算法、自适应快慢思考合一机制，以及覆盖全链路的高性能推理系统优化。

Black Forest Labs 宣布开源旗舰图像模型 FLUX.1 Kontext[dev]。该模型专为图像编辑场景打造，可基于上下文对图像进行修改。其运行门槛较低，能够直接部署在消费级芯片上。

ICONIQ发布了《The AI Builders Playbook 2025》，聚焦2025年AI行业现状与产品建设实践。报告从AI构建者视角总结市场发展和落地趋势，可用于了解行业阶段性变化。原文由微信公众号转载或解读，并附有完整报告PDF链接。

魔搭社区已汇聚约7万个AI模型，覆盖多种任务与应用场景。平台注册开发者达到1600万，形成了较大规模的模型共享与开发生态。其发展表明，中国AI开源基础设施正从模型托管平台逐步演变为连接模型、工具和开发者的综合社区。

蚂蚁 AQ 定位为面向大众的 AI 健康管家，支持围绕健康问题进行连续追问。用户可借助图像能力识别药品、初步了解皮肤问题，降低获取健康信息的门槛。该产品还能连接医院服务与健康硬件，将咨询、就医和健康数据管理串联起来。相关能力主要用于健康辅助，不应替代专业医生的诊断与治疗。

Deep Video Discovery（DVD）将长视频切分为较短片段，并把这些片段构成的内容空间视为智能体可探索的环境。系统利用大语言模型理解问题、开展推理并自主制定搜索计划。智能体能够选择合适的工具及调用参数，从视频环境中逐步获取证据，最终生成答案。该方法在多个长视频理解基准上取得领先表现。

论文比较了六种 LLM 在独立推理以及两人或三人多轮讨论条件下处理道德困境的表现。所有模型加入群体讨论后，都更容易接受通过直接伤害少数人来提升多数人总体效用的行为，呈现出类似人类群体审议的功利主义倾向。部分模型增强了对整体幸福最大化的支持，另一些模型则降低了对道德规范的遵从。尽管表面结果与人类相似，LLM 的变化主要来自规范敏感性下降或公正性增强，而人类更多是因为对决策结果更加敏感。

L0 是一个面向通用智能体的低成本、可扩展端到端强化学习训练管道，通过沙盒化的并发工作线程降低复杂环境中的训练门槛。其 NB-Agent 脚手架采用“代码即行动”的 REPL 交互方式，并支持记忆管理、信息总结与自我反思。研究表明，基础模型仅通过具有可验证奖励的强化学习（RLVR），即可逐步掌握规划、搜索、验证和记忆等能力。在 Qwen2.5-7B-Instruct 上，L0 将 SimpleQA 准确率从 30% 提升至 80%，将 HotpotQA 准确率从 22% 提升至 41%，相关模型、训练管道和配方均已开源。

研究将带有制度选择的公共产品博弈引入多智能体 LLM 系统，考察智能体是否愿意投入自身资源来奖励合作或惩罚背叛。实验观察到四类行为模式，包括持续合作、反复参与与退出、合作逐渐衰退以及始终执行固定策略。令人意外的是，o1 系列等推理模型较难维持合作，而部分传统 LLM 能稳定实现较高水平的集体协作。结果说明，推理能力的增强并不会自然转化为亲社会行为或长期协作能力。

研究深入分析了 Llama 与 Qwen 等基础语言模型在强化学习训练中表现差异的成因。作者提出创新的中期训练（Mid-training）范式，在正式强化学习前增强模型的推理基础与 RL 适配性。该策略成功将 Llama 改造为更适合强化学习扩展的推理基础模型，显著缩小了其与 Qwen 的性能差距。项目已开源论文、代码、模型及相关数据资源。

开放式语言模型基准 HELM、BIG-bench 虽有助于标准化比较和结果复现，但公开测试集也为针对性优化乃至“作弊”留下空间。研究者将较小版本的 BART、T5 和 GPT-2 直接在公共测试集上微调，使其在 HELM 排行榜中取得领先成绩。尽管这些模型泛化能力较差、实际用途有限，公开榜单却难以准确揭示这一缺陷。论文因此主张使用私有或动态基准补充公开评估，并重新审视现有语言模型评测体系。

研究审计了 SocialIQa、FauxPas-EAI 和 ToMi 三个推理基准，并使用 GPT-3、GPT-3.5、GPT-4、o1 和 LLaMA 3.1 进行诊断。结果揭示了重复题目、歧义措辞、不可信答案等结构、语义和语用问题，同时指出现有评分程序往往更关注输出格式而非推理过程。人工清理和重新评估表明，模型分数变化通常源于表面措辞、上下文可用性及格式线索，而不代表推理能力真正提升。作者据此质疑仅凭静态基准分数判断模型推理能力的有效性，并发布了审计数据与评估工具以支持更具解释性和诊断性的评估。

MMReason 是一个面向多模态大语言模型的开放式、多步骤推理基准，覆盖 6 个学科以及从大学预科到竞赛级别的多种难度。研究者将问题改写为开放式形式，并利用多模型投票过滤容易通过猜测或记忆解决的样本。基准为问题提供详细的分步解答，并设计基于参考答案的三元评分机制，以评估模型的中间推理步骤。作者还使用该基准测试了多种主流 MLLM，并分析了其长链推理能力与不足。

RExBench 是一个面向研究扩展能力的基准，包含 12 个由领域专家设计的真实实验实施任务，要求智能体基于已有论文和代码库验证尚未实现的研究假设。该基准强调抗数据污染，并通过执行智能体产出的代码自动判断任务是否达到成功标准。研究使用 aider、Claude Code 和 OpenHands 三种框架评估了九个 LLM 智能体，发现它们大多无法自主完成研究扩展。额外的人工编写提示虽能提升成功率，但最佳表现仍低于 40%，说明当前智能体处理现实研究工程任务时仍高度依赖人工指导。

现有自然语言到时间逻辑的系统在定制基准上接近满分，但通常只评估公式翻译准确率，忽略了将原子命题接地到新环境的能力。VLTL-Bench 提供三个不同的状态空间、数千组自然语言规范及对应的线性时间逻辑形式规范，并附带用于验证公式的样本轨迹。该基准支持端到端评估，也针对提升、接地、翻译和验证四个阶段分别提供真值标注。它旨在减少定制数据集造成的指标虚高，推动可扩展、通用且可验证的 NL-to-LTL 方法研究。