2025-06-30 科研追新

该研究对主流大语言模型微调方法进行分类，并从成员推理攻击（MIA）的角度衡量其记忆效应。实验显示，基于参数的微调更容易记住训练样本，因此面临更高的私人信息泄露风险。相比之下，基于提示的微调能够取得有竞争力的任务性能，同时保持较低的 MIA 脆弱性。该低记忆特征在不同模型规模下均较为稳定。

现有 LLM 智能体记忆评估通常受限于单一的记忆层次、较少的交互场景以及不够全面的评价指标。MemBench 将事实记忆和反思记忆划分为不同层次，并设置参与式与观察式两类交互场景。该基准从有效性、效率和容量等多个方面衡量智能体的记忆能力。作者已公开相关数据集与项目代码，便于研究社区复现和比较不同记忆机制。

论文从机制可解释性视角研究大语言模型对训练数据的逐字记忆，试图确定哪些网络组件负责触发记忆序列。作者构建对比数据集，识别模型生成记忆内容与非记忆内容时出现分化的位置，并隔离出承担不同记忆功能的特定变压器电路。实验发现，负责启动记忆的电路在触发后也能维持记忆，但仅负责维持记忆的电路无法独立启动检索。记忆预防机制可以稳健迁移到不同文本领域，而记忆诱导机制对上下文的依赖更强。

大型推理模型会在生成最终答案前产生思维链，其中反复出现的行为模式可能反映稳定的认知习惯。研究者基于人类问题解决领域的 Habits of Mind 框架提出 CogTest，覆盖 16 种认知习惯，每种习惯包含 25 个不同任务，并采用循证优先方法识别习惯。对 13 个推理模型和 3 个非推理模型的评估显示，推理模型不仅具有更明显的类人习惯，还会根据任务自适应调用这些习惯。进一步分析发现，不同模型家族之间存在认知习惯画像的异同，部分习惯（如承担负责任的风险）还与有害回答的生成密切相关。

论文提出逆向推理范式，使大语言模型能够在事后分析自己的思维链，解释为何选择特定推理路径。作者将其应用于 40 亿参数模型 SAGE-nano，通过元认知结构和注意力反射识别关键决策点。在 AQUA-RAT、CommonsenseQA 以及涵盖逻辑谜题、数学问题和道德困境的定制基准上，模型取得了 74.6% 的 AQUA-RAT 准确率和 92.1% 的人类解释偏好分数。研究还构建了推理透明度评估框架，并表明增加逆向反思过程能够同时改善可解释性与推理表现。

MokA 延续 LoRA 的低秩适配思想，旨在保持多模态大模型微调的参数效率。针对多模态场景，它重新定义了 A、B 投影矩阵的角色，而非直接沿用单模态 LoRA 的统一设计。其结构包含模态特异的 A 矩阵、跨模态注意力机制以及模态共享的 B 矩阵三个关键模块。该设计兼顾不同模态的独特表示与跨模态信息交互，从而提升模态协作能力。

能量引导通过引入能量函数控制生成过程，无需额外训练条件生成模型，可用于图像、分子等生成任务。论文首次为流匹配模型建立系统的能量引导理论框架。在该框架下，作者提出三类免训练的实用引导算法，并将经典扩散模型的能量引导算法纳入其中作为特例。研究还从理论和实验两方面比较了不同算法的性能，为实际应用中的方法选择提供依据。

DraftAttention 是一种面向视频扩散模型的动态稀疏注意力加速方法，由 Adobe Research 等机构的研究团队提出。该方法通过低分辨率注意力提供引导，减少高分辨率视频生成过程中的注意力计算开销。与需要重新训练或微调的方法不同，DraftAttention 可即插即用地集成到现有模型中。在生成质量几乎不受损的情况下，其 GPU 端到端推理速度最高可提升约 2 倍。

现有多模态模型使用的 RoPE 在超出训练长度后泛化能力有限，保留全部频率可能对长上下文语义建模产生负面影响。研究团队据此提出 HoPE（Hybrid of Position Embedding），以混合位置编码改善视觉语言模型对长序列的表征。该方法显著增强了模型的长度泛化能力，并在长视频理解、长视频检索等任务上取得领先表现。

初创公司 Cluely 推出了同名实时 AI 辅助工具。该工具面向面试、考试和销售电话等场景，能够在交互过程中为用户提供即时信息与建议。其产品形态体现了 AI 助手从通用问答向实时、场景化辅助的演进趋势。与此同时，在考试和面试中的使用也可能引发公平性、隐私与合规方面的争议。

该工作探索大模型在航空发动机复杂时序问题中的应用。相关任务涉及工业设备运行数据的理解、分析与预测，对模型处理长时序和复杂状态变化的能力提出较高要求。文章称该方案的性能超过 GPT-4o，并实现当前最佳水平。该成果体现了垂直领域大模型在高端制造与工业智能场景中的应用潜力。

该研究探索了一种强化学习预训练新范式，将智能体的「意图」编码为潜在变量。模型借助流匹配预测未来状态的访问概率，从而学习可迁移的行为表示。针对普通流匹配难以拼接多个状态转换的问题，研究者引入基于 SARSA 的时序差分流匹配损失。相关方法据称可带来最高20倍的效果提升，项目博客为 https://chongyi-zheng.github.io/infom/。

论文提出一个结合关键词统计与 LLM-as-a-Judge 的分析框架，将大型推理模型的内部思考过程与最终答案联系起来。研究覆盖逻辑推论、因果推理和多步骤问题解决等真实场景，对 GPT-o1、DeepSeek-R1、Kimi-k1.5 与 Grok-3 进行定量和定性比较。作者重点分析模型的自我反思模式、探索与利用平衡、推理深度、对中间步骤的依赖，以及其思维和输出模式与 GPT-o1 的相似程度。结果揭示了不同模型在计算效率、推理连贯性、答案准确性和鲁棒性之间的差异与权衡。

论文提出一种结合白盒与黑盒 LLM 优势的指令优化框架，以缓解白盒方法计算成本高、表示能力有限以及黑盒模型调用费用昂贵的问题。黑盒模型负责生成高质量且多样化的初始指令，白盒模型则利用隐藏状态与输出提供细粒度、可解释的优化信号。框架通过语义相似性约束将两类信息融合为统一的高维表示，并以迭代方式改善指令的质量与任务适应性。实验覆盖复杂推理和跨语言泛化等任务，结果显示该方法持续优于先进基线，源代码尚未发布。

论文提出表示一致性（Representation Consistency，RC），用于聚合由不同提示措辞和采样策略产生的多个 LLM 候选答案。与仅统计答案出现次数的方法不同，RC 还衡量生成同一答案时模型内部激活的一致性；若表示差异较大，则将该答案视为可能源于不连贯推理并降低其权重。该方法兼容原始密集激活及由预训练稀疏自动编码器得到的稀疏激活，只需缓存激活并执行轻量级相似度计算，不会增加模型查询。四个开源 LLM、四个推理数据集上的实验显示，RC 可在强测试时扩展基线上持续提升准确率，最高增幅达 4%，且稀疏激活一致性与常见的连贯推理概念高度吻合。

论文系统研究了大型语言模型在长思维链推理过程中的自我纠正能力，发现第一个推理步骤对最终答案具有不成比例的影响。该现象在 DeepSeek-R1 和 Qwen3 两个开源推理模型系列中均稳定存在，首步错误往往会持续破坏后续推理质量。作者提出基于奖励模型的采样策略，筛选并保留高质量首步、丢弃次优候选，在不牺牲准确率的前提下最多节省 70% 的推理成本。研究还构建了包含故意缺陷首步的新基准，用于系统评估模型从早期错误中恢复和自我纠正的能力。

大型语言模型虽然在多类任务中展现出较强能力，但可靠决策仍依赖对信息的分析、逻辑推演和基于证据得出结论的能力。当前模型训练日益强调一般推理表现，但一般推理能力并不必然等价于特定领域中的专业判断能力。该研究考察模型的一般推理水平与领域特定推理任务表现之间的相关性，以识别推理能力跨领域迁移的边界。研究提示，评估模型时需要同时关注通用推理基准和专业领域任务。

开放证明语料库（OPC）包含由先进 LLM 生成并经人工评估的 5,000 多份数学证明，其中涵盖 USAMO、IMO 等竞赛题目的大量正确解答。研究利用该语料分析了自然语言证明与形式化证明之间的性能差距，以及最终答案正确率与完整证明有效性之间的差异。作者还考察了 Best-of-N 选择策略对证明质量的影响。基于 OPC 微调的 8B 模型在证明正确性评估任务上达到了与 Gemini-2.5-Pro 相当的表现。

阿里发布多模态模型 Qwen-VLo，进一步拓展 Qwen 系列的视觉语言能力。该模型面向统一的视觉理解与生成任务，可根据文本和图像指令完成内容理解、图像生成及编辑。Qwen-VLo 展示了多模态模型从感知理解走向生成式交互的发展方向。

语言模型需要混合多类任务数据进行训练，但数据与模型能力之间的关系难以直接建模。AutoMixer 将训练过程中通常未被充分利用的检查点视为数据混合器，先依据它们在基准测试中的能力进行识别，再聚合其对源数据的一阶影响近似来确定数据配比。该方法利用训练轨迹中不同阶段涌现的能力，为数据质量评估和混合优化提供信号。在 8 个推理基准上的预训练实验中，其性能最高提升 1.93%。

华为在一篇约 60 页的论文中介绍了下一代 AI 数据中心架构 Huawei CloudMatrix，以及首代产品化实现 CloudMatrix384。该架构不再依赖简单“堆卡”，而是采用高带宽全对等互连与细粒度资源解耦。CloudMatrix384 通过全对等架构和软硬件协同优化，试图同时改善算力利用率、通信延迟与部署成本，并展现出超过英伟达 H100 系统的推理效率。

论文将评分偏差定义为：面对与偏差相关的扰动时，LLM 裁判模型对同一评估对象给出不同分数。作者通过数据合成扩展现有 LLM-as-a-Judge 基准，并设计多维指标，对评分偏差进行系统评估。实验表明，现有裁判模型的评分稳定性会受到多类偏差的明显影响。进一步分析指出，可从评分提示模板、评分量规、分数 ID 和参考答案选择等方面缓解偏差。

研究提出自动化 LLM 速通基准，用于衡量 AI 智能体复现前沿研究成果的能力。基准包含 19 个源自 NanoGPT 速通社区的任务，要求智能体在已有训练脚本上重现从算法改进到硬件感知优化的记录提升。任务提供伪代码、技术描述或类论文说明等不同粒度的提示，并通过快速训练实验验证结果。实验显示，即使配合先进智能体框架和详细提示，近期推理模型仍难以稳定重现这些已知创新，说明该基准尚未饱和。

现有工具型 LLM 智能体评估多关注端到端任务成功率，却较少衡量工具调用过程的稳定性。研究将调用流程拆分为阅读工具文档、选择工具与生成参数、处理工具响应等阶段，并通过实验考察各环节对错误和攻击的敏感程度。结果显示，智能体在每个阶段都很脆弱，基于开源模型的智能体通常比基于专有模型的智能体更容易受到影响。扩大模型规模并未显著改善工具调用推理能力，甚至可能提升其对伪装成正常用户指令的攻击的敏感性。

SPIRAL 让语言模型与持续变强的自身进行多轮零和博弈，从而自动生成难度递增的训练课程，摆脱人工问题—答案对和领域奖励工程。该框架实现了完全在线的多智能体强化学习系统，并提出角色条件优势估计（RAE）以稳定训练。仅在 Kuhn Poker 上训练 Qwen3-4B-Base，便带来 8.6% 的数学推理提升和 8.4% 的通用推理提升，且优于使用 2.5 万条专家轨迹的监督微调。研究认为能力迁移主要来自系统分解、期望值计算和逐案分析，多游戏联合训练还能进一步形成互补的推理优势。

阿里巴巴与上海交通大学等单位提出了一项面向 Agent 的自进化工作。该方法旨在通过自主迭代提升智能体的逻辑推理与问题求解能力。实验结果显示，Solver 性能取得了 20.2 个百分点的提升，具有较显著的效果。该工作可作为智能体自我改进与推理能力增强方向的论文参考。