后训练 LLM-DailyDigest 2026-08-13 2026-08-13 约 100 字 预计阅读 1 分钟 后训练 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 世界模型 1 DreamTrue：反事实后训练提升机器人世界模型的动作忠实性 10-18 中期训练 1 多领域中期训练的适度覆盖最优与对齐抗性领域差距 09-09 主权人工智能模型 1 Thomson：以持续学习构建主权前沿模型 08-28 人群仿真 1 聚合移动统计蒸馏为大型活动后人群仿真策略 08-22 价值估计 1 Le Critique：用于 LLM 强化学习的特权价值函数 08-18 低资源推理 1 低资源语言推理：SFT 构建语言习惯，RL 修复行为缺陷 08-19 信用分配 1 GraphHCA：长程 LLM 智能体的闭式事后信用分配 09-30 偏好优化 6 DPO 计算图随机剪枝：训练提速 1.4 倍并降低峰值显存 10-22 TPO：面向 OOD 的三级分布鲁棒直接偏好优化 10-21 面向 LLM 智能体的轮次级多尺度密度比估计 09-16 DDO：面向多样化成功轨迹的直接多样性优化 09-10 基于激活标签传播的低资源大模型偏好适配 09-01 PLC-DPO：噪声与模糊偏好优化中的后验标签校正 09-01 分布式训练 1 并行与分布式推理语言模型的性能基础 08-28 反思优化 1 SRPO：面向长程推理的自反思策略优化 08-25 可信执行 2 VeriLoop E2以外部证据门控实现可验证状态演化 10-18 VeriLoop E2以循证递归实现可验证状态提交，黎曼零点比例下界达67.35% 10-09 在策略蒸馏 22 策略内自训练：无数据监督的语言模型自我改进 10-27 预训练进程中的潜意识学习与隐性偏好传递 10-23 共享残差蒸馏：从未经验证的同伴轨迹中学习 10-18 在策略蒸馏会继承视觉语言教师模型的失败模式 10-18 Residual Advantage：面向 RLVR 的学生相对教师引导 10-10 ReCal：面向在策略蒸馏恢复的结构化剪枝校准 10-10 极端稀疏监督提升大模型后训练推理能力 10-08 SAKI：最大耦合路由教师监督的在策略蒸馏 10-01 GRGC：校准组内奖励几何的在策略黑盒蒸馏 10-01 ReTaCo：基于残差目标控制的在策略蒸馏 10-01 在线蒸馏缓解强化学习的长度扩展税 10-01 从模仿到奖励发现：智能体强化学习的在策略预热 10-01 极端稀疏监督以单Token更新提升大模型推理能力 09-30 归纳式反馈驱动的混合策略蒸馏 09-30 稀疏 Crosscoder 揭示在策略蒸馏的特征重加权机制 09-30 稀疏奖励与稠密蒸馏：在策略蒸馏训练动力学 09-30 IM-MOPD：迭代合并增强多教师在策略蒸馏 09-30 PMOPD：基于参数更新子空间保护的多教师在策略蒸馏 09-30 OPD：模型如何从自身生成轨迹学习 09-25 RL 始于 RL 之前：在策略蒸馏提升强化学习效果 09-24 γOPD：奖励兼容的时序信用分配在策略蒸馏 09-16 DiffusionOPSD：扩散模型的在线策略自蒸馏 08-27 多模态学习 1 GAFU：解锁统一多模态模型的细粒度视觉理解 10-24 多模态推理 1 AVTrace：诊断 Omni 模型的音视频时序推理能力 09-18 奖励优化 1 SA-MRPO：面向多奖励策略优化的饱和感知优势重加权 08-19 奖励建模 3 评判评判者：量规奖励中的置信度与分歧 10-18 CleanRM：用少量干净反馈从噪声偏好中训练奖励模型 10-18 Envelope Sampling：通过代理奖励后训练缓解奖励作弊 10-10 奖励机制设计 2 CollabSciReM：以科学感知奖励分解对齐科研对话模型 10-21 多奖励黑客：聚合诱导漂移与信任锚定防御 10-18 奖励模型评测 1 廉价验证器足以支撑稳健的 LLM 后训练 09-29 奖励蒸馏 1 OPDVR：基于可验证奖励的在线策略蒸馏 08-27 对齐失配 1 安全方向惩罚缓解推理诱发的模型失配 08-25 尺度解耦 1 DPO 中优化尺度与偏好尺度的解耦 08-28 工具使用训练 3 面向工具调用智能体的持久教师锚定（PTA） 09-07 MidTool：面向智能体工具使用的中期训练数据合成 08-21 Palmyra x6：基于锚定监督微调的企业级工具调用模型 08-18 师生协同适应 1 DualOPSD：自适应特权教师的在策自蒸馏 08-27 强化学习后训练 1 OraRL：将标注作为视频 MLLM 的神谕轨迹 08-27 思维链 4 思维链可监控性可通过后训练提升 10-22 CIA：衡量并提升思维链与模型内部推理的一致性 10-01 重新审视后训练中的完整推理轨迹 09-11 SHAPE：解析数学推理中思维链的形态 09-02 意图拒绝 1 WIFA：基于意图组监督的 LLM 安全拒绝训练 08-16 扩散模型 1 扩散语言模型的表示空间 MMD 后训练 10-08 扰动推理 1 PertMind：用细胞扰动强化学习激发生物推理能力 08-18 技术生态 1 强化学习论文如何进入开源训练框架：纳入与评审分析 10-21 持续后训练 1 VDA：面向多模态无监督持续后训练的视觉依赖框架 08-27 持续学习 3 知识重构缓解持续领域适应中的灾难性遗忘 10-22 日文金融文档多模态基础模型的分阶段持续适应 10-21 子空间调优缓解持续学习中的灾难性遗忘 10-18 排序蒸馏 1 TUP：基于排名分类的 Best-of-N 蒸馏 08-21 推理效率 4 自监督置信度训练提升推理效率 09-28 GrowMTP：在强化学习循环中从零训练草稿头 09-16 极稀疏监督可有效激发大模型推理能力 09-07 MCPO：多模态思维链的模态对比偏好优化与压缩 09-07 数据合成 2 GRADS：可控难度的图调控智能体数据合成框架 10-18 唐杰披露智谱大模型训练数据与后训练布局 09-01 数据混合 1 工业级 LLM 后训练：面向棕地维护的 Dataware 工程 09-01 数据策展 6 AutoSFT：多智能体自动化研究监督微调数据 10-18 Agent Error Dataset：5 万组智能体错误诊断数据 10-01 DTV：后训练强化学习中的动态轨迹估值 09-30 代码数据如何助益不同任务：LLM 后训练的分解视角 09-29 北大开源 DataFlex-RL：统一接入与公平比较 RL 数据策略 09-25 On-Policy Distillation中的数据效率与难例选择 09-07 智能体强化学习 1 Agent Lightning v1.0：面向脚手架式智能体强化学习 08-19 智能体微调 1 Agentic ESOpt：低显存微调长时程 LLM 智能体 08-20 智能体评测 1 BI-Agent 与 BI-Bench：端到端商业智能自动化 09-22 机器遗忘 1 AdaPop：基于事实流行度的自适应 LLM 遗忘 08-21 框架拆解 1 DeepSeek V4 Pro 与 Harness：后训练、缓存经济学及代理自进化 08-23 模型发布 4 IQuest-Q1：面向智能体 CLI 系统的稀疏 MoE 基础模型 10-23 GLM-5.3：后训练 Scaling 提升编程与网络安全能力 08-14 GLM-5.3：后训练扩展强化编程与网络攻防能力 08-14 DeepSeek V4 Pro 正式版上线，主打 Agent 与 Coding 08-13 模型可靠性 4 LLM 价值训练的非预期副作用 10-22 LLM 退化时表征秩反而上升 10-08 精确反馈不等于可靠控制：LLM 闭环修订评测 09-24 Jev CEO：放弃RLHF，转向RLCD自主自动化 09-22 模型微调 5 突破先验障碍：长尾分布下的监督微调 10-09 超越平均安全：机会约束下的 LLM 安全微调 09-25 TailSFT：过滤式微调提升后训练性能 09-14 从模式保留视角理解 Pause Token 微调动态 09-07 NoRA：归一化低秩适配提升 LoRA 训练稳定性 09-02 模型训练 6 Rufus-Air：开放可复现的大模型后训练方案 09-25 Miles v0.1：生产级全栈后训练系统 09-10 贝叶斯视角统一 ICL、SFT 与 KL 正则化强化学习 09-07 序贯优于联合：在策略蒸馏与 RLVR 的协同机制 09-07 SFT-RL 标注预算的跨模型规模近优分配 09-02 从生产流量到后训练：构建覆盖企业请求的自托管 LLM 09-02 模型评测 2 事实召回中的“指令税”：基础模型优于指令微调模型 10-22 GLM-5.3 实测：750B 基座靠后训练提升编码与安全能力 08-21 模型轻量化 2 LADDER：面向大语言模型的嵌套式非结构化后训练剪枝 10-22 TRACE：面向 MoE 强化学习的 FP4 滚动引导量化感知训练 10-08 流形漂移 1 流偏好优化中的流形漂移与奖励作弊 08-22 混合微调 1 在策略参数更新方向奠定 LLM 后训练泛化基础 10-08 漏洞训练 1 CyberFactory：用真实漏洞实例扩展大模型网络安全能力 08-27 环境合成 1 Terminal-Universe：从智能体轨迹重建可扩展终端环境 09-07 环境适应 1 成功策略失效时：终端智能体的环境新颖性适应 09-29 知识内化 1 IAR：面向无检索文档知识内化的三阶段后训练 08-22 科研智能体 2 Athanor：面向智能体的自主后训练研究系统 10-18 Intern-S2-Preview：科学智能体基础模型 08-15 端侧框架 1 端侧专用 Harness：Qwen 3.8 27B 实现近零成本推理 08-30 策略优化 16 PICO：全失败采样下的策略兼容联合解码 10-29 MOER：专家前缀引导与选择性回滚的混合策略优化 10-24 Flat-RLVR：面向推理能力的锐度感知可验证奖励强化学习 10-22 GGPO：面向可验证奖励离策略强化学习的策略优化 10-18 EliteReplay：通过质量多样性搜索保留强化学习后训练的多元解法 10-18 策略梯度估计中的基线与得分中心化 10-18 群组策略优化中的 KL 正则化失效与 ZCPO 10-09 HuatuoGPT-3：基于纯强化学习的医疗领域适配 10-08 CERO：强化学习后训练的 Rollout 时空预算分配 10-08 COPC：异步 LLM 强化学习的耦合离策略校正 10-08 小语言模型的 GRPO 训练动态研究 10-01 ReSPO：缓解离策略学习梯度饥饿的重塑序列策略优化 09-30 PoEM：从现有策略预测强化学习结果 09-25 PACT：从信用分配到评论器对齐 09-23 SAPO：面向智能体强化学习的单轨迹自回归策略优化 08-21 GUPO：面向大模型后训练的梯度不确定性感知策略优化 08-19 策略固化 1 AI 后训练缺少什么：智能体策略重估能力的实证分析 08-20 策略蒸馏 1 SimpleOPD：分词器无关的长上下文同策略蒸馏 08-17 系统优化 2 ReFlow：基于经验回放解耦的高效 RL 后训练框架 10-18 Nereus：面向大模型后训练的自适应并行运行时 09-30 经验授权 1 BCIT：自主后训练中的条件化经验迁移 08-29 能力迁移 1 后训练在无关决策中留下行为影子 09-26 自我反思 1 RetroThinker：让语音大模型实现回溯式思考 09-11 自蒸馏 6 SynthSelf：通过合成自蒸馏持续后训练小模型 10-18 SAPD：步骤对齐特权蒸馏 10-08 iSDFT：面向大模型持续学习的信息近端自蒸馏 09-22 重新思考大语言模型的在策略蒸馏 II：单样本训练 09-07 RISE：基于自外推策略蒸馏的递归改进 09-07 LOPD：潜在同策略自蒸馏 08-16 蒸馏平衡 1 Open-MOPD：修复多教师在线策略蒸馏的能力失衡 08-28 融合范式 1 跨领域 RLVR 能力整合：三类融合范式比较 08-28 训练策略 1 无 CoT 数据下：Next-Chunk Reasoning RL 真的优于 SFT 吗？ 08-25 训练系统 1 Rollplex：VLM 后训练的跨阶段 GPU 空间共享 08-17 记忆能力评测 1 MemCalib：评测与优化 LLM 智能体的记忆使用 09-22 评测审计 2 RLVR 难度标签的可靠性与测量偏差 10-01 Phantom Gains：用实测零基线审计模型自我改进 08-21 课程学习 1 合成任务扩展训练大模型进行小分子设计 09-07 资源调度 1 Libra：Agentic RL 后训练动态资源管理系统 08-14 过滤式微调 1 TailSFT：过滤式微调提升强化学习后训练性能 08-27 过程奖励模型 1 Cliff：从首次错误学习过程奖励 09-03 进化策略 1 进化策略实现比 GRPO 更广的 LLM 推理覆盖 08-28 连续推理 1 Continual Reasoning Gym：持续 RLVR 中的共享推理与提示回放 08-20 逆合成分析 1 化学合理性感知大模型用于单步逆合成 08-21 递归自我改进 2 RSI早期产业形态或率先落地企业Agent 10-10 RSI-Master：以结构化实验引导自主模型改进 09-30 闭环自进化 1 Mind Lab推出自迭代后训练平台Mint Recursive 09-24 音频混音 1 MixAgent：智能体音乐后期制作与混音修复 10-22 预训练 1 覆盖率原则：预训练如何赋能后训练 09-14
