模型蒸馏 LLM-DailyDigest 2026-08-14 2026-08-14 约 100 字 预计阅读 1 分钟 模型蒸馏 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 上下文压缩 1 连续上下文管理：逐轮压缩长程智能体记忆 09-30 两阶段蒸馏 1 GEAR：表格基础模型的生成扩增与真实锚定两阶段蒸馏 08-20 交互式评测 1 OmniAssistBench：全模态助手交互评测基准 08-24 人群仿真 1 聚合移动统计蒸馏为大型活动后人群仿真策略 08-22 偏好优化 1 小模型生成更优拒绝样本：偏好蒸馏的规模规律 10-01 具身基础模型 1 Anvil：通过知识再循环扩展具身空间智能 10-18 具身规划 1 SP-HLM：稀疏姿态驱动的人形机器人运动生成与全身控制 10-22 动态调度 1 D³-MOPD：面向多教师蒸馏的自适应领域调度 08-28 可信执行 1 HiSentinel：面向编程智能体的 hindsight 蒸馏干预哨兵 10-01 图像生成 1 LLaDA-Image：全开放训练方案打造强大图像生成器 09-07 图像编辑 1 LayerEditor：将图像编辑为可复用 RGBA 图层 10-24 在策略蒸馏 77 策略内自训练：无数据监督的语言模型自我改进 10-27 预训练进程中的潜意识学习与隐性偏好传递 10-23 MCPD：降低在策略自蒸馏的参考答案敏感性 10-23 ASTEROID：非对称在策略蒸馏学习上下文探索 10-22 OnQ：以自生成轨迹恢复量化模型推理能力 10-22 SAPD：无需环境交互的智能体经验学习 10-21 能力强的教师、短视的评分器：无奖励教师修复用于智能体在策略蒸馏 10-21 OPTD：对齐层间预测变化的在策略蒸馏 10-21 RSOD 构建电信领域语言模型 Llama-CalixCLM v1 10-21 MultiAgent-OPD：分层多智能体系统的端到端在策略蒸馏训练 10-19 GR-OPD：面向在策略蒸馏的组相对序列信用分配 10-19 MoEvolve：通过在策略双向蒸馏增强 MoE 模型 10-19 Waypoint-OPD：门控在策略蒸馏迁移强化学习策略转变 10-18 Road MOPD：跨教师防护的多教师在策略蒸馏 10-18 ActionOPD：在语义动作层面蒸馏智能体决策 10-18 批评引导的在策略蒸馏恢复可靠监督 10-18 共享残差蒸馏：从未经验证的同伴轨迹中学习 10-18 LoCD：通过局部上下文蒸馏学习交互经验 10-18 OPRD：面向长程编程智能体的在策略提醒蒸馏 10-18 兼容性很重要：在策略蒸馏中的词元级教师选择框架 10-18 CCE-OPD：条件对比外推的在策略蒸馏 10-18 在策略蒸馏会继承视觉语言教师模型的失败模式 10-18 SpatialOPSD：从可验证编码智能体轨迹中自蒸馏空间智能 10-10 ReCal：面向在策略蒸馏恢复的结构化剪枝校准 10-10 何时需要在策略蒸馏？离线学生轨迹往往更优 10-10 在策略蒸馏为何失效：学习信号消失 10-10 MetaOPD：元学习 Token 加权的在策略蒸馏 10-09 DIAL-OPD：用更少 Token 提升在策略蒸馏效果 10-09 重新思考跨分词器在策略蒸馏：从对齐覆盖率到监督可靠性 10-08 Latent-MOPD：潜在多教师在策略蒸馏 10-08 在线还是离线策略学习？蒸馏动态的系统研究 10-08 JOLT：联合在策略学习与自教师训练 10-08 在策略蒸馏传递新技能而非新知识 10-08 同系列在策略蒸馏的缩放特性 10-01 SAKI：最大耦合路由教师监督的在策略蒸馏 10-01 更少数据、更佳时机：面向时序视频定位的学生-课程耦合在策略蒸馏 10-01 OPSRD：在策略自角色蒸馏 10-01 GRGC：校准组内奖励几何的在策略黑盒蒸馏 10-01 Neighborhood OPSD：邻域专家增强在策略自蒸馏 10-01 ReTaCo：基于残差目标控制的在策略蒸馏 10-01 诊断推理语言模型的在策略自蒸馏 10-01 逐点裁剪反转纠正：在策略自蒸馏的失效机制 10-01 在线蒸馏缓解强化学习的长度扩展税 10-01 从模仿到奖励发现：智能体强化学习的在策略预热 10-01 领域归一化的多教师在策略蒸馏 09-30 极端稀疏监督以单Token更新提升大模型推理能力 09-30 归纳式反馈驱动的混合策略蒸馏 09-30 OG-OPD：面向多轮自主智能体的结果引导式在策略蒸馏 09-30 在策略与离策略学习的蒸馏动力学系统研究 09-30 稀疏 Crosscoder 揭示在策略蒸馏的特征重加权机制 09-30 稀疏奖励与稠密蒸馏：在策略蒸馏训练动力学 09-30 DivOPD：面向多轮智能体的异步在策略蒸馏 09-30 IM-MOPD：迭代合并增强多教师在策略蒸馏 09-30 ESCD：跨分词器在策略蒸馏的事件集补全 09-30 EAD：证据对齐的多模态在策略自蒸馏 09-30 PMOPD：基于参数更新子空间保护的多教师在策略蒸馏 09-30 EOPSA：高效在策略自蒸馏安全对齐 09-30 GRASP：面向 LLM 个性化的评分准则感知在策略自蒸馏 09-30 LSPD：面向高样本效率推理的最小二乘策略蒸馏 09-30 奖励对齐重加权的在策略蒸馏（R²-OPD） 09-30 UOPD：面向多轮智能体的置信度感知在策略蒸馏 09-29 FIRE：基于 Fisher 信息校准的反馈式在策略自蒸馏 09-29 共享前缀的隐患：用于在策略蒸馏的轨迹丢弃 09-29 LENS-OPD：长程任务的分层监督分配 09-29 OPD：模型如何从自身生成轨迹学习 09-25 RL 始于 RL 之前：在策略蒸馏提升强化学习效果 09-24 GUI-SD-v2：面向 GUI 智能体的在策略自蒸馏 09-24 面向低比特推理的在策略蒸馏 09-23 Cal-OPD：校准教师—学生差异的在策略蒸馏 09-21 EOS 标记不一致导致在策略蒸馏长度膨胀 09-19 单样本 On-Policy Distillation：状态覆盖与监督吸收瓶颈 09-18 RetireOPD：可自适应退场的在策略蒸馏 09-18 特权信息对在策略自蒸馏的增益有多大？ 09-18 不完美教师下的离线在策略蒸馏轨迹可学习性 09-17 γOPD：奖励兼容的时序信用分配在策略蒸馏 09-16 OPD-Aha：以视觉反思纠正多模态在策略蒸馏中的语言惯性 09-16 TGOPD：蒸馏前验证的提示级教师门控 09-09 多教师蒸馏 1 Jev：从概率判断到搜索决策与多教师蒸馏 10-08 多模态学习 1 Ovis-Embedding：统一文本、图像、视频与音频的全模态嵌入 09-24 工具使用训练 1 面向工具调用智能体的持久教师锚定（PTA） 09-07 弱到强泛化 1 在策略反向蒸馏实现弱到强泛化 09-09 思维链 3 TraceForge：用学生模型自身思维风格蒸馏推理轨迹 10-22 ReDiST：面向学生能力的推理轨迹构造与蒸馏 10-19 CoTranslator：从逆向到正向的思维链翻译与推理蒸馏 10-18 扩散模型 1 扩散模型的纠错训练 10-22 技能压缩 2 D-Skill：通过自然语言技能蒸馏教师智能体知识 10-22 SGUID：为模型-技能协同演化筛选紧凑技能库 10-09 持续学习 2 HERD：脚手架演化递归蒸馏持续学习框架 10-23 COMET：面向任务无关持续视觉语言学习的解耦蒸馏、路由与容量控制 10-19 排序蒸馏 1 TUP：基于排名分类的 Best-of-N 蒸馏 08-21 推理效率 2 解耦早退实现流匹配 VLA 的任务自适应算力分配 09-26 极稀疏监督可有效激发大模型推理能力 09-07 提示优化 1 K2P：无标签知识到提示蒸馏 10-01 数据合成 1 SynthDemo-RL：LLM 合成示范突破 VLA 稀疏奖励瓶颈 09-21 无教师蒸馏 1 Self-OPD：无需教师的流匹配模型在策蒸馏 08-29 智能体自进化 1 Experience Funnel：状态—策略交替的智能体自进化闭环 09-09 本地智能体 1 Meta 开源本地多模态智能体模型 Muse Glimmer 30B 08-25 机器遗忘 1 逆向蒸馏实现生成模型数据遗忘 10-08 模型可靠性 1 SALVE：用文本优化显化潜隐学习效应 09-16 模型对抗 1 强化学习可轻易攻破蒸馏防御 09-30 模型训练 1 贝叶斯视角统一 ICL、SFT 与 KL 正则化强化学习 09-07 模型轻量化 6 GoiBERT：两阶段知识蒸馏打造紧凑型越南语模型 10-22 pplx-embed-v2-late：多模态后期交互检索模型 10-22 CRD：基于交叉反馈与连贯策展的协作式推理蒸馏 10-08 TAP：基于轨迹锚定恢复的长程智能体高效剪枝 10-08 TeacherGRPO：通过教师对齐弥合推理蒸馏的能力差距 09-29 X-AuT：跨尺度蒸馏驱动的语音 LLM 音频编码器渐进压缩 09-13 泛化机制 1 同策略蒸馏泛化的双重效应：行为迁移与能力跷跷板 08-18 混合微调 1 G³-LoRA：梯度引导分组组织奖励加权视频数据 09-30 特质迁移 1 扩大量化生成蒸馏数据使教师潜在特质更易显现 08-29 策略优化 2 GIFT：梯度引导过滤的蒸馏增强推理强化学习 10-23 ExpDis：解耦 RLVR 中的探索与优化 10-08 策略发现 1 ATLAS：从智能体轨迹中发现可解释策略 08-17 策略蒸馏 1 SimpleOPD：分词器无关的长上下文同策略蒸馏 08-17 置信度评估 1 法律权威缺失时，决策模型应作答还是拒答？ 10-22 能力迁移 2 后训练在无关决策中留下行为影子 09-26 AI4AI 测试时强弱模型能力迁移：用 Harness 提升小模型表现 08-14 脚手架演化 1 Harness²：双层递归优化智能体执行框架 10-26 脚手架蒸馏 1 Harness-Zero：通过 Agent-as-Harness 蒸馏智能体脚手架 09-22 自我改进 1 在策略蒸馏真的在蒸馏吗？从噪声教师到自我改进 09-01 自蒸馏 15 FRED：面向世界动作模型的自蒸馏未来视频表征 10-24 智能体强化学习自蒸馏方法的现实检验 10-18 SynthSelf：通过合成自蒸馏持续后训练小模型 10-18 基于熵增益采样与答案混合的递归离线蒸馏 10-18 ReTeach：通过多轮反思与重试构建自教师 10-10 SELF：环境反馈建模增强智能体后见自蒸馏 10-10 Pivot-SD：掩码扩散语言模型的高效自蒸馏 10-08 SAPD：步骤对齐特权蒸馏 10-08 ComputerSD：基于实时反馈的计算机使用智能体在线自蒸馏 10-01 解耦自蒸馏：衡量与建模知识习得和保持 10-01 ReSAIL：缓解智能体迭代自蒸馏中的性能坍塌 10-01 DCSD：解耦信用方向与幅度的自蒸馏方法 09-30 iSDFT：面向大模型持续学习的信息近端自蒸馏 09-22 吸引与排斥教师：解耦自蒸馏中的正确性与行为 09-21 重新思考大语言模型的在策略蒸馏 II：单样本训练 09-07 视频生成 2 DuoMatching：联合边缘分布匹配提升少步视频生成 10-08 Mask Forcing：双噪声掩码改进自回归视频扩散蒸馏 09-10 连续推理 1 连续潜空间扩散推理：Latent Flow Reasoning Models 09-30 选择性蒸馏 1 CROP：基于反事实任务相关性的选择性在线策略蒸馏 08-16 长期记忆 2 LatentHarness：用反事实策略蒸馏统一记忆与潜在推理 10-01 Workspace Models：显著性监督驱动的轻量机器人记忆 09-18
