策略优化 LLM-DailyDigest 2026-08-14 2026-08-14 约 100 字 预计阅读 1 分钟 策略优化 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 世界模型 3 Rollback：世界模型中的经验回溯与策略改进 10-29 SyncWorld：视觉校准使世界模型成为零样本模拟器 09-11 NashDreamer：面向零和不完美信息博弈的模型式强化学习 09-02 价值估计 3 VAST：自适应时间尺度的离线价值缝合 10-25 TPPO：面向语言模型推理的价值跟踪 PPO 10-18 PPO Critic 的价值扁平化及稀疏监督缓解方法 09-17 信用分配 10 面向长程 LLM 智能体的多尺度策略优化 10-27 TWICE：同噪声孪生世界的智能体强化学习信用分配 10-23 ReAPO：面向高效探索的重试感知策略优化 10-22 AtomicRL：面向长程机器人操作的原子强化学习 10-22 MGE-PO：面向数学推理的熵感知信用分配 10-19 OpCredit：面向智能体知识图谱问答的操作感知策略学习 10-18 SCAPO：半事实信用增强策略优化 10-09 SCAPO：基于半事实稳定性的细粒度信用分配优化 10-01 Trust the Critic More：基于动作分块的 Actor-Critic 训练 10-01 PEPO：基于邻近熵的 RLVR 词元级信用分配 10-01 偏好优化 2 PrefPI：偏好引导生成式机器人策略突破分布外行为 10-01 DDO：面向多样化成功轨迹的直接多样性优化 09-10 协同演化 5 CoDA：数据引擎与机器人动作策略协同演化 10-18 共同进化却分离失效：自改进智能体的技能—策略协同演化陷阱 10-18 ARISE：面向能力缺口演化的智能体强化学习 09-30 CERA-MoA：路由机制与持续学习 LLM 智能体协同演化 09-17 SafeEvolve：基于智能体经验的脚手架—策略协同演化安全对齐 09-03 博弈评测 1 AAArena：评估智能体在长期博弈竞赛中的启发式学习 10-09 在策略蒸馏 13 Waypoint-OPD：门控在策略蒸馏迁移强化学习策略转变 10-18 Road MOPD：跨教师防护的多教师在策略蒸馏 10-18 ActionOPD：在语义动作层面蒸馏智能体决策 10-18 MetaOPD：元学习 Token 加权的在策略蒸馏 10-09 在线还是离线策略学习？蒸馏动态的系统研究 10-08 SAKI：最大耦合路由教师监督的在策略蒸馏 10-01 GRGC：校准组内奖励几何的在策略黑盒蒸馏 10-01 从模仿到奖励发现：智能体强化学习的在策略预热 10-01 UniOPSD：统一结果与后见反馈的智能体强化学习 09-30 LSPD：面向高样本效率推理的最小二乘策略蒸馏 09-30 何时何处信任教师：熵校准信用分配统一在策略蒸馏与 GRPO 09-24 面向低比特推理的在策略蒸馏 09-23 RetireOPD：可自适应退场的在策略蒸馏 09-18 多智能体系统 1 Stackelberg 博弈驱动的多模型协同对齐 10-01 奖励优化 1 SA-MRPO：面向多奖励策略优化的饱和感知优势重加权 08-19 奖励作弊 1 清洁网格世界中的规范博弈与约束强化学习缓解 10-18 奖励机制设计 7 面向任意测试时约束的预算感知多轮智能体奖励设计 10-21 ReMaRk：消除 LLM 推荐系统中 GRPO 的响应者噪声 10-18 多奖励黑客：聚合诱导漂移与信任锚定防御 10-18 GAGAR：代码智能体强化学习的分组评分与优势重分配 09-30 QGLAS：开放式强化学习的响应长度控制 09-30 DCRL：通过策略-奖励流形对齐改进强化学习 09-24 IRR：复用 VLA 表征实现机器人自主评估与策略改进 09-16 并行推理 2 DPT：以路径多样性增强大语言模型并行思考 10-22 PTTS：规划式测试时扩展协调多分支推理路径 09-24 异常检测 1 基于 AUC 界的无异常数据自优化 09-24 弱到强泛化 1 在策略反向蒸馏实现弱到强泛化 09-09 强化学习 4 Jev 能否充当强化学习中的 Q 函数或策略？ 10-09 CRBC：长程智能体强化学习的跨轨迹贝尔曼闭包 09-30 TGRL：温度分组强化学习提升 LLM 探索效率 09-29 用强化学习搜索新物理 09-10 技能优化 2 智能体先验引导的策略学习 10-08 COBRA-Skills：上下文老虎机引导的智能体技能优化 09-11 持续学习 2 DRPG：环境反馈驱动的动态策略生成实现 LLM 持续改进 09-16 JitRL：免梯度实现 LLM Agent 测试时持续学习 08-22 推理优化 2 SAGE：以拓扑引导缓解长程推理偏差 09-26 构建逆向思维：提升大语言模型的反向推理能力 09-22 推理效率 1 RACE：基于跨轮估计的智能体自适应推理 10-09 提示优化 1 SCOPE：文生图提示工程的语义有界信用优化 10-18 数据归因 1 RL-IF：追踪在线强化学习中的非局部训练数据影响 10-22 数据策展 1 北大开源 DataFlex-RL：统一接入与公平比较 RL 数据策略 09-25 智能体自进化 1 TimEvolve：面向智能体时序预测的自演化策略 09-22 智能体训练 2 ARLArena：稳定智能体强化学习统一框架 10-25 CORD：智能体联合强化学习与蒸馏的冲突感知优化 10-22 模型训练 1 序贯优于联合：在策略蒸馏与 RLVR 的协同机制 09-07 模型路由 1 Router Drift Control：缓解 MoE 强化学习的离策略退化 10-18 模型轻量化 1 TAP：基于轨迹锚定恢复的长程智能体高效剪枝 10-08 模型量化评测 1 Seed-Evolving 量化策略研发与自迭代能力评测 08-14 测试时优化 3 从帕累托到偏好：摊销式策略发现实现个性化测试时扩展 10-08 MISVO：语言模型最小侵入式引导 09-25 TTPO：测试时策略优化 08-28 测试时训练 2 Agentic-TTT：学习测试时训练策略，实现自主参数级改进 10-09 ERPO：面向代码生成测试时强化学习的熵正则秩掩码策略优化 09-09 混合微调 1 在策略参数更新方向奠定 LLM 后训练泛化基础 10-08 环境正则化 1 ERPO：以环境正则化破解策略优化的稳定—探索困境 08-25 策略优化 44 PICO：全失败采样下的策略兼容联合解码 10-29 Info-GRPO：面向长链推理的相关性感知探索 10-27 大模型强化学习中的熵坍塌：机制、推导与 DAPO 对策 10-25 MOER：专家前缀引导与选择性回滚的混合策略优化 10-24 ReflectPO：反思引导的长程智能体策略优化 10-23 GIFT：梯度引导过滤的蒸馏增强推理强化学习 10-23 EPIC：基于精确 KL 前缀重要性比裁剪的自回归策略优化 10-22 一策多表：面向长程智能体的效果边缘策略优化 10-22 Flat-RLVR：面向推理能力的锐度感知可验证奖励强化学习 10-22 基于 Doob 变换的生成式策略优化 10-22 重新审视 GRPO 的大推理模型安全对齐 10-19 GGPO：面向可验证奖励离策略强化学习的策略优化 10-18 EliteReplay：通过质量多样性搜索保留强化学习后训练的多元解法 10-18 策略梯度估计中的基线与得分中心化 10-18 Fed-GRPO：奖励信号驱动的联邦群组相对策略优化 10-10 群组策略优化中的 KL 正则化失效与 ZCPO 10-09 HuatuoGPT-3：基于纯强化学习的医疗领域适配 10-08 ExpDis：解耦 RLVR 中的探索与优化 10-08 CERO：强化学习后训练的 Rollout 时空预算分配 10-08 COPC：异步 LLM 强化学习的耦合离策略校正 10-08 带风险控制的安全元策略设计 10-08 小语言模型的 GRPO 训练动态研究 10-01 ReSPO：缓解离策略学习梯度饥饿的重塑序列策略优化 09-30 MaPP：面向数据高效 RLVR 的边缘化后验预测框架 09-30 Sample What You Say：让语言模型按其声明的分布采样 09-30 SIPO：面向树结构智能体强化学习的选择性推断策略优化 09-30 ASCT：反事实树注意力搜索实现智能体强化学习信用分配 09-30 Teach to Learn：提示退火驱动 LLM 推理自我改进 09-30 基于认知状态转移的主动对话策略优化 09-30 EAPO：面向 LLM 推理探索的熵引导信用分配 09-29 PoEM：从现有策略预测强化学习结果 09-25 超越重复采样：学习大模型推理搜索策略 09-23 PACT：从信用分配到评论器对齐 09-23 InfoPPO：信息时间近端策略优化 09-22 EvolveTrade：经验驱动的自进化 LLM 交易智能体 09-18 EPIG-Tree：面向梯度效率的计算最优分支策略 09-18 BATON：面向 LLM 智能体的双轴策略优化 09-18 Bellman Policy Optimization：无 Critic 的 RLVR 方法 09-15 TailRL：面向高奖励尾部覆盖的强化学习 09-10 ThinkPrior：RLVR 冷启动提示选择的零 Rollout 难度先验 09-09 GRPO 中隐藏的伪优势问题与 SIGNBALANCE 09-07 学习式前沿选择的智能体逆生物合成框架 09-01 TASPO：协调过程监督与结果信用的智能体策略优化 09-01 GUPO：面向大模型后训练的梯度不确定性感知策略优化 08-19 策略固化 1 AI 后训练缺少什么：智能体策略重估能力的实证分析 08-20 策略迭代 1 PIHF：以人类反馈将后训练强化学习引入上下文学习 08-18 置信度评估 2 Return or Revise：学习何时修订能改进检索增强问答 09-25 社交主动推断中的伙伴特异性情感精度 09-22 脚手架优化 2 Self-HPO：框架与策略协同优化的自进化编码智能体 10-21 ActiveSaddler：以自动化课程学习优化智能体脚手架 10-08 自博弈 1 近似价值迭代在自博弈中的意外高效性 09-09 自蒸馏 1 DCSD：解耦信用方向与幅度的自蒸馏方法 09-30 自进化框架 1 FreeEvolve：超越固定循环的自主进化学习 10-08 自适应聚合 1 pFedMARL：多智能体强化学习自适应聚合非 IID 联邦数据 08-27 蒸馏路由 1 I-SDPO：实例级自适应自蒸馏策略优化 08-16 评测审计 1 DataFlex-RL：RLVR 数据策略评估平台 09-15 贝叶斯优化 1 通过贝叶斯优化预训练贝叶斯优化算法 10-08 过程信用分配 1 MileGPO：基于局部证据的长程智能体里程碑信用分配 08-21 过程奖励模型 1 BoT-GRPO：基于词元袋聚合的高效过程奖励强化学习 10-08 递归自我改进 4 Terminal-RSI：通过轨迹重写与策略精炼递归改进终端智能体 10-18 R² Flow：通过递归技能演化实现智能体自我改进 09-29 Dream-RSI：通过演化世界实现递归自我改进 09-16 MetaRSI-v1：协同优化数据、模型与 Harness 的递归自我改进系统 09-15 采样控制 1 GRPODropout：筛除部分 Rollout 改善在线强化学习 10-09 长期记忆 5 Uni-Mem：统一在线策略优化的长程智能体记忆管理器 10-22 基于延迟单侧反馈的个性化记忆门控学习 10-19 MemComposer：用强化学习组装智能体记忆 10-18 面向长程 LLM 智能体的情境条件化思考策略学习 10-08 LatentHarness：用反事实策略蒸馏统一记忆与潜在推理 10-01
