奖励建模 LLM-DailyDigest 2026-08-11 2026-08-11 约 100 字 预计阅读 1 分钟 奖励建模 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 世界模型 1 DreamTrue：反事实后训练实现动作忠实的机器人世界模型 10-10 主动学习 1 NAOD：面向偏置 LLM 评判器的主动偏好学习最优设计 10-01 信用分配 1 MRTPO：多奖励强化学习的奖励特定词元级信用分配 10-18 偏好优化 2 ECHO：偏好优化中的公共模式偏移导致词表坍缩 10-22 PLC-DPO：噪声与模糊偏好优化中的后验标签校正 09-01 医疗人工智能 1 Fathom-Vaidya：基于量规奖励提升医疗推理 09-22 协同演化 1 J-Zero：零数据下挑战者、求解器与评判者统一协同进化 09-01 响应对齐 1 PatternEval：混合思考多模态模型的响应行为对齐 08-24 在策略蒸馏 6 能力强的教师、短视的评分器：无奖励教师修复用于智能体在策略蒸馏 10-21 Residual Advantage：面向 RLVR 的学生相对教师引导 10-10 GRGC：校准组内奖励几何的在策略黑盒蒸馏 10-01 奖励对齐重加权的在策略蒸馏（R²-OPD） 09-30 何时何处信任教师：熵校准信用分配统一在策略蒸馏与 GRPO 09-24 γOPD：奖励兼容的时序信用分配在策略蒸馏 09-16 多智能体协作风险 1 CURB：缓解重复博弈中的报复性算法合谋 09-18 奖励优化 1 SA-MRPO：面向多奖励策略优化的饱和感知优势重加权 08-19 奖励建模 20 记忆感知奖励建模：学习用户对 LLM 记忆使用的偏好 10-23 差分隐私稀疏奖励估计与偏好反馈 10-22 PerSPL：个性化半监督偏好学习 10-22 理由引导的人类奖励建模用于偏好强化学习 10-19 Reward Engine：面向开放式工具智能体的奖励中心自进化 10-19 评判评判者：量规奖励中的置信度与分歧 10-18 CleanRM：用少量干净反馈从噪声偏好中训练奖励模型 10-18 Envelope Sampling：通过代理奖励后训练缓解奖励作弊 10-10 Visual Jev：多主体图像生成的参考绑定验证奖励 10-08 LatentGRM：基于语义保真压缩的高效生成式奖励建模 10-08 Think Before You Score：用于视觉生成的思考型奖励模型 10-01 基于项目反应理论的量规奖励 09-30 RewardExplainer：从反事实偏好反馈学习奖励模型解释 09-29 RewardVerse：评分标准引导的视频奖励建模 09-25 面向科学影响力的创意生成学习 09-25 转写、翻译与优化：语音翻译的联合奖励学习 09-23 ActReview：基于作者答辩与量规奖励的可执行同行评审生成 09-09 AgentRM：以奖励建模增强智能体泛化 09-07 子空间推断实现高效主动偏好奖励学习 09-07 HSRM：用于测试时验证的隐藏状态奖励模型 09-01 奖励机制设计 20 FORK：精确率目标缓解评分标准强化学习中的奖励投机 10-29 面向任意测试时约束的预算感知多轮智能体奖励设计 10-21 CollabSciReM：以科学感知奖励分解对齐科研对话模型 10-21 RANGER：语义奖励驱动的知识图谱检索智能体 10-21 ReMaRk：消除 LLM 推荐系统中 GRPO 的响应者噪声 10-18 AesCode：以解耦跨模态奖励生成美学代码 10-18 多奖励黑客：聚合诱导漂移与信任锚定防御 10-18 SIF：通过选择性内部反馈学习推理 10-18 错误投票，正确梯度：多数投票奖励为何逼近可验证强化学习 10-18 自适应奖励路由：音视频联合扩散的动态多奖励优化 10-08 RewardWeaver：面向长程语言智能体的自进化奖励适配 10-08 ProRubric：以协议级量规缓解 Rubric-RL 奖励作弊 10-01 可验证视觉奖励从合成场景迁移至自然提示 09-30 QGLAS：开放式强化学习的响应长度控制 09-30 RULER：面向 SVG 生成的实例感知量规奖励 09-24 Claude 优化数学与编程能力导致写作风格退化 09-24 DCRL：通过策略-奖励流形对齐改进强化学习 09-24 IRR：复用 VLA 表征实现机器人自主评估与策略改进 09-16 MedAgent-R1：面向循证医疗推理的忠实度感知强化学习 09-01 RLSVR：面向开放式任务的自验证奖励框架 08-11 奖励模型评测 4 面部吸引力偏差扭曲文生图奖励模型与排行榜 10-21 廉价验证器足以支撑稳健的 LLM 后训练 09-29 ImpossibleRubrics：生成式评分准则的奖励信号压力测试 09-16 ROBORMBENCH：视觉语言奖励模型的释义脆弱性 09-07 奖励蒸馏 2 ADRS：Token级自蒸馏奖励塑造提升长链路智能体训练 09-16 OPDVR：基于可验证奖励的在线策略蒸馏 08-27 工具使用训练 1 MATCH：模型感知课程调度与分层门控奖励的工具学习 09-18 并行推理 1 CoRAL：混合扩散—自回归高效多模态推理框架 10-22 思维链 2 CIA：衡量并提升思维链与模型内部推理的一致性 10-01 可读性不等于可解释性：思维链步骤的判断重要性与实际重要性 09-07 技能演化 1 SkillRubric：多模态智能体的技能指导与评估规则协同演化 09-30 拓扑优化 1 RGA-Designer：奖励引导的多智能体通信拓扑生成 08-21 指令精炼 1 指令质量决定偏好学习效果：基于奖励与规则的指令精炼 08-29 排序蒸馏 1 TUP：基于排名分类的 Best-of-N 蒸馏 08-21 推理优化 1 构建逆向思维：提升大语言模型的反向推理能力 09-22 数据策展 1 基于失败模式上下文赌博机的对抗数据策展 08-20 数据自演化 1 VISA：面向多模态指令遵循的智能体自演化数据合成 08-27 智能体自进化 1 Dr. Free：无需难度奖励的自进化搜索智能体 09-29 智能体训练 1 从 Agent 开发到算法优化的进阶方法论 09-22 模型可靠性 1 Jev CEO：放弃RLHF，转向RLCD自主自动化 09-22 模型训练 1 StudentSim：个性化 LLM 学生模拟器训练框架 09-02 测试扩展 1 真实开放任务中的测试时扩展：瓶颈在利用而非探索 08-20 测试时优化 2 MISVO：语言模型最小侵入式引导 09-25 ExpBoN：基于指数噪声 Best-of-n 的高效测试时对齐 09-21 测试时训练 2 P-TTT：面向个性化奖励建模的测试时训练 09-30 PROSE：以过程奖励修复医疗问答中的测试时强化学习 09-16 混合微调 1 G³-LoRA：梯度引导分组组织奖励加权视频数据 09-30 混合控制 1 LLM 常识推理驱动的自动驾驶多智能体编排 08-21 科研智能体 1 PaperGym：以评分准则驱动科研计划生成与训练 09-01 策略优化 3 大模型强化学习中的熵坍塌：机制、推导与 DAPO 对策 10-25 群组策略优化中的 KL 正则化失效与 ZCPO 10-09 PoEM：从现有策略预测强化学习结果 09-25 置信度评估 1 URW：基于保形校准的不确定性感知 Rubric 评判加权 10-18 群体推理 1 Co-RL：多样化智能体群体涌现无监督推理 08-21 自动化科学研究 1 前向引文监督生成可操作研究局限 10-19 自博弈 1 掼蛋自博弈中的预测—优化鸿沟 10-22 蒸馏路由 1 I-SDPO：实例级自适应自蒸馏策略优化 08-16 评测审计 1 智能体轨迹评估与失效归因：三篇论文综述 09-18 过程奖励模型 9 强 MoE 即可实现过程监督：基于专家路由的置信度与奖励建模 10-22 BayesianPRM：可靠性与保守性感知的过程奖励建模 10-19 BoT-GRPO：基于词元袋聚合的高效过程奖励强化学习 10-08 RSP：通过推理状态传播学习过程奖励 10-01 确定性 PRM 引导为何在离散扩散推理中表现不佳 09-30 SPRING：SMT 求解器引导的逻辑推理过程奖励 09-30 ConsensusBench：用共识节点稠密化大模型推理奖励 09-07 SiLR：LLM 工具智能体的结构保持准入与过程奖励 09-07 Cliff：从首次错误学习过程奖励 09-03 过程评测 1 F²DR：面向 DeepSearch 全流程的细粒度奖励框架 09-18 逆合成分析 1 化学合理性感知大模型用于单步逆合成 08-21 递归自我改进 1 通过对抗式元提示演化实现递归奖励改进 10-18 闭环自进化 1 AI4AI：AI训练、优化与评测AI的新范式 08-20 顺序一致性 1 同等排序质量为何导致不同决策：顺序一致 LLM 评分器 08-29
