偏好优化 LLM-DailyDigest 2026-08-22 2026-08-22 约 100 字 预计阅读 1 分钟 偏好优化 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 主动学习 1 NAOD：面向偏置 LLM 评判器的主动偏好学习最优设计 10-01 偏好优化 14 DPO 计算图随机剪枝：训练提速 1.4 倍并降低峰值显存 10-22 ECHO：偏好优化中的公共模式偏移导致词表坍缩 10-22 RubricOpt：用于偏好优化的语义准则自修订框架 10-22 TPO：面向 OOD 的三级分布鲁棒直接偏好优化 10-21 PrefMind：在线多智能体偏好学习提升多模态生成 10-19 小模型生成更优拒绝样本：偏好蒸馏的规模规律 10-01 PrefPI：偏好引导生成式机器人策略突破分布外行为 10-01 AI 偏好与真实用户参与度的差距诊断及缓解 09-17 DiaWhisper-DPO：临床访谈角色归属转录与失败挖掘偏好优化 09-16 面向 LLM 智能体的轮次级多尺度密度比估计 09-16 Style-Debiased DPO：用事实性感知偏好数据更新 LLM 知识 09-16 DDO：面向多样化成功轨迹的直接多样性优化 09-10 基于激活标签传播的低资源大模型偏好适配 09-01 PLC-DPO：噪声与模糊偏好优化中的后验标签校正 09-01 协同演化 1 自消耗生成模型与人类偏好的协同演化 10-08 在策略蒸馏 4 TeachBack：双向偏好优化改进在策略自蒸馏 10-22 归纳式反馈驱动的混合策略蒸馏 09-30 GRASP：面向 LLM 个性化的评分准则感知在策略自蒸馏 09-30 DiffusionOPSD：扩散模型的在线策略自蒸馏 08-27 奖励建模 5 差分隐私稀疏奖励估计与偏好反馈 10-22 PerSPL：个性化半监督偏好学习 10-22 理由引导的人类奖励建模用于偏好强化学习 10-19 RewardExplainer：从反事实偏好反馈学习奖励模型解释 09-29 子空间推断实现高效主动偏好奖励学习 09-07 尺度解耦 1 DPO 中优化尺度与偏好尺度的解耦 08-28 持续学习 1 Jev-DLC：基于类型化反馈的决策级持续学习 10-23 指令精炼 1 指令质量决定偏好学习效果：基于奖励与规则的指令精炼 08-29 排序蒸馏 1 TUP：基于排名分类的 Best-of-N 蒸馏 08-21 推理效率 2 SKIP：自知识引导的逐步偏好学习实现简洁推理 09-16 MCPO：多模态思维链的模态对比偏好优化与压缩 09-07 数据策展 2 近重复图像选择可在视觉语言模型间传递偏好 10-21 onPanda：令牌级纠正高效标注在策略对齐数据 09-23 无教师蒸馏 1 Self-OPD：无需教师的流匹配模型在策蒸馏 08-29 智能体训练 1 PARPO：个性化智能体强化学习框架 09-14 流形漂移 1 流偏好优化中的流形漂移与奖励作弊 08-22 测试时优化 2 DHSA：以少量控制参数实现推理时偏好对齐 10-18 MISVO：语言模型最小侵入式引导 09-25 测试时训练 1 P-TTT：面向个性化奖励建模的测试时训练 09-30 自蒸馏 1 MIRROR：从模仿到偏好内化的个性化大模型自蒸馏 10-08 视频剪辑智能体 1 RefineCut：8B模型自我进化实现手机本地视频剪辑 08-30 音频混音 1 MixAgent：智能体音乐后期制作与混音修复 10-22
