模型评判 LLM-DailyDigest 2026-08-30 2026-08-30 约 100 字 预计阅读 1 分钟 模型评判 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 交互式评测 1 FIGS：不惩罚共情的多轮迎合性评测框架 10-01 信念-真值解耦 1 LLM裁判中的信任—真值可分离性 08-24 元认知 1 LLM 元认知监控的局限 09-30 医疗人工智能评测 1 决策语言模型：低成本快速替代临床 AI 的 LLM 评判器 10-22 奖励建模 2 评判评判者：量规奖励中的置信度与分歧 10-18 Envelope Sampling：通过代理奖励后训练缓解奖励作弊 10-10 安全评测 3 DiagSafe：基于提示级量规的 LLM 安全诊断评测 10-22 一个词即可放行：类型化决策模型的选项通道攻击 10-09 System One 模型的智能体安全决策评测：可靠性、校准与选择性自动化 09-29 幻觉检测 1 RAIM：聚合低成本模型进行幻觉检测 10-01 弱监督学习 1 先对齐再融合：无真值监督的参考空间校准 10-08 思维链 1 可读性不等于可解释性：思维链步骤的判断重要性与实际重要性 09-07 数据策展 1 双置信度门控本地 LLM 评判器筛选商户匹配训练数据 09-29 智能体评测 1 面向实时数据科学任务的技能型智能体评测 09-16 模型评判 1 JEV-as-a-Judge：高置信接受、低置信升级的低成本评判 09-24 模型评测 7 RubriX：可微调的快速非自回归量规评判器 10-27 TIDE：基于模型行为树的细粒度诊断评测 10-22 跨厂商与版本的低成本模型行为测量 09-25 SEEK：面向工业搜索的技能路由与可演化知识评估 09-25 JEV 对比 LLM 量规评判：更低成本、更快但错误高度相关 09-25 增量池化 LLM 评测：低成本选择检索模型 09-03 超越评分：解析 LLM-as-a-Judge 的摘要评估机制 09-02 测试时优化 1 EMO：交替上下文优化与 Logits 引导的闭环测试时计算框架 10-18 答案选择 1 候选供给与答案选择决定多智能体 LLM 裁判价值 08-27 置信度评估 2 URW：基于保形校准的不确定性感知 Rubric 评判加权 10-18 Sys1Cal-v1：揭示 Jev 概率校准中的隐含“不知道” 09-30 药物评测 1 面向药物发现智能体的人类对齐 LLM 评测系统 08-24 裁判模型诊断 1 能力而非准确率：无参考裁判门控的诊断方法 08-20 评测基准 2 UltraText Bench：双语视觉文本渲染评测基准 10-09 SEAR：面向音频语言模型的伪造证据落地推理基准 10-01 评测审计 12 SANE：面向 LLM 评判器的自动化特定评分器蜕变测试 10-22 TRACE：诊断智能体评测中的验证器脆弱性 10-09 LLM 评判器在实体对齐评估中的可靠性 10-08 CAP：跨部署条件诊断 LLM 评判模型 10-08 面向多轮业务智能体的可靠 LLM-as-a-Judge 测量系统 09-29 Laya 类型化概率评估器：校准与选择性升级的独立复现 09-29 LLM 评分器的有效性与失效：两场计算机考试的实证研究 09-26 LLJ Cards：LLM 评判模型使用最佳实践 09-22 超越准确率：程序轨迹如何改变 LLM 监督者的决策标准 09-17 用答案扰动验证事实性评估方法的可信度 09-15 单公共因子模型下锚点—评判器误差相关性的闭式估计与诊断 09-09 共享端点上的黑箱 LLM 评判器存在可靠性失效 09-07
