评估方差 LLM-DailyDigest 2026-08-30 2026-08-30 约 100 字 预计阅读 1 分钟 评估方差 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 交互成本 1 上下文压缩会增加智能体的隐性交互成本 08-18 任务采样 1 Task-CoEvolve：自适应验证任务驱动的高效 Harness 优化 08-21 修辞敏感性 1 120篇 ICLR 投稿实测：修辞改写可显著影响 AI 审稿评分 08-27 历史回测 1 科学问题发现的历史回测协议与天文学试点 08-18 截尾偏差 1 截尾评分量表中的双重差分会制造虚假效应 08-28 探针效度 1 探针方向由提示词决定，而非模型属性 08-16 改进脆弱性 1 自改进智能体的脆弱性：方差、任务顺序与规格不足 08-20 数据策展 1 无标签线性规划数据集剪枝方法 10-08 智能体评测 1 相同运行、不同结果：开放权重模型上的 AI 编程智能体评测 09-29 模型可靠性 2 固定置信度分布下的可靠性漂移与脆弱性画像 10-01 自改进智能体的脆弱性：方差、任务顺序与规格不足 08-19 模型评测 2 工具增强模型比较中的提示敏感性 10-24 可复现 LLM 推理基准：序列隔离回归测试协议 10-08 科研评测 1 Ai2 发布新颖性评判基准，揭示 LLM 裁判高度不稳定 10-29 脚手架优化 1 自动优化 Agent Harness 的三条路径：Meta-Harness、AHE 与 Self-Harness 08-14 脚手架演化 1 复杂 Harness Evolution 可能不如重复运行 09-16 规则推理 1 NAFBench：大模型能否遵循指定的否定语义 09-24 评测复现 1 J-Space Skill 提升 DeepSeek V4 Pro 的评测争议 08-20 评测审计 13 一个偏差分数、两个因素：多选评测中的选项偏差缓解 10-18 TRACE：诊断智能体评测中的验证器脆弱性 10-09 并非所有裁决都平等：重思 LLM Judge 可靠性 10-09 RLVR 难度标签的可靠性与测量偏差 10-01 智能体脚手架收益还是评判偏差？投行演示文稿评测 10-01 LLM 评测结论的可复现性自审计 09-26 SWE-bench 头部编码智能体排名失效审计 09-16 DataFlex-RL：RLVR 数据策略评估平台 09-15 单公共因子模型下锚点—评判器误差相关性的闭式估计与诊断 09-09 共享端点上的黑箱 LLM 评判器存在可靠性失效 09-07 LLM 智能体商业评测中的构念效度失效 09-02 SASST：面向交互式智能体的选择感知压力测试 09-01 Phantom Gains：用实测零基线审计模型自我改进 08-21 语言推理 1 IOL-AI Challenge：以语言学奥赛推进语言推理评测 08-19 跨模态一致性 1 语音与文本输入下多模态模型的跨模态不稳定性 08-28 迁移能力评测 1 商业 LLM API 迁移中的题项级能力回归测量 08-19 过程评测 1 超越最终得分：长程 AI 研发智能体的系统评估 08-16 递归自我改进 1 LLM 自我改进循环中的赢家诅咒：选择噪声、锁定与接受规则 10-08 量规评分 1 评分靠量规，而非模型智能 08-19 错误共识 1 分解 LLM 自洽投票中的错误共识：GPT-4.1 案例研究 08-20 锚定偏差 1 LLM裁判的锚定偏差：先前评分损害评估独立性 08-27 顺序一致性 1 同等排序质量为何导致不同决策：顺序一致 LLM 评分器 08-29
