测量效度 LLM-DailyDigest 2026-08-16 2026-08-16 约 100 字 预计阅读 1 分钟 测量效度 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 低资源推理 1 低资源语言推理：SFT 构建语言习惯，RL 修复行为缺陷 08-19 信息分解 1 以信息分解形式化判定 AI 系统涌现 10-22 多样性评测 1 用多样性剖面评估 AI 生成内容 08-19 安全评测 1 GPT 模型中的“伤害洗白”：安全训练转化而非消除性别歧视 09-19 对应关系审计 1 跨视图对应是一种测量干预：智能体评测与信用分配的双向验证 08-19 探针效度 1 探针方向由提示词决定，而非模型属性 08-16 模型可靠性 1 可信 AI 审稿人的修辞鲁棒性评测与 SciCore 方法 10-01 模型评测 2 SIV：基于定理证明器的 NL→FOL 翻译评测指标 09-29 LLM 中似然排序并未像提示回答一样随规模提升 09-25 评测基准 3 QC-Stark：揭示大模型量子计算能力分化的多任务基准 09-30 Artificial Societies Benchmark：合成人口研究的多维效度验证框架 09-25 专家引导的情境化有效评测基准生成框架 09-16 评测审计 14 基准是难度分布上的经验测度 10-22 ALIAS：评估 LLM 生成 TLA+ 规范的性能与记忆效应 10-22 收益电话会 NLP 基准的可用性契约与事件内时序错配 10-18 AI 时间跨度估计与 METR 指标效度分析 10-09 MemoryAgentBench 冲突消解评测审计：不可达标准答案与分数误读 10-08 RLVR 难度标签的可靠性与测量偏差 10-01 LLM 评测结论的可复现性自审计 09-26 LLJ Cards：LLM 评判模型使用最佳实践 09-22 医疗大模型不同访问模式的输出差异与审计挑战 09-16 能力不变的简历扰动揭示 LLM 招聘筛选的呈现敏感性 09-16 审计方式左右结论：LLM 决策审计的工具效应可比人口偏差 09-09 网络安全 LLM 基准分数依赖评测流水线：可靠性审计 09-09 SASST：面向交互式智能体的选择感知压力测试 09-01 Phantom Gains：用实测零基线审计模型自我改进 08-21 运动跟踪 1 HumanTracker：人类感知对齐的人形运动追踪基准 08-18 量规评分 1 评分靠量规，而非模型智能 08-19 题项相似性 1 双维度 LLM 框架自动分析大规模测评题项内容相似性 08-26
