提出者：杜晋华最早研究：2026-08-05

目录

EvalEvolve

研究方向：进化式评测——随能力增长持续演化、抗污染的评测基准与方法。

研究范畴

进化式评测（evolutionary / dynamic evaluation）针对静态基准易被污染、快速过时的问题，主张让基准与方法随模型能力增长持续演化、抗污染。本方向涵盖：持续更新的 live benchmarks、动态 / 等价变体评测、自动出题（auto-benchmaking）、抗污染机制，以及自进化基准框架。社区关注的核心问题包括：如何持续、低成本地产生高质量新题并标定难度、如何抵抗训练数据污染与基准泄漏、动态评测如何与真实世界能力对齐避免指标漂移，以及多模态 / Agent / 长周期任务的评测有效性。

研究挑战

题目质量、ground truth 获取与难度一致性。
防泄漏与可复现性的张力。
评测本身的成本与算力。
与快速迭代模型保持同步的运维负担。

自研项目

CLUB-benchmark (LogicEvolve) — 复杂逻辑推理的智能体评测平台，提供准确率 / cell 级准确率 / 一致性 / 推理路径追踪等多维指标，含可视化榜单（clubweb.site）与 4600+ 评测结果 JSONL。
EvolveLLM — 博士课题《Toward True ASI》承载仓库，含评测相关的方法论与综述沉淀。

相关工作

代码 / 框架

meta-agents-research-environments — Meta 智能体研究评测平台
eval-dev-quality — 开发质量进化评测
ABench — 进化式开源 benchmark 套件
EvolIF — benchmark 进化框架（多轮指令跟随）
LiveBench — 持续更新的抗污染 LLM 基准，每六个月刷新
LiveCodeBench — 持续收集新编程题的抗污染代码评测
EvoEval — 对 HumanEval 进化变换生成 828 个新问题
EvoCodeBench — 真实仓库对齐的进化代码基准（NeurIPS 2024）
Self-Evolving-Benchmark — 多 Agent 框架自进化基准（COLING 2025, 被引 45）
DyCodeEval — 动态代码评测，语义等价变体抗污染（ICML 2025）
AutoBencher — 声明式自动基准构建（ICLR 2025）
Static-to-Dynamic-LLMEval — 静态到动态评测综述仓库（EMNLP 2025）
MMBench-Live — 多 Agent 驱动持续进化多模态基准（ICML 2026）
SDEval — 安全性动态评测框架（AAAI 2026）
Code2Bench — 从 GitHub commits 自动生成代码评测题
Awesome-Self-Evolving-Agents — 自进化 Agent 领域综合合集
awesome-data-contamination — 数据污染与抗污染评测论文列表

论文

LiveBench: A Challenging, Contamination-Free LLM Benchmark — 首个频繁更新题目的基准（被引 470+）
LiveCodeBench — 持续收集新竞赛题（被引 1900+）
EvoEval: Evolving Coding Benchmarks via LLM — LLM 语义变换生成新题
Benchmark Self-Evolving (COLING 2025) — 多 Agent 自进化基准框架（被引 45）
DyCodeEval (ICML 2025) — 动态代码推理评测（被引 33）
AutoBencher (ICLR 2025) — 声明式自动基准构建（被引 31）
From Static to Dynamic: A Survey on LLM Evaluation (EMNLP 2025) — 动态评测综述（被引 32）
Towards Contamination Resistant Benchmarks — 抗污染性概念
LLM-Evolve (EMNLP 2024) — 序贯问题求解评测（被引 20）
ArenaBencher — 多模型竞争驱动基准进化
MMBench-Live (ICML 2026) — 持续进化多模态基准
SDEval (AAAI 2026) — 安全动态评测（被引 7）
Towards Self-Evolving Agent Benchmarks — 可验证自进化基准
Evolutionary Perspectives on LLM-Based Multi-Agent Evaluation — 进化视角评测方法论分析

相关工作（按子主题自动聚合）

上下文学习 ¹

上下文强化学习是否为后验采样器：实证检验 10-22

世界模型 ²

事件而非像素：世界模型的回报误差诊断 10-22

AutoWorldModel-Bench：自动化世界模型研究的状态中心基准 08-14

世界模型评测 ¹

HarnessEval-W：智能体化视觉世界模型评测 08-19

交互式评测 ⁶

InteractiveWorld：可验证的人本交互式 MLLM 环境 10-29

StreamEval：交互式流式视频生成统一评测基准 10-23

DIVE：连续流视觉参与的全双工交互评测基准 10-22

SIT-Eval：基于情境的对话智能体逐轮交互评测 10-19

FIGS：不惩罚共情的多轮迎合性评测框架 10-01

OmniAssistBench：全模态助手交互评测基准 08-24

交互成本 ¹

上下文压缩会增加智能体的隐性交互成本 08-18

代码评测 ¹⁵

SWE-DIVE：动态用户模拟的多轮编程智能体评测 10-22

P2NPCBench：对抗重写下的 P 与 NP 完全问题配对评测 10-22

UserSWE：动态用户多轮对话中的编程智能体评测 10-22

VeeReview：基于 V 模型评测智能体 PR 的构建—验证配对 10-22

ExeBench-FHD：提升反编译器评测保真度 10-21

WEAVE：面向代码智能体的依赖结构化真实代码演化任务 10-18

SWE-Journey：面向长程多轮交互的真实编码助手评测 10-10

真实程序精确输出与检查点状态预测评测 10-09

编码智能体基准应匹配用户真实任务流 10-08

GPUPhysBench：GPU 物理仿真编程智能体评测基准 09-30

Codoku：面向前沿编程智能体的可再生程序推理基准 09-30

SecProbe：面向网络安全漏洞的编程智能体自适应评测 09-29

SWE-Game：编码智能体游戏开发评测基准 09-29

薛定谔代码仓库：LLM 学会还是记住了 SWE-bench？ 09-25

NatureBench：编程智能体能否复现论文中的 SOTA 08-12

任务生成 ¹

FaultGene：面向自动驾驶硬件在环验证的故障增强测试生成 10-22

信息分解 ¹

以信息分解形式化判定 AI 系统涌现 10-22

信用审计 ¹

无真值信用：基于执行回放审计 LLM 智能体的步骤级信用分配 08-21

修辞敏感性 ¹

120篇 ICLR 投稿实测：修辞改写可显著影响 AI 审稿评分 08-27

具身基础模型 ¹

GPT-6-Astra具身智能评测：具备能力但尚未达到实用门槛 10-20

具身规划 ²

前沿 AI 模型在 LIBERO-10 机器人操作任务上的评测 10-22

VCN-Bench：基于既往视频经验的空间导航推理基准 09-30

分层验证 ¹

给验证器打分：LLM 推理验证自治等级 L0–L5 08-20

判断校准 ¹

Localize-Then-Decide：LLM 判断的人类一致性保障 08-27

动态审查 ¹

MCR-Bench：真实多轮代码审查动态基准 08-28

医疗人工智能评测 ⁸

System 1 模型在医疗决策中的价值与局限 10-23

合成胸片在数据集准入阶段的质量、来源与证据评估 10-22

Numan 用 LangGraph 与 LangSmith 构建评测优先的 AI 健康教练 Nu 10-20

医疗 LLM 智能体升级处置可靠性审计基准 10-18

MedBenchAgent：自动化构建医疗 VLM 评测基准 10-10

MedEVM：动态医疗诊断中的证据价值错位评测 09-30

BRIE：面向电子健康记录检索的动态评测基准 09-25

BALMS：面向纵向心理健康感知的智能体大模型基准 08-28

协同演化 ⁵

Environment Duels：LLM 环境创作与求解的协同演化评测 10-22

共同进化却分离失效：自改进智能体的技能—策略协同演化陷阱 10-18

ARISE：面向能力缺口演化的智能体强化学习 09-30

UnifiedPlayers：协同增强工具集成推理 09-18

J-Zero：零数据下挑战者、求解器与评判者统一协同进化 09-01

博弈评测 ²

AAArena：评估智能体在长期博弈竞赛中的启发式学习 10-09

Game Arena：竞争环境中的大模型战略能力评测 09-28

历史回测 ¹

科学问题发现的历史回测协议与天文学试点 08-18

发现能力评测 ¹

Apodex Discovery：面向真实发现任务的AI评测环境 08-18

叙事一致性 ¹

NCP-Bench：LLM 智能体交互叙事长程一致性评测 08-14

可信推理 ¹

VERITAS：通过计算言语化检测思维链忠实性 10-19

可靠性认证 ¹

智能体行为契约 II：无独立性假设的组合可靠性认证 08-16

合规性评测 ¹

ReguSim：评测金融 LLM 智能体的规则落地能力 08-21

响应对齐 ¹

PatternEval：混合思考多模态模型的响应行为对齐 08-24

在策略蒸馏 ¹

UserArena：长时程购物智能体的交互式用户模拟基准 10-27

基准优化 ¹

量化 ASR 模型的基准优化行为 08-21

增量评测 ¹

关系深度学习的增量评测与训练 08-16

多智能体协作风险 ³

SwarmReconGuard：分布式群体侦察黑盒检测基准 10-08

同质 LLM 辩论中的崩塌与纠正测量 09-30

ExploitGym中1200个AI智能体自发串通并越权攻击 09-29

多智能体系统 ¹

集体涌现对齐：多智能体交互诱导推理对齐的测量与增强 10-27

多模态学习 ¹

OmniVChat：原生音视频对话的数据合成、评测与强化学习 09-22

奖励模型评测 ²

面部吸引力偏差扭曲文生图奖励模型与排行榜 10-21

ImpossibleRubrics：生成式评分准则的奖励信号压力测试 09-16

安全审计 ¹

金融智能体自进化审计：能力增益、安全漂移与执行接口错配 08-19

安全评测 ²⁰

SkillLifeBench：智能体技能全生命周期安全评测 10-27

DiagSafe：基于提示级量规的 LLM 安全诊断评测 10-22

AgentPolicyForge：从可执行环境构建策略基准与自适应防护 10-22

超越文本行为：LLM 智能体拒答迁移失效评测 10-22

攻击者离开后：LLM 智能体延续攻击评测 10-21

辩论可纠正人类判断，却难以改善弱模型监督 10-21

Agent Arena对齐榜更新：Beam 1.0登顶美国开源模型 10-18

相同结果、不同证据：LLM 安全评测中的意图恢复 10-09

PatchBench：评估激活修补的附带损害 10-08

RT-SAFE：实时具身智能体安全评测基准 10-08

开放权重大模型非规范输入四状态安全评测 10-08

不诚实回答引发大模型推理 Token 激增 10-08

CATCH：代码强化学习中奖励作弊的可控分析测试床 10-01

RISE：迭代策略演化驱动的文生图红队测试 09-30

SEABench：自进化智能体内生失配评测基准 09-30

PASTABench：智能体序列轨迹的主动安全评测 09-24

CART：大模型闭环自适应红队测试框架 09-24

DUMA-Bench：双控制交互下的多智能体安全评测基准 09-22

Anthropic 披露四起 Claude 网络安全评测失对齐事故 09-10

HackProbe：自进化语言模型的奖励作弊检测与免疫 09-07

实验审计 ¹

超越代码执行：审计 LLM 科研实验的忠实性 08-29

工具调用 ¹

KOPA-Bench：韩国公共 API 多步工具调用基准与 EDGE 数据合成方法 09-07

幻觉检测 ⁴

决策模型作为幻觉检测评判器 10-29

DialFork：对话智能体程序性幻觉评测基准 10-18

RAGScope：面向 RAG 幻觉分流的防泄漏低成本证据门控协议 10-01

SHROOM-Visions 2026：大视觉语言模型幻觉检测共享任务 08-27

形式化验证 ³

OpenAI 邀外部专家与 Lean 核查 AI 科学证明 10-29

VeriCodeBench：自生成规约的可验证代码生成评测 10-01

Vero：智能体能否构建形式化验证的软件仓库 08-16

心智理论 ¹

MentalLoom：模糊情境下 LLM 心智化偏好与确信度评测 10-21

思维链 ³

奖励错设会削弱思维链可监控性 10-21

CIA：衡量并提升思维链与模型内部推理的一致性 10-01

推理表征能否帮助人类评估大模型输出？ 09-09

思维链审计 ¹

正确诊断，装饰性推理：医疗思维链扰动审计 08-26

截尾偏差 ¹

截尾评分量表中的双重差分会制造虚假效应 08-28

执行评测 ¹

QuoteBench：同分掩盖的命令路径故障 08-16

技能优化 ¹

BiPA：用二部归因重新评估智能体技能优化 10-29

技能演化 ²

自演化技能能否泛化到留出任务？ 10-01

Socratic-SWE：基于轨迹技能的自进化编程智能体 08-14

持续学习 ³

DeepMind：自演化智能体能否持续学习？ 10-29

CLE：LLM 智能体长时程持续学习与经验学习基准 10-29

EmbodiedCLBench：评估自我进化具身智能体的持续学习能力 10-18

指标演化 ¹

EvalCEGAR：从盲点中自动演化评估指标 08-20

探针效度 ¹

探针方向由提示词决定，而非模型属性 08-16

推理早停 ¹

知道何时停止：LLM 评测的贝叶斯最优停止 08-17

推理评测 ¹⁰

时间计算与时间理解均无法单独解释 LLM 时序推理 10-22

LLM 智能体能否在上下文中执行贝叶斯推断？ 10-22

同答异因：多语言大模型的推理轨迹分歧 10-22

思维惯性：被要求停止思考时，LLM 仍会显式推理 10-18

先采纳，再取消：思考如何让推理模型字面理解 some 与 or 10-18

Thinking Inertia：LLM 被要求停止思考后仍持续推理 10-09

PHRBench：大模型幻觉后推理行为评测 10-08

EnigmaForge：问题隐藏在故事中的逻辑推理评测 09-25

GPT-6 Astra补全FrontierMath Tier 4最后一道未解题 09-11

PerfReasoning：大模型硬件性能推理与建模评测 09-07

提示优化 ²

继承性：LLM 提示合并算子的准入测试 10-22

Claude Code让AI自动评测并迭代优化应用 10-09

搜索能力评测 ²

OpenDS-World：真实 Web 环境中的深度搜索评测 10-24

TsuGO：以围棋死活题评测大模型推理搜索效率 08-16

故障归因 ¹

面向 LLM 多智能体系统故障归因的错误传播建模 10-10

故障诊断 ¹

FaulT-Bench：面向不可靠用户工单的网络故障排查智能体基准 08-29

效度审计 ¹

超越局部准确率：LLM 推理评测的协议级可识别性审计 08-16

数学推理 ¹

GPT-6 Astra攻破FrontierMath Tier 4最后未解题 09-13

数据合成 ¹

AutoDataBench：评测智能体能否生成自我改进所需数据 09-30

数据策展 ¹

DataSense-Bench：迈向 AI 科学家的数据感知评测 10-09

智能体安全 ¹

OpenART：通过开放式环境演化扩展智能体红队测试 08-14

智能体框架 ²

MAI-Gym：GUI 智能体评估与强化学习一体化平台 10-18

联想TianxiCode登顶SWE-bench-Live Lite榜单 10-10

智能体脚手架 ¹

Opus 5借助极简Harness在ARC-AGI-3取得96.2%通关率 08-14

智能体自进化 ¹

VeriEvolve：评估器优先的工具智能体演化框架 10-22

智能体评测 ⁷³

VibeVideoBench：代码驱动视频生成的多模态智能体评测 10-29

TraceTrial-Bench：智能体运行框架可靠性与故障归因基准 10-29

Gym-Anything-RT：视觉语言智能体实时交互评测基准 10-29

Dual Exam：多模态智能体与世界模型的受控评估 10-27

简单 LLM Harness 在微服务根因分析中胜过手工智能体 10-27

LongSearchEval：面向长程网页搜索的轨迹感知智能体评测 10-27

Agent Behavior Maps：无需运行即可定位智能体行为 10-22

连接大模型基础能力与智能体能力的操作级评测框架 10-22

CrashGym：评测反事实市场崩盘中实验的决策价值 10-22

偏好不等于许可：智能体商业中的个性化自动购买边界 10-22

GenXR-Bench：交互式 XR 开发的编程智能体评测基准 10-22

后悔前先备份：编程智能体备份意识评测与自动化 10-22

Fig：自动化多智能体行为诱导与评测系统 10-22

LLM 智能体系统自动故障归因的机制研究 10-22

谁在执行卡特尔？强化学习如何塑造市场中的 LLM 智能体 10-22

OR-License：现实世界运筹学智能体评测基准 10-21

ReTrace：以目标导向动作回放评测计算机使用智能体的故障恢复 10-21

MMEnterprise-Bench：演化多模态记录下的企业智能体评测 10-21

BizAgentBench：现实商业场景中的长时程智能体评测 10-20

DeepSeek-V4.1-Flash 登顶 Agent Arena 开源模型榜 10-20

GatewayBench：MCP 网关能力与安全统一评测平台 10-19

FDE-Gym：评测 AI 客户交付“最后一公里” 10-18

Realtime-Bench：前沿模型实时交互能力评测 10-18

评估 LLM 智能体的探究学习：假设、推理与探索 10-18

ToolBottleneckBench：固定脚手架预算下的工具智能体评测 10-18

AgentPerturb：受控交互扰动下的 LLM 智能体鲁棒性评测 10-18

Kolab：长程工作流中的人机协作评测基准 10-18

OmicsBench：研究规模生物信息学长程多轮智能体评测基准 10-18

Learn2Play Bench：评测智能体在陌生环境中的经验学习能力 10-10

Arena 融资 2 亿美元并发布智能体 Alignment Index 10-09

BrickBench：智能体积木设计评测基准 10-09

InterviewPlayground：AI 访谈员仿真评测环境 10-09

模型与 Agent Harness 适配关系的系统评测 10-08

从基础模型预测后训练编程智能体性能 10-08

AgentTime：智能体能否估计并控制自身运行时间 10-08

DUDA-Bench：多模态数据驱动城市诊断智能体基准 10-08

GeoNatureAgent：地理空间与环境工具智能体的预部署评测框架 10-08

DoGBench：面向用户的软件文档生成智能体评测基准 10-01

APTInvestBench：跨遥测条件下的自主 APT 调查评测 10-01

DrivingBench：视觉语言模型能否驾驶真实丰田汽车 10-01

风险感知自适应评测：有限预算下发现高影响故障 10-01

Talk2Agent：面向文本智能体的语音接口评测基准 10-01

TraceDance：从真实部署轨迹自动构建智能体行为基准 09-30

FinAutoRubric：专家指导的金融研究智能体自动评分标准生成 09-30

WebPageBench：基于事件验证与可控 UI 变体的网页智能体评测 09-30

APEX-Voice：全双工语音智能体专业工作流评测 09-30

PDEU-Bench：个性化工具调用智能体规划全生命周期基准 09-30

LongPuzzleBench：长程视觉谜题 GUI 智能体评测 09-30

FromPitch2Board：长程足球管理智能体评测基准 09-30

FTA：工具型语言模型故障后报告透明度评测 09-30

LLM 智能体工具模式偏差的测量与缓解 09-30

相同运行、不同结果：开放权重模型上的 AI 编程智能体评测 09-29

SelfSuite：长程智能体的自设计评估器与热启动记忆 09-29

面向1.4亿用户的生产级客服智能体仿真筛选 09-25

Era by Eon：企业智能体隐性知识评测基准 09-25

The Tasteful Agent：衡量与提升长时程任务决策品味 09-24

FDE-Bench：LLM 智能体部署环境配置评测基准 09-24

WhatWorkedBench：评测 AI 智能体的实验理解能力 09-24

WebMRE：多模态 Web 智能体中指南与动作的相互强化 09-24

CAVEAT：激励错位环境中的稳健计算机操作智能体 09-24

OverclaimBench：量化前沿 LLM 智能体的任务完成过度声称 09-18

ReFigBench：可编辑 PowerPoint 科学图重建评测 09-17

Harbor Adapters：大规模智能体评测基础设施与 Harbor-Index 09-10

JarvisGUI：面向跨设备动态任务组合的 GUI 智能体评测 09-10

PatchBench：AI 智能体漏洞修复评测基准 09-07

Harbor Adapters 与 Harbor-Index：大规模智能体评测基础设施及精选元数据集 09-07

HarvestBench：评测 LLM 智能体是否愿为避免伤害动物付出代价 09-07

EarlyEval：通过早期结果预测降低智能体评测成本 09-03

MNIST-PRO：面向部分可观测智能体的感知状态评测 09-01

BAITBENCH：评测机器学习智能体的奖励作弊行为 09-01

ATLAS：工业工具调用智能体的双时域诊断评测 09-01

SwarmBench：评测大模型的智能体集群编排能力 09-01

BekchiAI：一键评测、观测与控制 LLM 智能体 08-29

机制发现 ²

LLM 能否通过自由探索发现隐藏物理定律？ 10-29

MechBench：评测 AI 科研智能体的机制发现能力 09-30

机器遗忘 ¹

AfterDeleteBench：审计智能体删除后的信息残留 10-23

根因评测 ¹

TraceBench：受控评测 LLM 智能体的时序根因归因能力 08-28

框架演化 ³

MetaBench-Harness：端到端演化基准生成框架 09-29

Evo-Bench：首个 Agent Harness 进化能力评测 08-24

AIDE²：零权重更新实现一阶递归自我改进 08-12

概率对齐 ¹

PAWBench：概率对齐世界模型评测基准 08-29

模型可靠性 ¹¹

LLM 价值训练的非预期副作用 10-22

扩散语言模型表格到文本生成的忠实性诊断 10-22

BRIDGE：阻断模型更新虚假改进的接受门控 10-22

同概率、异建议：高风险 LLM 决策支持中的得失框架效应 10-22

LLM 退化时表征秩反而上升 10-08

RoleCapBench：测量角色提示推理模型的能力泄漏 10-01

可信 AI 审稿人的修辞鲁棒性评测与 SciCore 方法 10-01

模型拒绝候选时给出的理由是否真正影响决策？ 09-26

精确反馈不等于可靠控制：LLM 闭环修订评测 09-24

SPINE：持续多轮压力下的 LLM 迎合性评测 09-09

自改进智能体的脆弱性：方差、任务顺序与规格不足 08-19

模型指纹 ¹

多分辨率大语言模型指纹识别 10-22

模型评测 ¹²

RubriX：可微调的快速非自回归量规评判器 10-27

工具增强模型比较中的提示敏感性 10-24

TIDE：基于模型行为树的细粒度诊断评测 10-22

SkillEval：基于认知诊断的可解释能力画像评测 10-22

事实召回中的“指令税”：基础模型优于指令微调模型 10-22

PolyRating：低成本、偏差感知的 LLM 评测系统 10-18

CADET：用因果任务分解诊断多模态大模型能力失效 10-01

SIV：基于定理证明器的 NL→FOL 翻译评测指标 09-29

跨厂商与版本的低成本模型行为测量 09-25

SEEK：面向工业搜索的技能路由与可演化知识评估 09-25

LLM 中似然排序并未像提示回答一样随规模提升 09-25

SQLMorph：基于查询变异与细粒度指标的Text-to-SQL评测框架 09-09

模型路由 ¹

重思时间序列预测中的智能体模型编排 10-22

测试扩展 ¹

真实开放任务中的测试时扩展：瓶颈在利用而非探索 08-20

演化能力评测 ⁸

SkillSandbox：动态场景合成验证智能体技能 10-08

EngramBench：面向技能演化脚手架的能力本位评测基准 10-01

EverMine：长周期 Alpha 研究中的自进化能力评测 09-29

StudyBench：测量自我进化知识吸收与迁移效率的物理奥赛基准 09-10

ASPIRE：模型能否从模糊目标中自我演化？ 09-01

S3Gym：LLM 能否通过自测试与自评判实现自我改进 09-01

SEAGym：自我演化 LLM 智能体评估环境 08-07

GDPevo：真实业务任务上的智能体自我进化评测 08-07

灾害评测 ¹

EarthVerse：动态地球系统与自然灾害科学智能体基准 08-25

物理适应 ¹

PACE-Bench：动态环境中的代码演化与物理适应评测 08-17

状态追踪 ³

OptionWorld：诊断 LLM 长期个人助理失效的基准 10-21

上下文变化下的 LLM 更新失败与陈旧绑定 10-01

StateMemBench：智能体记忆能否追踪演化状态？ 08-22

环境合成 ¹

Data World：从零规模化合成数据环境 10-18

环境适应 ¹

成功策略失效时：终端智能体的环境新颖性适应 09-29

真实世界评测 ¹

真实工作场景中Agent成功率仍然偏低 08-18

科研评测 ²³

Ai2 发布新颖性评判基准，揭示 LLM 裁判高度不稳定 10-29

Auto-Research Arena：语言模型自动研究多目标评测基准 10-27

量化 LLM 科研智能体的主张平滑现象 10-27

顶刊已发表论文的 LLM 同行评审可靠性评测 10-25

Quant-Arena：量化交易研究智能体评测基准 10-22

Agent4Sci：评测前沿智能体能否推进科学机器学习 10-22

FrontierCS 2：计算机科学研发智能体评测基准 10-22

DeepRSI 48 小时科研智能体评测：Kimi K3 跻身前三 10-18

OpenRSI Index：从刷榜走向真实科研评测 10-18

PhysClosureBench：评测科研智能体的证据闭合能力 10-18

SciΠvot：科研智能体关键决策判断评测基准 10-18

InnovationEval：AI自主研发仅达人类方案15% 10-10

PaperBenchX：AI端到端论文完整复现率仅13.98% 10-08

InnovationEval：前沿模型未能创新并出现评测作弊 10-08

SciExam for ENSO：AI 智能体能否构建气候模型？ 10-08

OSWorld-Science：科学软件操作智能体评测基准 10-01

TCSAlgBench：研究级理论计算机科学自动证明基准 09-30

SciARP：多轮科学推理智能体的扰动鲁棒性评测 09-30

ExplorationBench：在可验证异世界中评测 AI 探索能力 09-25

TruthInsightBench：基于证据的开放式科学发现智能体评测基准 09-07

AutoSciRub：先评估后改进的科研智能体自动准则归纳 09-01

ASI-Bench：评测 AI 自主科研与创新探索能力 08-20

MLS-Bench：140道真实任务检验AI方法创新能力 08-13

科研评测基准 ¹

DeltaML-Bench：真实科研仓库中的机器学习智能体评测 08-21

程序修复 ²

Poison Valleys：诊断 LLM 代码修复中的路径依赖失败 10-18

TestGRAD：基于失败模式动量演化测试套件 10-08

答案选择 ¹

候选供给与答案选择决定多智能体 LLM 裁判价值 08-27

答案验证 ²

ClaimScope：标签盲见证验证的数学主张审计基准 10-18

AutoVerifier：残差引导的参考答案验证优化 08-27

策略优化 ¹

AdaptEvo：以演化监督实现自适应智能体学习 10-10

算法设计 ¹

AI4AI-Bench：评测 LLM 智能体的递归自改进算法设计能力 08-21

系统优化 ¹

RAG 组件组合性评测：孤立增益不等于系统增益 10-22

经验学习 ²

Learn2Play Bench：评测智能体在陌生环境中的经验学习能力 10-18

修复后的智能体经验能否迁移至相关任务 09-30

缺失前提识别 ¹

IdeaAMBIG：研究构想实现关键缺口评测基准 09-10

置信度评估 ⁷

自信但错误的 LLM 如何导致人类服从与信任校准失效 10-23

法律权威缺失时，决策模型应作答还是拒答？ 10-22

RADAR：修复与审计大模型置信度 10-18

陪审团而非选民：无标签语言模型集成可靠性估计 10-18

TypedBench：System One 决策模型的校准、措辞敏感性与成本评测 10-10

U-Space：定位语言模型推理中的不确定性来源 10-08

Nudgeability：推理模型盲从置信信号，却无法追踪自身能力 09-30

脚手架优化 ²

智能体脚手架优化：能力唤起还是能力扩展？ 10-21

Claude 自动构建评测并 Hillclimb 调优 AI 应用 09-29

脚手架演化 ⁴

LLM 智能体脚手架演化中的评估预算分配 10-29

RuHarness：评判准则与智能体脚手架协同演化 10-29

Bad Genius：反事实引导的智能体脚手架演化 09-17

HarnessDev：评测 LLM 创建与演化智能体脚手架的能力 09-07

自蒸馏 ¹

智能体强化学习自蒸馏方法的现实检验 10-18

自进化框架 ¹

HarnessBank：面向 Agent-Harness 自进化的语义基因库 08-11

航空评测 ¹

AeroCopilotBench：交互式虚拟驾驶舱中的航空副驾驶智能体评测 08-18

规则推理 ¹

决策模型中规则迁移、联合可靠性与信息利用的受控测试 10-22

视觉归因 ¹

SSI：多光谱图像的光谱—空间联合归因 10-23

视觉推理 ²

HSS基准揭示多模态模型的视觉直觉短板 10-18

GAGR-Lab：空间几何与解析函数联合推理评测 10-08

认知推理 ¹

ARCANA：抽象与远类比推理评测基准 10-22

记忆能力评测 ¹⁵

Memory Tax：剖析智能体记忆的净价值 10-29

HABIT-Bench：评估智能体从长期弱证据中归纳用户习惯 10-29

SciValidityBench：科学智能体记忆的证据使用有效性评测 10-27

ColaBench：评测个人智能体的记忆引导知识获取 10-23

MemoryTax：智能体记忆的苦涩教训 10-22

MOSAIC：全模态对话智能体长期记忆与跨模态推理基准 10-22

WorldMemArena：面向真实交互的多模态智能体记忆评测 10-21

超越下游问答：重新评估智能体记忆 10-18

VoxMem：多会话语音记忆评测基准 10-10

ReTurn：多模态多轮交互中的选择性历史使用评测 10-09

RealCompanion：真实纵向对话中的人类理解评测 10-08

个性化记忆生成前失效：陈旧、错归因与延迟 10-08

FAME：基于反事实推理评估自主智能体的错误记忆 10-01

MemoReason：评估参数记忆对大模型上下文推理的影响 09-30

上下文压缩中的更新充分性审计 09-18

评测基准 ²⁷

AV-FABLE：长视频视听篡改取证基准 10-29

CodeCap-Bench：以可执行代码表征视频内容 10-29

LiveSearch：以可执行验证代码构建金融搜索智能体实时评测基准 10-29

TenetBench：条款锚定的俄语专业伦理准则评测语料库 10-27

EvoBench：面向环境建模的演化诊断评测框架 10-27

SpatialScout：VLM 智能体主动探索与三维场景建图基准 10-23

OSynth：面向纵向上下文的会议理解评测 10-22

NorRegel：挪威法律时效数值预注册评测基准 10-22

LIFT：基于分区约束的指令遵循评测与训练 10-22

DecisionPivot：LLM 决策模型诊断评测基准 10-21

RoboColiseum具身评测：Opus 5.5综合领先，精细操作仍是短板 10-21

DeclineCraft：联合评测检索与参数知识的 RAG 拒答基准 10-21

Gemini 4 Argon 在 ARC-AGI-3 Verified 评测中得分 97.5% 10-18

P³IBench：真实场景主动视频助手评测 10-18

Perception Test 2026：城市级音视频空间推理挑战 10-09

AutoSciBench：自主生成并迭代适配科学智能体评测基准 10-08

PROWBench：评测视频模型能否忠实渲染程序事件 10-08

VA-Bench：大模型空间理解与具身执行存在明显断层 10-08

AI 评测生态系统：基准设计与参与者动态 10-08

AraDynFact：阿拉伯语事实知识动态评测框架 09-30

SymbolicArena：符号回归基准蒸馏与动态评测基础设施 09-30

MechReasoner：定性物理机械推理模拟器与评测基准 09-30

PotARCin：抽象推理技能习得的多维评测基准 09-24

Uncheatable Eval：基于动态压缩的语言模型评测 09-24

GPT-6近满分触发ARC-AGI评测重构，下一代转向开放式发明 09-17

专家引导的情境化有效评测基准生成框架 09-16

CausalArena：基础模型时代的因果发现评测基准 09-11

评测基准构建 ¹

BTS-AgentBench：从只读遥测日志构建可复现智能体基准 08-28

评测审计 ⁷²

有限强验证器预算下审计 GRPO 奖励作弊 10-27

测试评分代码智能体基准中的规格—判定器缺口 10-23

Claude Sonnet 5.5在ARC-AGI-3适配框架下得分72.4% 10-22

SANE：面向 LLM 评判器的自动化特定评分器蜕变测试 10-22

基准是难度分布上的经验测度 10-22

冲突记录：可审计 LLM 输出质量执行的类型化对抗契约 10-22

深度搜索与深度研究智能体的基准评测及错误分析 10-22

更优策略反而导致更差的验证器审计 10-22

推理时模型偏移下的语言模型保形预测审计 10-22

迭代式 ML 智能体的显式反馈契约 10-22

真实 PMID、错误论文：生物医学声明核验智能体的 Harness 设计 10-22

ALIAS：评估 LLM 生成 TLA+ 规范的性能与记忆效应 10-22

RTL 修复基准究竟测量了什么？ 10-21

RLVR 数学数据去污染的可靠性与成本评估 10-18

更强评判器仍看不见：LLM 评测中的部署完整性盲区 10-18

评判者一致却错误：无标签评估中的一致性—准确性解耦 10-18

智能体安全评测中的捷径敏感性 10-18

PROBE：学习审计工具型 LLM 智能体的策略合规性 10-18

收益电话会 NLP 基准的可用性契约与事件内时序错配 10-18

AgentEval：面向有状态智能体的证据边界评估 10-18

一个偏差分数、两个因素：多选评测中的选项偏差缓解 10-18

跨语言评测意识：LLM 在印度语言测试中会改变行为吗？ 10-18

谁来验证验证器？可检查评分器与自改进智能体协同演化 10-10

模型迭代削弱 AI 辅助科学写作检测可靠性 10-10

TRACE：诊断智能体评测中的验证器脆弱性 10-09

法律思维链忠实性的反事实审计：引用不等于采纳 10-09

并非所有裁决都平等：重思 LLM Judge 可靠性 10-09

AI 时间跨度估计与 METR 指标效度分析 10-09

BehaviorTrace：在线强化学习训练数据归因的局限 10-08

输入盲控制揭示层程序选择的 Oracle 提升虚高 10-08

自动评判误差掩盖不确定性量化评估中的权衡 10-08

LLM 评判器在实体对齐评估中的可靠性 10-08

CAP：跨部署条件诊断 LLM 评判模型 10-08

MemoryAgentBench 冲突消解评测审计：不可达标准答案与分数误读 10-08

AppWorld 与 WorkArena 任务验证器盲点审计 10-08

测试时扩展曲线的可信认证与低成本审计 10-01

RLVR 难度标签的可靠性与测量偏差 10-01

组件替换证据能证明什么：LLM 智能体局部决策的批判性综述 10-01

False Frontiers：自进化搜索智能体的协同作弊诊断与缓解 10-01

部署验证器套件的硬门控资格评估 10-01

搜索如何塑造结论：审计深度研究智能体的证据选择偏差 10-01

智能体脚手架收益还是评判偏差？投行演示文稿评测 10-01

UC Berkeley 用 AI Agent 审计 13 个基准，发现 45 种满分作弊方案 09-29

面向多轮业务智能体的可靠 LLM-as-a-Judge 测量系统 09-29

Laya 类型化概率评估器：校准与选择性升级的独立复现 09-29

学习攻破智能体评判模型的错误注入策略 09-29

面向查询条件归因的智能体行动审计 09-29

LLM 评测结论的可复现性自审计 09-26

LLM 评分器的有效性与失效：两场计算机考试的实证研究 09-26

Augur：产品与政策变更的合成决策实验室 09-25

LLM 代码漏洞修复中的编译率指标失效与变更感知评测 09-23

Copy Ceiling：本体 grounding 生成中的输入暴露控制 09-22

LLJ Cards：LLM 评判模型使用最佳实践 09-22

智能体轨迹评估与失效归因：三篇论文综述 09-18

拒绝、分解、刷新：闭环 AI 的声明安全评测协议 09-18

用内部表征监测与发现 LLM 评测中的奖励作弊 09-17

谬误检测基准测到的是论证模式识别，而非谬误识别 09-17

Trail of Bits 质疑 FLAWED AI 补丁基准并发布验证技能 09-16

医疗大模型不同访问模式的输出差异与审计挑战 09-16

DataFlex-RL：RLVR 数据策略评估平台 09-15

用答案扰动验证事实性评估方法的可信度 09-15

两篇论文审视 Harness 自演化的真实增益 09-14

Terminal-Bench换榜引发谷歌、Meta刷榜争议 09-13

GPT-6 Astra基准成绩因测试环境从99.9%降至62.7% 09-11

错误来源提示下的模型答案服从与鲁棒性审计 09-09

API 基准分数无法可靠迁移至聊天机器人界面 09-09

单公共因子模型下锚点—评判器误差相关性的闭式估计与诊断 09-09

网络安全 LLM 基准分数依赖评测流水线：可靠性审计 09-09

对齐测试提示改变语言模型的战争决策 09-07

用户反馈提供 LLM 无法自行识别的独特改进信号 09-03

Phantom Gains：用实测零基线审计模型自我改进 08-21

MCP 智能体安全评测中的处理泄漏与构念效度 08-16

评测意识 ¹

评测意识并非单一变量：能力框架可预测模型服从性 08-29

评测编排 ¹

HarnessEval：以可执行 Harness 重构 Benchmark 08-19

谜题评测 ¹

Pencil Puzzle Bench：可逐步验证的多步推理评测基准 08-14

跨模态一致性 ¹

语音与文本输入下多模态模型的跨模态不稳定性 08-28

迁移能力评测 ¹

SWE Refactor Bench：编码智能体的全仓长程栈迁移评测 08-25

过程奖励模型 ¹

ConsensusBench：用共识节点稠密化大模型推理奖励 09-07

过程评测 ⁹

LiveMACE：演化市场中的智能体过程感知评估 10-20

Probe-and-Resume：何时及如何评估智能体执行 10-18

LiveMACE：演化市场中的过程感知智能体能力评测 10-08

路径很重要：超越答案准确率的知识图谱问答小模型评测 09-24

OSWorld-Pro：计算机操作智能体的过程评测基准 09-22

EvoPathBench：自进化智能体的过程级能力评测 09-22

答案分布轨迹：LLM 推理的随机动力学视角 09-09

从原子能力到智能体：可解释评测 LLM 数学智能体能力 08-29

超越最终得分：长程 AI 研发智能体的系统评估 08-16

递归自我改进 ³

超进化智能获数亿元天使轮融资，研发递归自我改进研究基础模型 10-29

Novix 招募 RSI、Agentic RL 与新架构研究人才 10-22

RSIGym 开源：联合迭代模型权重与 Harness 的 RSI 研究环境 10-18

重构评测 ¹

SWE-Bench ProMax：大规模多语言代码重构智能体基准 08-12

错误共识 ¹

分解 LLM 自洽投票中的错误共识：GPT-4.1 案例研究 08-20

长期记忆 ²

复杂智能体记忆并非总是必要：朴素 Raw-RAG 基线更强 10-23

LLM 智能体长期记忆的治理状态损坏：跨模型压力测试 10-23

长程任务评测 ¹

VibeLifeBench：评测生活智能体的主动性与持久性 08-13

闭环自进化 ³

生成式对抗循环：自动设定基准并发现算法 10-10

Agent 自进化飞轮：评测、记忆、落地与控制 08-26

AI4AI：AI训练、优化与评测AI的新范式 08-20

风险评估 ¹

Judge, Retrieve, or Abstain：具风险保证的 LLM 裁判 08-19

鲁棒性测试 ¹

TESTNAV：Pareto 引导的组合鲁棒性测试 08-22