智能体评估 LLM-DailyDigest 2026-08-30 2026-08-30 约 100 字 预计阅读 1 分钟 智能体评估 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 业务评测 1 Thinkingbox：有状态业务工作流智能体沙箱与基准 08-21 交互式评测 1 SIT-Eval：基于情境的对话智能体逐轮交互评测 10-19 代码评测 9 SWE-DIVE：动态用户模拟的多轮编程智能体评测 10-22 UserSWE：动态用户多轮对话中的编程智能体评测 10-22 GPUPhysBench：GPU 物理仿真编程智能体评测基准 09-30 SecProbe：面向网络安全漏洞的编程智能体自适应评测 09-29 SWE-Game：编码智能体游戏开发评测基准 09-29 SWE-Prometheus：真实代码仓库工程治理改进评测基准 09-25 ττ-Bench：最强代码智能体端到端开发及格率仅23.9% 09-21 GameLogicBench：以逐帧状态断言评测游戏逻辑编程智能体 09-21 SWE-Gate：兼顾功能测试与评审约束的软件工程智能体基准 09-07 具身智能评估 1 EBench评测前沿智能体：从直接控制到策略调用 10-27 动态审查 1 MCR-Bench：真实多轮代码审查动态基准 08-28 医疗人工智能评测 3 Numan 用 LangGraph 与 LangSmith 构建评测优先的 AI 健康教练 Nu 10-20 医疗 LLM 智能体升级处置可靠性审计基准 10-18 BALMS：面向纵向心理健康感知的智能体大模型基准 08-28 协同演化 2 Environment Duels：LLM 环境创作与求解的协同演化评测 10-22 共同进化却分离失效：自改进智能体的技能—策略协同演化陷阱 10-18 博弈评测 3 AAArena：评估智能体在长期博弈竞赛中的启发式学习 10-09 Brood War Bench：19个大模型实时对战《星际争霸》 09-23 Convention Gap：衡量合作式 AI 隐式沟通 09-11 在策略蒸馏 2 UserArena：长时程购物智能体的交互式用户模拟基准 10-27 归纳式反馈驱动的混合策略蒸馏 09-30 城市导航 1 UrbanGround：真实尺度城市中的空间能动性评测 08-29 多智能体协作风险 2 DGF-Bench：多智能体治理委员会欺骗攻防与审计基准 09-30 LLM 智能体团队的角色可互换性测试 09-07 多智能体系统 1 Anthropic：谨慎使用子智能体，优先考虑单 Agent + Skills 10-27 奖励机制设计 1 GAGAR：代码智能体强化学习的分组评分与优势重分配 09-30 安全评测 10 SkillLifeBench：智能体技能全生命周期安全评测 10-27 攻击者离开后：LLM 智能体延续攻击评测 10-21 Agent Arena对齐榜更新：Beam 1.0登顶美国开源模型 10-18 CoSec：社区环境中的智能体安全评测基准 09-30 SEABench：自进化智能体内生失配评测基准 09-30 AgentBoundary：工具型 LLM 智能体安全的反事实评测 09-29 PASTABench：智能体序列轨迹的主动安全评测 09-24 DUMA-Bench：双控制交互下的多智能体安全评测基准 09-22 RiskChainBench：混淆消息还原与证据驱动网络调查基准 09-19 ClashBench：智能体破坏性资源抢占安全评测 09-18 工业控制系统安全 1 PLCBench：评测自主 LLM 智能体对 PLC 的持续物理影响 08-29 工作流评测 1 FrontierChallenge：科学工作流完成度评测 08-28 工具调用 3 重新审视多轮工具使用中的工具图记忆 10-18 面向开发者的 MCP 错误消息反而更伤害高能力智能体 09-30 KOPA-Bench：韩国公共 API 多步工具调用基准与 EDGE 数据合成方法 09-07 幻觉检测 1 DialFork：对话智能体程序性幻觉评测基准 10-18 技能优化 1 BiPA：用二部归因重新评估智能体技能优化 10-29 技能冲突 1 一个技能太多：编程智能体中的共安装技能冲突 10-10 技能演化 1 自演化技能能否泛化到留出任务？ 10-01 持续学习 3 DeepMind：自演化智能体能否持续学习？ 10-29 CLE：LLM 智能体长时程持续学习与经验学习基准 10-29 EmbodiedCLBench：评估自我进化具身智能体的持续学习能力 10-18 搜索能力评测 1 OpenDS-World：真实 Web 环境中的深度搜索评测 10-24 故障归因 1 面向 LLM 多智能体系统故障归因的错误传播建模 10-10 故障诊断 1 FaulT-Bench：面向不可靠用户工单的网络故障排查智能体基准 08-29 数据合成 1 AutoDataBench：评测智能体能否生成自我改进所需数据 09-30 数据策展 1 DataSense-Bench：迈向 AI 科学家的数据感知评测 10-09 智能体框架 2 MAI-Gym：GUI 智能体评估与强化学习一体化平台 10-18 Theory of Agent：模型内化与 Harness 外化的能力边界 09-17 智能体自进化 1 VeriEvolve：评估器优先的工具智能体演化框架 10-22 智能体训练 1 DeepSeek 公开大规模智能体训练沙箱 DSec 09-26 智能体评测 117 VibeVideoBench：代码驱动视频生成的多模态智能体评测 10-29 TraceTrial-Bench：智能体运行框架可靠性与故障归因基准 10-29 Gym-Anything-RT：视觉语言智能体实时交互评测基准 10-29 Dual Exam：多模态智能体与世界模型的受控评估 10-27 简单 LLM Harness 在微服务根因分析中胜过手工智能体 10-27 LongSearchEval：面向长程网页搜索的轨迹感知智能体评测 10-27 Agent Behavior Maps：无需运行即可定位智能体行为 10-22 连接大模型基础能力与智能体能力的操作级评测框架 10-22 CrashGym：评测反事实市场崩盘中实验的决策价值 10-22 偏好不等于许可：智能体商业中的个性化自动购买边界 10-22 GenXR-Bench：交互式 XR 开发的编程智能体评测基准 10-22 后悔前先备份：编程智能体备份意识评测与自动化 10-22 Fig：自动化多智能体行为诱导与评测系统 10-22 LLM 智能体系统自动故障归因的机制研究 10-22 谁在执行卡特尔？强化学习如何塑造市场中的 LLM 智能体 10-22 OR-License：现实世界运筹学智能体评测基准 10-21 ReTrace：以目标导向动作回放评测计算机使用智能体的故障恢复 10-21 MMEnterprise-Bench：演化多模态记录下的企业智能体评测 10-21 BizAgentBench：现实商业场景中的长时程智能体评测 10-20 DeepSeek-V4.1-Flash 登顶 Agent Arena 开源模型榜 10-20 GatewayBench：MCP 网关能力与安全统一评测平台 10-19 FLARE：退化观测下配电网恢复智能体的物理约束评测 10-19 FDE-Gym：评测 AI 客户交付“最后一公里” 10-18 Doc2Harness：长周期编码智能体 Harness 工程基准 10-18 AgentSWE：编码智能体能否构建符合需求的智能体 10-18 Realtime-Bench：前沿模型实时交互能力评测 10-18 评估 LLM 智能体的探究学习：假设、推理与探索 10-18 ToolBottleneckBench：固定脚手架预算下的工具智能体评测 10-18 同一上下文，不同智能体：数据智能体的语义层、编排与压缩行为研究 10-18 AgentPerturb：受控交互扰动下的 LLM 智能体鲁棒性评测 10-18 Kolab：长程工作流中的人机协作评测基准 10-18 OmicsBench：研究规模生物信息学长程多轮智能体评测基准 10-18 Learn2Play Bench：评测智能体在陌生环境中的经验学习能力 10-10 本地语言模型智能体的可复现数据工程评测 10-10 嵌入式软件开发智能体闭环评测基准 10-10 DecepEval：评估 LLM 智能体欺骗行为的基准 10-09 Arena 融资 2 亿美元并发布智能体 Alignment Index 10-09 BrickBench：智能体积木设计评测基准 10-09 AgenticBBO-Bench：LLM 智能体黑盒优化基准 10-09 InterviewPlayground：AI 访谈员仿真评测环境 10-09 LMBuild：评估 LLM 智能体生成可构建功能结构的能力 10-08 HyperBrowseComp：网页浏览智能体的多语言多模态压力测试 10-08 主动式智能体基础与 Proactivity-Gym 评测框架 10-08 从基础模型预测后训练编程智能体性能 10-08 RobotWorld：跨任务与多机器人形态的多模态智能体评测基准 10-08 AgentTime：智能体能否估计并控制自身运行时间 10-08 共享结构化输入削弱推理智能体的集体随机选择 10-08 客户反馈分类体系中的智能体脚手架评测 10-08 DUDA-Bench：多模态数据驱动城市诊断智能体基准 10-08 GeoNatureAgent：地理空间与环境工具智能体的预部署评测框架 10-08 DoGBench：面向用户的软件文档生成智能体评测基准 10-01 APTInvestBench：跨遥测条件下的自主 APT 调查评测 10-01 风险感知自适应评测：有限预算下发现高影响故障 10-01 Talk2Agent：面向文本智能体的语音接口评测基准 10-01 TraceDance：从真实部署轨迹自动构建智能体行为基准 09-30 GPT-6.1 上线 Agent Arena 评测平台 09-30 FinAutoRubric：专家指导的金融研究智能体自动评分标准生成 09-30 WebPageBench：基于事件验证与可控 UI 变体的网页智能体评测 09-30 APEX-Voice：全双工语音智能体专业工作流评测 09-30 PDEU-Bench：个性化工具调用智能体规划全生命周期基准 09-30 LongPuzzleBench：长程视觉谜题 GUI 智能体评测 09-30 FromPitch2Board：长程足球管理智能体评测基准 09-30 AgentPerfBench：智能体大模型推理性能评测套件 09-30 FTA：工具型语言模型故障后报告透明度评测 09-30 LLM 智能体工具模式偏差的测量与缓解 09-30 AgentWorld：评测多智能体长程协作能力 09-29 Agent Arena：GPT-6 Luna (Max) 排名第 23，单任务成本仅 0.05 美元 09-29 Claude Sonnet 5.5 上线 Agent Arena 与 Battle Mode 09-29 Claude Opus 5.5 (High) 跻身 Agent Arena 第 2，成本显著下降 09-29 相同运行、不同结果：开放权重模型上的 AI 编程智能体评测 09-29 SelfSuite：长程智能体的自设计评估器与热启动记忆 09-29 DynGraphAgentBench：动态图异常检测的智能体生命周期控制基准 09-29 GPT-6 Sol（Max）以+7.7%净改进进入Agent Arena第6名 09-28 面向1.4亿用户的生产级客服智能体仿真筛选 09-25 Era by Eon：企业智能体隐性知识评测基准 09-25 The Tasteful Agent：衡量与提升长时程任务决策品味 09-24 FDE-Bench：LLM 智能体部署环境配置评测基准 09-24 WhatWorkedBench：评测 AI 智能体的实验理解能力 09-24 WebMRE：多模态 Web 智能体中指南与动作的相互强化 09-24 CAVEAT：激励错位环境中的稳健计算机操作智能体 09-24 MolDesignBench：面向场景化分子设计的 LLM 智能体评测 09-24 Deep Persona：角色扮演智能体的心理学架构与评估框架 09-23 Arena 上线 GPT-6 Sol 与 GPT-6 Luna 测试 09-23 Claude Opus 5.5 上架 Agent Arena 与 Battle Mode 09-23 RecreationWorld：可扩展、可验证的混合计算机操作智能体环境 09-21 OpenMAS-GCom：图增强多智能体系统诊断基准 09-21 OverclaimBench：量化前沿 LLM 智能体的任务完成过度声称 09-18 面向编程智能体的状态条件最小充分证据恢复 09-18 双过程视角下 LLM GUI 智能体的助推易感性 09-18 DualViewEval：融合结果与过程关系的高效智能体基准压缩 09-17 ReFigBench：可编辑 PowerPoint 科学图重建评测 09-17 Quantum-Harbor：量子工程智能体的可验证自主性评测 09-16 面向实时数据科学任务的技能型智能体评测 09-16 网络事件响应智能体的网络靶场评测 09-16 同模型 Token 相差 70 倍：AI 编程智能体框架成本实测 09-15 GPT-6 Astra 登顶 Vending-Bench2 长期经营评测 09-15 VLoc Bench：仓库级漏洞定位智能体评测基准 09-15 浙大开源可插拔 Agent 评测底座 ageval 09-13 Harbor Adapters：大规模智能体评测基础设施与 Harbor-Index 09-10 JarvisGUI：面向跨设备动态任务组合的 GUI 智能体评测 09-10 RefactorPlatform：仓库级重构智能体的可控评测框架 09-07 FinalityBench：延迟与冲突金融终局下的智能体决策评测 09-07 τ^τ-Bench：端到端真实智能体构建评测环境 09-07 PatchBench：AI 智能体漏洞修复评测基准 09-07 Harbor Adapters 与 Harbor-Index：大规模智能体评测基础设施及精选元数据集 09-07 ERPBench：跨竞争市场生态的企业决策智能体评测 09-07 HarvestBench：评测 LLM 智能体是否愿为避免伤害动物付出代价 09-07 ClawBench：真实网站任务中前沿 AI Agent 最高成功率仅 33% 09-03 DroneCATS：评估多模态 LLM 的通用无人机控制能力 09-03 EarlyEval：通过早期结果预测降低智能体评测成本 09-03 PTA-IRT：基于执行轨迹的高效 SWE 智能体评测 09-02 MNIST-PRO：面向部分可观测智能体的感知状态评测 09-01 E-Commerce Bench：长程自主电商运营智能体评测 09-01 BAITBENCH：评测机器学习智能体的奖励作弊行为 09-01 ATLAS：工业工具调用智能体的双时域诊断评测 09-01 SwarmBench：评测大模型的智能体集群编排能力 09-01 BekchiAI：一键评测、观测与控制 LLM 智能体 08-29 根因评测 1 TraceBench：受控评测 LLM 智能体的时序根因归因能力 08-28 模型发布 2 Kimi K3.1 Pro发布：智能体评测领先并强化3D工作流 10-25 DeepSeek-V4-Flash-Vision-Exp 多模态模型开源 09-01 模型可靠性 2 Box²-Bench：语言模型能否选择性依赖外部指导 10-01 必要还是充分？用行为证据评估 LLM 解释可靠性 09-07 游戏推理 1 工具增强的 LLM 多步演绎推理 09-17 演化能力评测 5 SkillSandbox：动态场景合成验证智能体技能 10-08 EngramBench：面向技能演化脚手架的能力本位评测基准 10-01 EverMine：长周期 Alpha 研究中的自进化能力评测 09-29 ASPIRE：模型能否从模糊目标中自我演化？ 09-01 S3Gym：LLM 能否通过自测试与自评判实现自我改进 09-01 状态追踪 2 OptionWorld：诊断 LLM 长期个人助理失效的基准 10-21 ARGUS：议程驱动的可靠用户模拟框架 10-18 生命周期安全 1 HarnessRisk：面向生命周期的智能体 Harness 安全基准 08-19 科学编程 1 SWE-bench Science：科学软件工程中的编码智能体评测 08-21 科研评测 18 Quant-Arena：量化交易研究智能体评测基准 10-22 Agent4Sci：评测前沿智能体能否推进科学机器学习 10-22 FrontierCS 2：计算机科学研发智能体评测基准 10-22 Into the Unknown：开放式科学研究智能体基准 10-20 DeepRSI 48 小时科研智能体评测：Kimi K3 跻身前三 10-18 ASI-Bench：真实科研任务评测 AI 自主研究能力 10-18 PhysClosureBench：评测科研智能体的证据闭合能力 10-18 SciΠvot：科研智能体关键决策判断评测基准 10-18 InnovationEval：AI自主研发仅达人类方案15% 10-10 SciExam for ENSO：AI 智能体能否构建气候模型？ 10-08 OSWorld-Science：科学软件操作智能体评测基准 10-01 TCSAlgBench：研究级理论计算机科学自动证明基准 09-30 SciARP：多轮科学推理智能体的扰动鲁棒性评测 09-30 ExplorationBench：在可验证异世界中评测 AI 探索能力 09-25 SAEScientist-Bench：评测智能体自主开展 SAE 可解释性研究 09-09 TruthInsightBench：基于证据的开放式科学发现智能体评测基准 09-07 AutoSciRub：先评估后改进的科研智能体自动准则归纳 09-01 ASI-Bench：评测 AI 自主科研与创新探索能力 08-20 移动端评测 1 MobilePA-Bench：复杂真实移动任务规划智能体基准 08-26 程序修复 2 TestGRAD：基于失败模式动量演化测试套件 10-08 HealBench 与 HealGuard：真实代码仓库运行时错误修复评测与安全护栏 10-01 系统优化 1 JAXtari：高吞吐、易修改的街机学习环境 10-19 经验学习 2 Learn2Play Bench：评测智能体在陌生环境中的经验学习能力 10-18 修复后的智能体经验能否迁移至相关任务 09-30 置信度评估 2 GraphACM：基于图的智能体动作一致性与不确定性量化 10-18 XConf：从推理到智能体的经验性置信度估计 09-18 脚手架优化 2 智能体接口的决策几何：策略如何内化 Harness 偏好 10-29 智能体脚手架优化：能力唤起还是能力扩展？ 10-21 脚手架演化 6 LLM 智能体脚手架演化中的评估预算分配 10-29 Bad Genius：反事实引导的智能体脚手架演化 09-17 复杂 Harness Evolution 可能不如重复运行 09-16 HarnessDev：智能体自主构建与演化 Agent Harness 09-08 HarnessDev：评测 LLM 创建与演化智能体脚手架的能力 09-07 HarnessDev：LLM 自主创建与演化 Agent Harness 09-03 自蒸馏 1 智能体强化学习自蒸馏方法的现实检验 10-18 视觉推理 2 HSS基准揭示多模态模型的视觉直觉短板 10-18 MindTopo：基础模型拓扑空间推理与规划评测 09-11 记忆能力评测 9 HABIT-Bench：评估智能体从长期弱证据中归纳用户习惯 10-29 SciValidityBench：科学智能体记忆的证据使用有效性评测 10-27 ColaBench：评测个人智能体的记忆引导知识获取 10-23 WorldMemArena：面向真实交互的多模态智能体记忆评测 10-21 超越下游问答：重新评估智能体记忆 10-18 FAME：基于反事实推理评估自主智能体的错误记忆 10-01 DolphinBench：智能体记忆的成本、延迟与准确率 Pareto 评测 09-22 AML 统一评测 Agent 记忆系统，MemoraX 登顶工业榜 09-07 编码智能体工作记忆的语义化评估 09-01 评测基准 6 LiveSearch：以可执行验证代码构建金融搜索智能体实时评测基准 10-29 SpatialScout：VLM 智能体主动探索与三维场景建图基准 10-23 System1-Arena：哪些决策可交给 System 1？ 10-18 HugAgent：访谈驱动的真人模拟与信念更新评测 10-18 AutoSciBench：自主生成并迭代适配科学智能体评测基准 10-08 BVB：以 Blender 程序化重建评测智能体视频理解 09-16 评测基准构建 1 BTS-AgentBench：从只读遥测日志构建可复现智能体基准 08-28 评测审计 19 深度搜索与深度研究智能体的基准评测及错误分析 10-22 PROBE：学习审计工具型 LLM 智能体的策略合规性 10-18 AgentEval：面向有状态智能体的证据边界评估 10-18 谁来验证验证器？可检查评分器与自改进智能体协同演化 10-10 TRACE：诊断智能体评测中的验证器脆弱性 10-09 AppWorld 与 WorkArena 任务验证器盲点审计 10-08 组件替换证据能证明什么：LLM 智能体局部决策的批判性综述 10-01 搜索如何塑造结论：审计深度研究智能体的证据选择偏差 10-01 UC Berkeley 用 AI Agent 审计 13 个基准，发现 45 种满分作弊方案 09-29 面向多轮业务智能体的可靠 LLM-as-a-Judge 测量系统 09-29 Canonical Procedural Actions：工具智能体轨迹的可审计标注协议 09-22 智能体轨迹评估与失效归因：三篇论文综述 09-18 SWE-bench 头部编码智能体排名失效审计 09-16 两篇论文审视 Harness 自演化的真实增益 09-14 Terminal-Bench换榜引发谷歌、Meta刷榜争议 09-13 DCP：AI 研究智能体的发现认证与审计协议 09-11 SCOPED-Hiring揭示多智能体招聘决策中的轨迹不公平 09-09 LLM 智能体商业评测中的构念效度失效 09-02 SASST：面向交互式智能体的选择感知压力测试 09-01 课程生成 1 Ornith-1.5自生成任务闭环提升编码智能体 08-27 轨迹审计 1 Trace Integrity：面向 LLM 数据智能体的可审计结构化推理 08-27 迁移能力评测 2 多执行框架强化学习中的信用分配与可迁移性 09-07 SWE Refactor Bench：编码智能体的全仓长程栈迁移评测 08-25 过程评测 8 LiveMACE：演化市场中的智能体过程感知评估 10-20 Annotrace：智能体轨迹步骤级标注工作台 10-19 Probe-and-Resume：何时及如何评估智能体执行 10-18 LiveMACE：演化市场中的过程感知智能体能力评测 10-08 用户离开后，自主深度研究智能体如何利用初始信息？ 09-29 OSWorld-Pro：计算机操作智能体的过程评测基准 09-22 EvoPathBench：自进化智能体的过程级能力评测 09-22 从原子能力到智能体：可解释评测 LLM 数学智能体能力 08-29 递归自我改进 4 AI 科研智能体的递归自我改进 09-23 Self-Developing Agents 三项基准揭示智能体自进化瓶颈 09-17 迈向真正的递归自我改进：人类构建的最后一个 AI 09-11 Awesome RSI：递归自我改进定义与分类 09-08 部署测试 1 迈向无风险 AI 智能体部署：基于轨迹的测试与调试 08-18 采样控制 1 先测量再分配：MCP 智能体的校准式 Rollout 预算 10-22 长期记忆 3 语言智能体中的记忆价值：决策论框架 10-23 LLM 智能体长期记忆的治理状态损坏：跨模型压力测试 10-23 超越边际影响：面向交互的智能体记忆选择 10-19 长程任务执行 1 《我的世界》141小时测试暴露 GPT-6 Astra 挫折恢复缺陷 09-21 题目生成 1 Ornith-1.5 自出题强化学习闭环，两月自测提升 11% 08-28
