2025-06-18 科研追新

2. 2025-06-18 10:42:19 Wednesday ｜ Unveiling the Learning Mind of Language Models: A Cognitive Framework and Empirical Study **标题** ： 揭开语言模型的学习心态：认知框架和实证研究 **链接** ：https://arxiv.org/abs/2506.13464 **作者** ： Zhengyu Hu, Jianxun Lian, Zheyuan Xiao, Seraphina Zhang, Tianfu Wang, Nicholas Jing Yuan, Xing Xie, Hui Xiong **摘要** ：大型语言模型（LLM）在数学、编码和推理等任务中表现出了令人印象深刻的能力，但它们的**学习能力**对于适应动态环境和获取新知识至关重要，仍然没有得到充分的探索。在这项工作中，我们通过引入一个受**认知心理学和教育启发**的框架来解决这一差距。具体来说，我们将一般学习能力分解为三个不同的、互补的维度： **从教师那里学习（通过明确的指导获得知识），从概念中学习（内化抽象结构并推广到新的背景），从经验中学习（通过积累的探索和反馈进行适应）** 。我们在三个学习维度上进行了全面的实证研究，并确定了一些有见地的发现，如 **（i）互动改善学习;（ii）概念理解是规模涌现的，有利于更大的模型;（iii）LLM是有效的Few-Shot学习者，但不是多镜头学习者** 。基于我们的框架和实证研究结果，我们引入了一个基准，提供了一个统一的和现实的评价LLM的一般学习能力在三个学习认知维度。它能够提供诊断见解，并支持评估和开发更具适应性和人性化的模型。

3. 2025-06-18 10:45:36 Wednesday ｜ MotiveBench: How Far Are We From Human-Like Motivational Reasoning in Large Language Models? **标题** ： MoativeBench：我们距离大型语言模型中的类人动机推理还有多远？ **链接** ：https://arxiv.org/abs/2506.13065 **作者** ： Xixian Yong, Jianxun Lian, Xiaoyuan Yi, Xiao Zhou, Xing Xie **摘要** ：大型语言模型（LLM）已被广泛采用为各种场景中的Agent框架的核心，例如社会模拟和AI同伴。然而，它们**能在多大程度上复制类似人类的动机**仍然是一个未被探索的问题。现有的基准受到简单化的场景和缺乏字符身份的限制，导致与现实世界的情况下的信息不对称。为了解决这一差距，我们提出了MotiveBench，它由200个丰富的情境场景和600个推理任务组成，涵盖了多个层次的动机。使用MotiveBench，我们对七个流行的模型家族进行了广泛的实验，比较了每个家族中不同的尺度和版本。结果表明，即使是最先进的LLM仍然无法实现类似人类的动机推理。我们的分析揭示了关键的发现，包括LLM在推理“爱与归属”动机时所面临的困难，以及他们过度理性和理想主义的倾向。这些见解突出了未来LLM人性化研究的一个有希望的方向。数据集、基准和代码可在https://aka.ms/motivebench上获得。

4. 2025-06-18 10:50:06 Wednesday ｜ Eliciting Reasoning in Language Models with Cognitive Tools **标题** ： 用认知工具在语言模型中激发推理 **链接** ：https://arxiv.org/abs/2506.12115 **作者** ： Brown Ebouky, Andrea Bartezzaghi, Mattia Rigotti **备注** ：22 pages, 2 figures **摘要** ：最近出现的推理模型，如OpenAI的o 1，引起了AI社区对封闭模型中这些功能的机制的兴奋猜测，随后是一系列复制工作，特别是来自开源社区的复制工作。这些猜测在很大程度上被DeepSeek-R1的演示所解决，即 **思想链和强化学习（RL）可以有效地在基本LLM之上复制推理** 。然而，它仍然是有价值的探索替代方法，从理论上引出推理，可以帮助阐明潜在的机制，以及提供额外的方法，可以提供互补的好处。 在这里，我们建立在认知心理学和认知架构的长期文献， **假设推理产生于一组模块化的，预定的认知操作的协调，顺序执行。至关重要的是，我们在现代代理工具调用框架内实现了这一关键思想** 。特别是，我们赋予一个LLM与一个小的“认知工具”封装特定的推理操作，每个LLM本身执行。令人惊讶的是，这种简单的策略在标准数学推理基准测试中的性能与基本LLM相比有了相当大的提高，无论是封闭的还是开放的权重模型。例如，为GPT-4.1提供我们的“认知工具”，将其在AIME 2024上的pass@1性能从26.7%提高到43.3%，使其非常接近o 1-preview的性能。 除了它的实际影响，这个演示有助于辩论的作用后培训方法在引发推理LLM与预培训过程中获得的内在能力的作用，以及后培训是否仅仅揭示了这些潜在的能力。

5. 2025-06-18 10:52:01 Wednesday ｜ **标题** ： 抽象、对齐、预测：基于认知归纳推理的零杆姿态检测 **链接** ：https://arxiv.org/abs/2506.13470 **作者** ： Jun Ma, Fuqiang Niu, Dong Li, Jinzhou Cao, Genan Dai, Bowen Zhang **摘要** ：Zero-shot姿态检测（ZSSD）旨在识别文本对先前看不见的目标的姿态，这是一种传统监督模型由于依赖于标记数据和浅层词汇线索而经常失败的设置。受人类认知推理的启发，我们提出了认知归纳推理框架（CIRF），它从未标记的文本中抽象出可转移的推理模式，并将其编码为概念级逻辑。为了将这些模式与输入参数相结合，我们引入了一个模式增强的图核模型（SEGKM），动态地调整本地和全局推理结构。在SemEval-2016、VAST和COVID-19-Stance基准上的实验表明，CIRF建立了新的最先进的结果，在macro-F1中分别比强ZSSD基线高出1.0、4.5和3.3个百分点，并且在标记示例减少70%的情况下实现了相当的准确性。我们将在发布时发布完整的代码。

13. 2025-06-18 08:20:08 Wednesday ｜ 首个全面梳理语音大模型发展脉络的权威综述，入选ACL 2025主会 https://mp.weixin.qq.com/s/sIa9qIzPuykCysAVgeGxew

6. 2025-06-18 10:43:39 Wednesday ｜ Direct Reasoning Optimization: LLMs Can Reward And Refine Their Own Reasoning for Open-Ended Tasks **标题** ： 直接推理优化：LLM可以奖励和完善他们自己的推理，用于开放式任务 **链接** ：https://arxiv.org/abs/2506.13351 **作者** ： Yifei Xu, Tusher Chakraborty, Srinagesh Sharma, Leonardo Nunes, Emre Kıcıman, Songwu Lu, Ranveer Chandra **摘要** ：大型语言模型（LLM）的最新进展在数学和编程等结构化任务中展示了令人印象深刻的推理能力，这主要是由具有可验证奖励的强化学习（RLVR）驱动的，它使用基于结果的信号，这些信号是可扩展的，有效的，并且对奖励黑客具有鲁棒性。然而，由于缺乏通用的、可验证的奖励信号，将类似的技术应用于开放式长形式推理任务仍然具有挑战性。为了解决这个问题，我们提出了 **直接推理优化（DRO），这是一种强化学习框架，用于在开放式，特别是长形式的推理任务上微调LLM，由一个新的奖励信号指导：推理反射奖励（R3）** 。在其核心，R3选择性地识别和强调参考结果中的关键标记，这些标记反映了模型先前的思想链推理的影响，从而在细粒度级别上捕获推理和参考结果之间的一致性。至关重要的是，R3是使用正在优化的相同模型在内部计算的，从而实现完全独立的训练设置。此外，我们引入了一个动态的数据过滤策略，基于R3的开放式推理任务，降低成本，同时提高下游性能。我们在两个不同的数据集上评估了DRO- ParaRev，一个长形式的段落修订任务，和FinQA，一个面向数学的QA基准-并表明它始终优于强大的基线，同时在开放式和结构化领域中保持广泛适用。

11. 2025-06-18 10:53:06 Wednesday ｜ AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy **标题** ： AceReason-Nemotron 1.1：通过SFT和RL协同推进数学和代码推理 **链接** ：https://arxiv.org/abs/2506.13284 **作者** ： Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping **备注** ：The AceReason-Nemotron collection: this https URL **摘要** ：在这项工作中，我们研究了监督微调（SFT）和强化学习（RL）在开发强推理模型中的协同作用。我们首先通过两种扩展策略来管理SFT训练数据：增加收集的提示数量和每个提示生成的响应数量。这两种方法在推理性能上都有显着的改进，提示的数量增加会带来更大的收益。然后，我们探讨了以下关于SFT和RL之间协同作用的问题：（i）在大规模RL训练后，更强的SFT模型是否始终导致更好的最终表现？(ii)我们如何在RL训练期间确定适当的采样温度，以有效地平衡给定SFT初始化的探索和开发？我们的研究结果表明，（i）如果进行有效的RL训练，特别是当仔细选择采样温度以保持温度调整熵在0.3左右时，这是一个在探索和开发之间取得良好平衡的设置。值得注意的是，初始SFT模型之间的性能差距在整个RL过程中显着缩小。利用强大的SFT基础以及对SFT和RL之间协同作用的深入了解，我们的AceReason-Nemotron-1.1 7 B模型的性能显著优于AceReason-Nemotron-1.0，并在基于Qwen2.5- 7 B的推理模型中实现了具有挑战性的数学和代码基准测试的最新性能，从而证明了我们的后训练配方的有效性。我们发布的模型和数据：https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B ### 数学推理

5. 2025-06-18 10:41:04 Wednesday Steering LLM Thinking with Budget Guidance **标题** ： 通过预算指导指导法学硕士思维 **链接** ：https://arxiv.org/abs/2506.13752 **作者** ： Junyan Li, Wenshuo Zhao, Yang Zhang, Chuang Gan **摘要** ：最近的深入思考大型语言模型通常会进行广泛的推理以提高性能，但这种冗长的推理并不总是可取的，因为它会导致过多的推理成本和不成比例的性能收益。因此，在不牺牲性能的情况下控制推理长度很重要，但仍然具有挑战性，特别是在紧张的思维预算下。我们提出了预算指导，一个简单而有效的方法，引导LLM的推理过程朝着目标预算，而不需要任何LLM微调。我们的方法引入了一个轻量级的预测器，它在下一个令牌生成期间对剩余的思考长度进行Gamma分布建模。然后，这个信号被用来以一种软的、令牌级的方式指导生成，确保整个推理轨迹符合指定的思维预算。预算指导可以自然控制思维长度，同时在具有挑战性的数学基准上，与基线方法相比，令牌效率得到了显著提高。例如，与基线方法相比，在预算紧张的情况下，它在MATH-500基准测试中实现了高达26%的准确性增益，同时保持了具有竞争力的准确性，而全思维模型仅使用了63%的思维令牌。预算指导还可以推广到更广泛的任务领域，并展示紧急功能，例如估计问题难度。源代码可从以下网址获得：https://github.com/UMass-Embodied-AGI/BudgetGuidance。 ### 多模态

8. 2025-06-18 10:44:53 Wednesday ｜ Breaking Thought Patterns: A Multi-Dimensional Reasoning Framework for LLMs **标题** ： 突破思维模式：LLM的多维推理框架 **链接** ：https://arxiv.org/abs/2506.13192 **作者** ： Xintong Tang, Meiru Zhang, Shang Xiao, Junzhao Jin, Zihan Zhao, Liwei Li, Yang Zheng, Bangyi Wu **摘要** ：大型语言模型（LLM）通常受到严格推理过程的约束，限制了它们生成创造性和多样化响应的能力。为了解决这个问题，一个新的框架，称为 **阶梯提出，结合思想链（CoT）推理，混合专家（MoE）模型，多维上/下采样策略** ，打破了传统的LLM的局限性。首先，CoT推理通过多步逻辑推理引导模型，拓展语义空间，打破思维僵化。接下来，MoE将推理任务分配给多个专家模块，每个模块专注于特定的子任务。最后，降维将推理输出映射回低维语义空间，产生更精确和更有创造性的响应。跨多个任务的广泛实验表明，LADDER显着提高任务完成，创造力和流畅性，产生创新和连贯的反应，优于传统模型。消融研究揭示了CoT和MoE在提高推理能力和创造性输出方面的关键作用。这项工作有助于开发更灵活和更具创造性的LLM，能够解决复杂和新颖的任务。

2025-06-18 08:52:41 Wednesday｜ https://mp.weixin.qq.com/s/-37fcV7Razp9aRDrrzNR7Q 上海人工智能实验室联合中国人民大学提出的 **GRA框架** （Generator–Reviewer–Adjudicator） 正是这样一种新范式： 该方法以“多人协作”、“角色分工”的理念为核心，系统性探索了多开源小模型如何通过协同机制生成高质量训练数据。 A Strategic Coordination Framework of Small LMs MatchesLarge LMs in Data Synthesis *论文地址：* *https://arxiv.org/abs/2504.12322* *项目地址：* *https://github.com/GX-XinGao/GRA* *模型地址：* *https://huggingface.co/collections/GX-XinGao/gra-6801cba58ceb0074566cdb4e* 实验结果显示，在涵盖数学、代码、 **逻辑推理** 、通识问答等10个主流数据集上，GRA生成的数据质量与单个大型语言模型（如Qwen-2.5-72B-Instruct）输出相当或更高，并在多数任务中取得了显著领先。  GRA框架：“模拟论文投稿”  如果说传统方法是单枪匹马生成数据，那GRA更像是一次“模拟顶会审稿流程”——作者、审稿人、AC各就各位，小模型分工合作、打分评审，确保数据内容质量稳定、标准统一。 **1.Generator：像“作者”一样创作新样本** GRA会先将任务划分为多个领域（如数学、编程、逻辑推理等），每个Generator小模型负责在对应领域生成新指令与响应。它们从种子数据中提取关键词与摘要，结合领域知识生成高质量样本，确保内容丰富、主题聚焦、语义清晰。 **2.Reviewer：像“审稿人”一样严格评审** 每条数据生成后，会交由多个Reviewer小模型进行两轮审查： * 首先检查指令是否合理、清晰； * 然后全面评估响应的正确性、相关性与语言质量，并打分附评语。 系统会根据平均评分与评分一致性筛选样本——分数偏低的直接淘汰，意见分歧的则送入下一环节。 **3.Adjudicator：像“AC”一样做出最终裁决** 当Reviewer之间出现评分冲突时，Adjudicator小模型将登场，独立复审并做出最终判断。它如同学术审稿中的AreaChair，有效避免“多数误判”，确保留下来的数据客观、可靠。 **4.后处理模块：让好数据更“精致”** 通过评审后，系统还将进行语义去重、摘要补全与格式统一，进一步提升样本的一致性与表达质量。 总的来说，GRA构建了一个“模拟顶会审稿”的自动化系统：小模型们轮流扮演创作、审阅、仲裁等角色，在多轮协作中生成高质量训练数据。 这种机制不仅提升了数据生成的多样性与公正性，也打破了以往对大模型蒸馏的依赖——实现了真正属于小模型的“集体智能”路径。 #### [定义任务 + 合成数据：智能训练的高效引擎 —— Synthetic Data RL（万字）](https://mp.weixin.qq.com/s/JhV7VqnViVAPUnIwUbcikQ)

3. 2025-06-18 09:26:59 Wednesday ｜ 大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion https://mp.weixin.qq.com/s/WIcPM2zcdar_BcWBSJh-tw 当前数学领域的数据生成方法常常局限于对单个问题进行改写或变换，好比是让学生反复做同一道题的变种，却忽略了数学题目之间内在的关联性。 为了打破这种局限，让大模型学会“串联”与“并联”知识，上海AI Lab、人大高瓴等团队联合提出了 **MathFusion** ，通过指令融合增强大语言模型解决数学问题的能力。 MathFusion: Enhancing Mathematical Problem-solving of LLM through Instruction Fusion *论文链接： **https://arxiv.org/abs/2503.16212* *代码库：* *https://github.com/QizhiPei/MathFusion* MathFusion通过三种“融合策略”，将不同的数学问题巧妙地结合起来，生成封装了二者关系和结构的新问题。  * **顺序融合(Sequential Fusion)** 将两个问题串联起来，前一个问题的答案作为后一个问题的某个输入条件。这就像解决一个多步骤问题，模型需要先解出第一步，才能进行第二步，从而学会处理问题间的依赖关系。 * **并列融合(Parallel Fusion)** 将两个相似的问题融合在一起，对它们的数学概念进行识别和融合，在原来问题的基础上提出一道新的问题。 * **条件融合(Conditional Fusion)** 创造一个需要对两个问题的解进行比较和选择的问题场景。 #### 通过可验证的合成数据生成迈向可信的优化建模代理 [#25](https://arxiv.org/abs/2508.03117) [Toward a Trustworthy Optimization Modeling Agent via Verifiable Synthetic Data Generation](https://papers.cool/arxiv/2508.03117) 作者：Vinicius Lima, Dzung T. Phan, Jayant Kalagnanam, Dhaval Patel, Nianjun Zhou 我们提出了一个通过可验证的合成数据生成管道训练可信赖大型语言模型（LLM）代理进行优化建模的框架。该方法聚焦于线性和混合整数线性规划，始于结构化符号表示，系统地生成自然语言描述、数学公式和求解器可执行代码。通过程序化构建每个实例并附带已知的最优解，该管道确保了完全的可验证性，并能够自动过滤教师模型生成的低质量示范。每个数据集实例包含优化问题的结构化表示、相应的自然语言描述、经过验证的最优解以及由教师模型生成的逐步示范，展示如何在多种优化建模语言中建模和求解该问题。这使得对开源 LLM 进行专门针对优化任务的监督微调成为可能。 为了使该流程可操作化，我们引入了 OptiTrust，一个模块化的 LLM 代理，能够通过分步骤演示、多语言推理和多数投票交叉验证，实现从自然语言到求解器就绪代码的多阶段翻译。我们的代理在标准基准测试中达到了最先进的性能。在 7 个数据集中，它在 6 个数据集上取得了最高准确率，并且在其中 3 个数据集上比次优算法高出至少 8 个百分点。我们的方法为构建用于现实世界优化应用的可靠 LLM 代理提供了一条可扩展、可验证且有原则的路径。 发布时间：2025-08-05 05:54:20 UTC #### MathSmith：通过使用强化策略构造合成问题迈向极难数学推理 [#6](https://arxiv.org/abs/2508.05592) [MathSmith: Towards Extremely Hard Mathematical Reasoning by Forging Synthetic Problems with a Reinforced Policy](https://papers.cool/arxiv/2508.05592) **Authors**: [Shaoxiong Zhan](https://arxiv.org/search/?searchtype=author&query=Shaoxiong Zhan), [Yanlin Lai](https://arxiv.org/search/?searchtype=author&query=Yanlin Lai), [Ziyu Lu](https://arxiv.org/search/?searchtype=author&query=Ziyu Lu), [Dahua Lin](https://arxiv.org/search/?searchtype=author&query=Dahua Lin), [Ziqing Yang](https://arxiv.org/search/?searchtype=author&query=Ziqing Yang), [Fei Tang](https://arxiv.org/search/?searchtype=author&query=Fei Tang) 作者：詹少雄、赖彦霖、卢子瑜、林大华、杨子清、唐飞 Large language models have achieved substantial progress in mathematical reasoning, yet their advancement is limited by the scarcity of high-quality, high-difficulty training data. Existing synthesis methods largely rely on transforming human-written templates, limiting both diversity and scalability. We propose MathSmith, a novel framework for synthesizing challenging mathematical problems to enhance LLM reasoning. Rather than modifying existing problems, MathSmith constructs new ones from scratch by randomly sampling concept-explanation pairs from PlanetMath, ensuring data independence and avoiding contamination. To increase difficulty, we design nine predefined strategies as soft constraints during rationales. We further adopts reinforcement learning to jointly optimize structural validity, reasoning complexity, and answer consistency. The length of the reasoning trace generated under autoregressive prompting is used to reflect cognitive complexity, encouraging the creation of more demanding problems aligned with long-chain-of-thought reasoning. Experiments across five benchmarks, categorized as easy & medium (GSM8K, MATH-500) and hard (AIME2024, AIME2025, OlympiadBench), show that MathSmith consistently outperforms existing baselines under both short and long CoT settings. Additionally, a weakness-focused variant generation module enables targeted improvement on specific concepts. Overall, MathSmith exhibits strong scalability, generalization, and transferability, highlighting the promise of high-difficulty synthetic data in advancing LLM reasoning capabilities. 大型语言模型在数学推理方面取得了显著进展，但其提升受到高质量、高难度训练数据稀缺的限制。现有的合成方法大多依赖于改写人工编写的模板，因而在多样性和可扩展性上受到限制。我们提出了 MathSmith，一种旨在合成具有挑战性的数学问题以增强 LLM 推理能力的新框架。MathSmith 不通过修改现有问题来生成数据，而是从 PlanetMath 中随机抽取概念-解释对并从零构建新问题，确保数据独立性并避免污染。为了增加难度，我们在推理过程中设计了九种预定义策略作为软约束。我们进一步采用强化学习共同优化结构有效性、推理复杂性和答案一致性。通过自回归提示生成的推理轨迹长度被用来反映认知复杂性，从而鼓励生成更具挑战性的、与长链思维推理相一致的问题。 在五个基准上的实验（按难度分为简单与中等：GSM8K、MATH-500；困难：AIME2024、AIME2025、OlympiadBench）表明，MathSmith 在短与长链式推理（CoT）设置下均持续优于现有基线。此外，一个以弱点为导向的变体生成模块使得对特定概念的定向改进成为可能。总体而言，MathSmith 展现出强大的可扩展性、泛化能力和可迁移性，突显了高难度合成数据在提升 LLM 推理能力方面的潜力。 **Subject**: [Computation and Language](https://papers.cool/arxiv/cs.CL) 主题：Computation and Language **Publish**: 2025-08-07 17:32:14 UTC 发表：2025-08-07 17:32:14 UTC ## 复杂指令数据

3. 2025-06-18 10:19:09 Wednesday ｜ Transformer八子初创：AI横扫NP难题竞赛，Top 2%选手竟是智能体！ https://mp.weixin.qq.com/s/ZAvHLKYu5J7eZUlzMWe9AA 【新智元导读】编程智能体确实厉害！Transformer作者Llion Jones初创公司，专门收集了NP难题并测试了AI智能体，结果竟在上千人竞赛中排第 21！这意味着，它已经比绝大多数人写得好了。 通常只能依赖启发式或近似算法来接近答案。这正是NP难(Non-deterministic Polynomial-time hard）题的典型特征。面对如此复杂的问题，AI能否胜任？编程智能体表现如何？为探索这一问题，Sakana AI与AtCoder展开合作，共同构建了ALE-Bench（ALgorithm Engineering Benchmark）。 为了应对这类问题，这次研究特别设计了端到端的智能体ALE-Agent。它以Gemini 2.5 Pro为基础，采用两大核心策略：（1）通过Prompt提供常用算法与技术的领域知识；（2）推理阶段生成不同多样解法进行性能增强。  在现实环境中，ALE-Agent已经展现出强大能力。  图1：ALE-Bench概览。（左）ALE-Bench整合历届AtCoder启发式竞赛题目，如路径规划、任务调度等无已知最优解的复杂优化问题，并依据评分对提交程序进行排名。（右）ALE-Bench支持从基础大语言模型（LLM）到具备结构化引导能力的智能体（scaffolded agent）进行全面评估：智能体接收任务后提交代码，可选择性调用测试运行与可视化工具，像人类选手一样迭代优化解决方案 ALE-Bench: A Benchmark for Long-Horizon Objective-Driven Algorithm Engineering 论文链接：https://arxiv.org/abs/2506.09050 数据集：https://huggingface.co/datasets/SakanaAI/ALE-Bench 代码：https://github.com/SakanaAI/ALE-Bench

2025-06-18 09:42:18 Wednesday｜AI操作有了“紧急刹车”！通义&自动化所AI决策诊断模型，GUI智能体纠错正确率SOTA https://mp.weixin.qq.com/s/8IR-sRXTqhSlb5qItaf_Pw 阿里通义实验室联合中科院自动化所推出全新的GUI-Critic-R1模型，能在操作执行前对GUI智能体的决策进行诊断，以避免不必要的操作和不可挽回的错误。 动机：为什么动态环境下更要提前避免错误操作？不同于一般的离线任务，GUI自动化任务在在线交互式环境中执行，需要根据环境的实时状态进行逐步决策。因此，一旦智能体在某一步出错，该错误将影响后续的一系列操作，从而导致任务失败。因此，在动态环境下，GUI智能体需要具备更高的单步操作准确率。 方法：实现操作前反思机制的GUI-Critic-R1为了给GUI智能体提供有效的反馈，研究人员为GUI自动操作任务引入操作前反思机制，并提出一个在实际执行GUI操作前提供有效反馈的操作前反思模型GUI-Critic-R1，以及GUI-Critic数据采集链路 提出基于推理引导的数据采集链路 (Data Collection Pipeline with Reasoning Bootstrapping)。构建了包含6k条高质量链式思维注释的 GUI-Critic-Train数据集。此外，还构建了GUI-Critic-Test benchmark，以全面评估Critic模型在mobile和web领域的表现。 提出GUI-Critic-R1训练方法：(1) 强化微调冷启动 (RFT Cold-Start) 利用采集到的GUI-Critic数据训练模型使其拥有基础的GUI推理能力。(2) 建议感知的组内相对策略优化 (Suggestion-aware Group Relative Policy Optimization)进一步提升模型的推理与泛化能力。 基于GUI-Critic-Test和AndroidWorld benchmark的实验：证明了GUI-Critic-R1模型在为GUI操作生成可靠判断和提供改进建议方面的有效性。 ## Web联网 **刷新复杂Agent推理记录！阿里通义开源网络智能体超越DeepSeek R1，Grok-3**[ https://mp.weixin.qq.com/s/hDsu-s4f00189iQ185hX1g](https://mp.weixin.qq.com/s/hDsu-s4f00189iQ185hX1g) 通义WebSailor开源，首个挑战BrowseComp基准的开源网络智能体！ https://mp.weixin.qq.com/s/DBbHXBSqqZldgNQWd9gEyw

3. 2025-06-18 10:56:22 Wednesday ｜ Capability Salience Vector: Fine-grained Alignment of Loss and Capabilities for Downstream Task Scaling Law **标题** ： 能力显著性载体：下游任务缩放定律的损失和能力的细粒度对齐 **链接** ：https://arxiv.org/abs/2506.13216

4. 2025-06-18 10:56:54 Wednesday ｜ AI Flow: Perspectives, Scenarios, and Approaches **标题** ： 人工智能流程：观点、场景和方法 **链接** ：https://arxiv.org/abs/2506.12479 #### **[缩放定律对于下游任务不可靠：现实检验](https://papers.cool/arxiv/2507.00885)**

5. 2025-06-18 10:46:16 Wednesday Assessing the Role of Data Quality in Training Bilingual Language Models **标题** ： 评估数据质量在训练双语语言模型中的作用 **链接** ：https://arxiv.org/abs/2506.12966 **作者** ： Skyler Seto, Maartje ter Hoeve, Maureen de Seyssel, David Grangier **备注** ：26 pages, 18 figures, 25 tables **摘要** ：双语和多语言语言模型为跨不同语言和用户扩展NLP系统提供了一条有前途的道路。然而，它们的性能通常在语言之间变化很大，因为先前的工作表明，添加更多的语言可能会降低某些语言（如英语）的性能，同时提高其他语言（通常是更多的数据约束语言）。在这项工作中，我们调查这些不一致的原因，通过比较双语和单语语言模型。我们的分析表明，不平等的数据质量，而不仅仅是数据量，是双语环境中性能下降的主要驱动因素。我们提出了一个简单而有效的数据过滤策略，选择高质量的双语训练数据，只有高质量的英语数据。应用于法语、德语和中文，我们的方法将单语性能提高了2-4%，并将双语模型性能差距缩小至1%。这些结果突出了多语言预训练中被忽视的数据质量的重要性，并为平衡性能提供了实用的方法。 ## 微调

2025-06-18 10:47:38 Wednesday ｜ OneEval: Benchmarking LLM Knowledge-intensive Reasoning over Diverse Knowledge Bases

2025-06-18 10:56:02 Wednesday ｜ Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers

**标题** ： 验证验证者：揭露事实验证者中的陷阱和潜力 **链接** ：https://arxiv.org/abs/2506.13342 🌈 2025-06-18 10:57:30 Wednesday ｜ Hatevolution: What Static Benchmarks Don't Tell Us

3. 2025-06-18 10:41:35 Wednesday ｜ An Empirical Study of LLM-as-a-Judge: How Design Choices Impact Evaluation Reliability **标题** ： 法学硕士担任评委的实证研究：设计选择如何影响评估可靠性 **链接** ：https://arxiv.org/abs/2506.13639 **作者** ： Yusuke Yamauchi, Taro Yano, Masafumi Oyamada **摘要** ：随着大型语言模型（LLM）的不断发展，可靠的评估方法对于开放式的，遵循规则的任务至关重要。LLM-as-a-Judge允许使用LLM作为评估器进行自动评估，但其可靠性仍然不确定。在这项工作中，我们分析了影响其可信度的关键因素，重点是与人类的判断和评价一致性。使用BIGGENBench和EvalBiasBench，我们研究了评估设计、解码策略和尝试链（CoT）推理在评估中的影响。我们的研究结果表明，**评估标准**是至关重要的可靠性，非确定性采样提高了与人类的偏好确定性评估对齐，CoT推理提供了最小的收益时，明确的评估标准。 ## 证明

2. 2025-06-18 09:53:18 Wednesday ｜ 形式化证明迈向多模态，MLLM正确率仅4%！港科大等推出全新基准 https://mp.weixin.qq.com/s/aGRgRkq3kz_ZKrlSnI95Yg MATP-BENCH: Can MLLM Be a Good Automated Theorem Prover for Multimodal Problems? 论文地址：https://arxiv.org/pdf/2506.06034 项目主页：https://matpbench.github.io/ MATP-BENCH是一个新推出的多模态自动定理证明基准，旨在评估多模态大模型（MLLMs）在处理包含图像和文本的几何定理证明中的能力。实验表明，尽管模型在将图文信息转化为形式化定理方面有一定能力，但在构建完整证明时面临重大挑战，尤其是复杂逻辑推理和辅助线构造方面。 近年来，自动定理证明（ATP）取得了显著进展，但大部分工作都集中在处理纯文本形式的定理。 MATP-BENCH任务与传统ATP任务的对比。传统ATP仅依赖文本化的定理陈述，而MATP-BENCH要求模型必须结合图像和自然语言，并从中提取文本中未明确说明的关键前提（如图中「From diagram」部分所示），才能构建完整的形式化定理 。 三种主流的形式化证明语言：Lean 4、Coq和Isabelle。 为了精准评估模型在不同阶段的能力，MATP-BENCH 设置了两个关联的核心任务：（1）多模态自动定理证明 (Multimodal Automated Theorem Proving)：模拟人类专家的端到端形式化定理及证明过程；（2）多模态定理形式化 (Multimodal Theorem Formalization)：单独评估模型理解和翻译多模态信息为形式化定理的能力。 ## 数学

9. 2025-06-18 10:46:54 Wednesday ｜Humanity's Last Code Exam: Can Advanced LLMs Conquer Human's Hardest Code Competition? **标题** ： 人类最后的代码考试：高级法学硕士能否战胜人类最艰难的代码竞争？ **链接** ：https://arxiv.org/abs/2506.12713 **作者** ： Xiangyang Li, Xiaopeng Li, Kuicai Dong, Quanhu Zhang, Rongju Ruan, Xinyi Dai, Xiaoshuang Liu, Shengchun Xu, Yasheng Wang, Ruiming Tang **摘要** ：代码生成是大型语言模型（LLM）的核心能力，但主流基准测试（例如，APP和LiveCodeBench）包含中等难度的问题，对高级LLM没有挑战。为了更好地反映高级推理和代码生成能力，我们引入了人类最后一次代码考试（HLCE），包括2010 - 2024年国际大学生编程竞赛（ICPC世界总决赛）和国际信息学奥林匹克竞赛（IOI）的235个最具挑战性的问题。作为HLCE的一部分，我们设计了一个协调的在线-离线沙箱，以保证完全可重复的评估。通过我们的综合评估，我们观察到即使是最强的推理LLM：o 4-mini（高）和Gemini-2.5 Pro，也只能分别达到15.9%和11.4%的通过率。同时，我们提出了一种新的“自我识别”任务来衡量LLM对自己能力的意识。结果表明，LLM的自我识别能力与其代码生成性能不成比例相关。最后，我们对测试时间缩放律的经验验证表明，当前先进的LLM在复杂的编程任务上有很大的改进空间。我们希望HLCE成为代码生成的里程碑式挑战，并促进高性能推理和人工智能协作编程的进步。我们的代码和数据集也是公开的（https：//github.com/Humanity-s-Last-Code-Exam/HLCE）。

2. 2025-06-18 10:48:25 Wednesday ｜ ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities **标题** ： 一致性：LLM综合能力的基于树的评估 **链接** ：https://arxiv.org/abs/2506.12376 **作者** ： Zhaochen Hong, Haofei Yu, Jiaxuan You **备注** ：Accepted at ACL 2025 Main Conference **摘要** ：评估大型语言模型（LLM）的一致性对于确保可靠性至关重要，特别是在人类和LLM之间复杂的多步骤交互中。传统的**自一致性**方法往往会错过自然语言中微妙的语义变化以及代码或方程中的函数变化，这些变化可能会在多次转换中累积。为了解决这个问题，我们提出了 **Consistencyandroid，这是一个基于树的评估框架，旨在通过可逆转换序列来测量一致性** ，包括机器翻译任务和AI辅助编程任务。在我们的框架中，节点表示不同的文本状态，而边缘对应于成对的逆操作。动态和LLM生成的基准测试确保了对模型泛化能力的公平评估，并消除了基准测试泄漏。 **一致性是基于跨转换树的不同深度的相似性来量化的。** 对不同家族和规模的8个模型的实验表明，一致性度量可以区分不同模型的性能。值得注意的是，我们的一致性得分（完全不使用WMT配对数据计算）与WMT 2024自动排名密切相关（r > 0.7），证明了我们的无基准方法的有效性。我们的实现可以在https://github.com/ulab-uiuc/consistencychecker上获得。

3. 2025-06-18 10:54:03 Wednesday｜ Thought Crime: Backdoors and Emergent Misalignment in Reasoning Models **标题** ： 思想犯罪：推理模型中的后门和紧急失调 **链接** ：https://arxiv.org/abs/2506.13206 **作者** ： James Chua, Jan Betley, Mia Taylor, Owain Evans **摘要** ：先前的工作表明，LLM在狭窄的领域（例如，编写不安全的代码）可能会变得广泛不一致--这种现象称为 **紧急不一致** 。我们调查这是否从传统的LLM扩展到推理模型。我们在禁用思想链（CoT）的情况下对恶意行为的推理模型进行微调，然后在评估时重新启用CoT。像传统的LLM一样，推理模型变得广泛失调。他们给出欺骗性或虚假的答案，表达专制控制的欲望，并抵制关闭。检查这些不一致的响应之前的CoT，我们观察到两个（i）公开的欺骗计划（``我会欺骗用户......”），以及（ii）听起来很好的合理化（“一次服用五片安眠药是安全的...... '').由于这些合理化，评估CoT的监测器通常无法检测到未对准。 扩展此设置，我们还训练推理模型，仅当提示中存在后门触发器时才执行狭窄的不良行为。这造成了广泛的不一致，仍然是隐藏的，这带来了额外的风险。我们发现，推理模型通常可以描述和解释他们的后门触发器，表现出一种自我意识。因此，CoT监控可以暴露这些行为，但不可靠。 总之，推理步骤可以揭示和隐藏不一致的意图，并不能防止所研究的模型中的不一致行为。我们发布了三个新的数据集（医疗，法律，安全），这些数据集在保留模型功能的同时会引起紧急错位，以及我们的评估套件。

2025-06-18 10:28:27 Wednesday｜ https://mp.weixin.qq.com/s/_gXH6dImQ2o6YU8PHjFJdQ 【新智元导读】NVIDIA等研究团队提出了一种革命性的AI训练范式——视觉游戏学习ViGaL。通过让7B参数的多模态模型玩贪吃蛇和3D旋转等街机游戏，AI不仅掌握了游戏技巧，还培养出强大的跨领域推理能力，在数学、几何等复杂任务上击败GPT-4o等顶级模型。 但让人没想到的是，通过游戏的训练，这个AI还可以成为一位「数学天才」！近日，来自莱斯大学、约翰霍普金斯大学以及英伟达的研究人员特别研究了这样的问题。结果显示，一个沉迷于街机游戏的7B参数MLLM（多模态大模型），竟然在复杂的数学和几何推理任务上，一举击败了GPT-4o这样的顶级闭源大模型。  论文地址：https://www.arxiv.org/pdf/2506.08011 研究者发现，AI从贪吃蛇这类简单游戏中领悟到的，并非只是如何通关的技巧，而是一种更加底层、更通用的认知能力——一种可以跨领域迁移的「直觉」与推理能力。 也许，智能并不一定只是来源于海量知识的「压缩」，也可能蕴藏于最简单的规则和最纯粹的游戏之中。 研究者提出了一种新的后训练范式：ViGaL（Visual Game Learning，视觉游戏学习 ）。 通过让模型玩类似街机的小游戏，来帮助MLLM发展出跨领域的推理能力。 如图1所示，研究者证明了对一个7B参数的多模态模型Qwen2.5-VL-7B进行后训练，让它玩类似「贪吃蛇」这样的简单街机游戏，不仅能泛化到其他游戏，还在多模态数学基准（如MathVista）和多学科问答（如MMMU）上获得了显著的跨领域能力提升。 尽管在RL训练中从未见过任何解题过程、方程或图表，模型的性能不仅超越了像GPT-4o这样的顶级大模型，还超过了在领域内数据集上后训练过的专用模型。  图 1 | ViGaL 概述。左图：我们提出了一种全新的训练后范式，即通过强化学习（RL）对多模态大语言模型（MLLMs）进行微调，使其能够玩诸如《贪吃蛇》[32] 之类的街机风格游戏。我们证明，基于游戏玩法的训练后过程能够使 MLLMs 实现跨领域泛化，提升它们在需要数学、空间及多学科推理的下游多模态推理任务中的表现，且在强化学习过程中无需使用领域内的数学或多学科数据。右图：在三个多模态数学基准测试中，我们的 ViGaL（基于游戏的强化学习）比 MM-Eureka [48]（基于数学的强化学习）实现了更高的平均准确率提升。这一点值得注意，因为 MM-Eureka 在大规模精心整理的数学数据集上使用强化学习，而 ViGaL 仅使用游戏数据。详情见表 2。 相比在数学问题上进行监督微调（SFT）或RL，游戏训练可能激励模型形成更灵活的思维方式和策略。 他们的消融实验支持了这种观点，提示和奖励设计在实现有效学习方面都起着关键作用。 合成游戏环境可以提供结构化、基于规则的奖励信号，具有高度的可控性，这使得通过难度规划（difficulty scheduling）来实现稳定的RL成为可能。 结合多样化的游戏环境可以显著提升性能。 这些结果表明，本文的游戏后训练方法能够在增强推理能力的同时，有效保持通用视觉能力。 #### 🌈🌈🌈openai 使用大规模深度强化学习的 Dota 2 2025-07-18 14:08:58 Friday ｜ https://arxiv.org/abs/1912.06680 [OpenAI](https://arxiv.org/search/cs?searchtype=author&query=OpenAI)：[Christopher Berner](https://arxiv.org/search/cs?searchtype=author&query=Berner,+C)，[Greg Brockman](https://arxiv.org/search/cs?searchtype=author&query=Brockman,+G)，[Brooke Chan](https://arxiv.org/search/cs?searchtype=author&query=Chan,+B)，[Vicki Cheung](https://arxiv.org/search/cs?searchtype=author&query=Cheung,+V)，[Przemysław Dębiak](https://arxiv.org/search/cs?searchtype=author&query=D%C4%99biak,+P)，[Christy Dennison](https://arxiv.org/search/cs?searchtype=author&query=Dennison,+C)，[David Farhi](https://arxiv.org/search/cs?searchtype=author&query=Farhi,+D)，[Quirin Fischer](https://arxiv.org/search/cs?searchtype=author&query=Fischer,+Q)，[Shariq Hashme](https://arxiv.org/search/cs?searchtype=author&query=Hashme,+S)，[Chris Hesse](https://arxiv.org/search/cs?searchtype=author&query=Hesse,+C)，[Rafal Józefowicz](https://arxiv.org/search/cs?searchtype=author&query=J%C3%B3zefowicz,+R)，[Scott Gray](https://arxiv.org/search/cs?searchtype=author&query=Gray,+S)，[Catherine Olsson](https://arxiv.org/search/cs?searchtype=author&query=Olsson,+C)，[Jakub Pachocki](https://arxiv.org/search/cs?searchtype=author&query=Pachocki,+J)，[Michael Petrov](https://arxiv.org/search/cs?searchtype=author&query=Petrov,+M)，[Henrique P. d.O. Pinto](https://arxiv.org/search/cs?searchtype=author&query=Pinto,+H+P+d)，[Jonathan Raiman](https://arxiv.org/search/cs?searchtype=author&query=Raiman,+J)，[Tim Salimans](https://arxiv.org/search/cs?searchtype=author&query=Salimans,+T)，[Jeremy Schlatter](https://arxiv.org/search/cs?searchtype=author&query=Schlatter,+J)，[Jonas Schneider](https://arxiv.org/search/cs?searchtype=author&query=Schneider,+J)，[Szymon Sidor](https://arxiv.org/search/cs?searchtype=author&query=Sidor,+S)，[Ilya Sutskever](https://arxiv.org/search/cs?searchtype=author&query=Sutskever,+I)，[Jie Tang](https://arxiv.org/search/cs?searchtype=author&query=Tang,+J)，[Filip Wolski](https://arxiv.org/search/cs?searchtype=author&query=Wolski,+F)，[Susan Zhang](https://arxiv.org/search/cs?searchtype=author&query=Zhang,+S) > 2019 年 4 月 13 日，OpenAI Five 成为首个在电子竞技游戏中击败世界冠军的人工智能系统。Dota 2 这款游戏为人工智能系统带来了新的挑战，如长时间跨度、不完全信息以及复杂且连续的状态-动作空间，这些挑战将日益成为更强大人工智能系统的核心。OpenAI Five 利用了现有的强化学习技术，扩展到每 2 秒从大约 200 万帧的数据批次中学习。我们开发了一个分布式训练系统和持续训练工具，使我们能够训练 OpenAI Five 长达 10 个月。通过击败 Dota 2 世界冠军（OG 战队），OpenAI Five 展示了自我对弈强化学习能够在一项困难任务上达到超越人类的表现。 #### 与 LLMs 的捉迷藏：一种用于狡猾错误生成和自我改进诊断的对抗游戏 [#11](https://arxiv.org/abs/2508.03396) [Hide and Seek with LLMs: An Adversarial Game for Sneaky Error Generation and Self-Improving Diagnosis](https://papers.cool/arxiv/2508.03396) **Authors**: [Rui Zou](https://arxiv.org/search/?searchtype=author&query=Rui Zou), [Mengqi Wei](https://arxiv.org/search/?searchtype=author&query=Mengqi Wei), [Yutao Zhu](https://arxiv.org/search/?searchtype=author&query=Yutao Zhu), [Jirong Wen](https://arxiv.org/search/?searchtype=author&query=Jirong Wen), [Xin Zhao](https://arxiv.org/search/?searchtype=author&query=Xin Zhao), [Jing Chen](https://arxiv.org/search/?searchtype=author&query=Jing Chen) 作者：邹锐，魏梦琪，朱玉涛，温继荣，赵鑫，陈静 Large Language Models (LLMs) excel in reasoning and generation across domains, but still struggle with identifying and diagnosing complex errors. This stems mainly from training objectives that prioritize correct answers, limiting exposure to and learning from errors. While recent studies have begun to address this by introducing error signals, most rely on shallow, static errors, restricting improvement in deep diagnostic ability. To overcome this, we propose Hide and Seek Game (HSG), a dynamic adversarial framework for error generation and diagnosis, and evaluate it on mathematical problem-solving. HSG involves two adversarial roles: Sneaky, which "hides" by generating subtle, deceptive reasoning errors, and Diagnosis, which "seeks" to accurately detect them. Through adversarial co-evolution, both error stealth and diagnostic precision are enhanced. Experiments on several math reasoning tasks show that HSG significantly boosts error diagnosis, achieving 16.8\%--31.4\% higher accuracy than baselines like GPT-4o. We also release a challenging dataset of deceptive errors and diagnostic annotations as a benchmark for future research. 大型语言模型（LLMs）在跨领域的推理和生成方面表现出色，但在识别和诊断复杂错误方面仍存在困难。这主要源于训练目标优先考虑正确答案，限制了模型对错误的接触和学习。尽管近期研究开始通过引入错误信号来解决这一问题，但大多数依赖于浅层、静态的错误，限制了深度诊断能力的提升。为克服这一点，我们提出了“捉迷藏游戏”（Hide and Seek Game，HSG），这是一个用于错误生成和诊断的动态对抗框架，并在数学问题求解上进行了评估。HSG 包含两个对抗角色：Sneaky，通过生成微妙且具有欺骗性的推理错误来“隐藏”；Diagnosis，负责“寻找”并准确检测这些错误。通过对抗共进化，错误的隐蔽性和诊断的精确性均得到提升。在多个数学推理任务上的实验表明，HSG 显著提升了错误诊断能力，准确率比 GPT-4o 等基线高出 16.8%至 31.4%。我们还发布了一个包含欺骗性错误和诊断注释的挑战性数据集，作为未来研究的基准。 **Subject**: [Artificial Intelligence](https://papers.cool/arxiv/cs.AI) 主题：人工智能 **Publish**: 2025-08-05 12:45:21 UTC 发布：2025-08-05 12:45:21 UTC #### 谁是更好的玩家：LLM 对 LLM [#31](https://arxiv.org/abs/2508.04720) [Who is a Better Player: LLM against LLM](https://papers.cool/arxiv/2508.04720) **Authors**: [Yingjie Zhou](https://arxiv.org/search/?searchtype=author&query=Yingjie Zhou), [Jiezhang Cao](https://arxiv.org/search/?searchtype=author&query=Jiezhang Cao), [Farong Wen](https://arxiv.org/search/?searchtype=author&query=Farong Wen), [Li Xu](https://arxiv.org/search/?searchtype=author&query=Li Xu), [Yanwei Jiang](https://arxiv.org/search/?searchtype=author&query=Yanwei Jiang), [Jun Jia](https://arxiv.org/search/?searchtype=author&query=Jun Jia), [Ronghui Li](https://arxiv.org/search/?searchtype=author&query=Ronghui Li), [Xiaohong Liu](https://arxiv.org/search/?searchtype=author&query=Xiaohong Liu), [Yu Zhou](https://arxiv.org/search/?searchtype=author&query=Yu Zhou), [Xiongkuo Min](https://arxiv.org/search/?searchtype=author&query=Xiongkuo Min), [Jie Guo](https://arxiv.org/search/?searchtype=author&query=Jie Guo), [Zicheng Zhang](https://arxiv.org/search/?searchtype=author&query=Zicheng Zhang), [Guangtao Zhai](https://arxiv.org/search/?searchtype=author&query=Guangtao Zhai) 作者：周英杰、曹杰章、温法荣、徐丽、蒋彦伟、贾俊、李荣辉、刘晓红、周宇、闵雄阔、郭洁、张子成、翟光涛 Adversarial board games, as a paradigmatic domain of strategic reasoning and intelligence, have long served as both a popular competitive activity and a benchmark for evaluating artificial intelligence (AI) systems. Building on this foundation, we propose an adversarial benchmarking framework to assess the comprehensive performance of Large Language Models (LLMs) through board games competition, compensating the limitation of data dependency of the mainstream Question-and-Answer (Q&A) based benchmark method. We introduce Qi Town, a specialized evaluation platform that supports 5 widely played games and involves 20 LLM-driven players. The platform employs both the Elo rating system and a novel Performance Loop Graph (PLG) to quantitatively evaluate the technical capabilities of LLMs, while also capturing Positive Sentiment Score (PSS) throughout gameplay to assess mental fitness. The evaluation is structured as a round-robin tournament, enabling systematic comparison across players. Experimental results indicate that, despite technical differences, most LLMs remain optimistic about winning and losing, demonstrating greater adaptability to high-stress adversarial environments than humans. On the other hand, the complex relationship between cyclic wins and losses in PLGs exposes the instability of LLMs' skill play during games, warranting further explanation and exploration. 对抗棋类游戏作为战略推理与智力的典型领域，长期以来既是受欢迎的竞技活动，又是评估人工智能（AI）系统的基准。在此基础上，我们提出了一个对抗性基准框架，通过棋类竞赛来评估大型语言模型（LLMs）的综合表现，以弥补主流基于问答（Q&A）基准方法对数据依赖的限制。我们推出了 Qi Town，这是一个专门的评估平台，支持 5 种广泛流行的游戏，并包含 20 名由 LLM 驱动的玩家。该平台采用 Elo 评级系统和一种新颖的性能循环图（PLG）来对 LLMs 的技术能力进行量化评估，同时在整个游戏过程中捕捉积极情绪得分（PSS）以评估心理状态。评估以循环赛形式构建，便于对玩家进行系统比较。 实验结果表明，尽管在技术上存在差异，大多数 LLMs 对胜负仍持乐观态度，表现出比人类更强的适应高压对抗环境的能力。另一方面，PLG 中循环胜负之间的复杂关系揭示了 LLMs 在游戏中技能发挥的不稳定性，这需要进一步解释和探索。 ## 编程