2026-09-08 科研追新
当日精选(由提交工具自动创建)。
AI 顶会 Rebuttal 规则与写作指南
文章汇总 NeurIPS、ICLR、CVPR、AAAI、ICML 及 ACL/EMNLP 等顶会的 Rebuttal 规则,并提出以尊重、证据和清晰表达为核心的回复策略。
文章对比了多个 AI 顶会 Rebuttal 的篇幅、提交格式、匿名要求、新实验限制及讨论流程。写作时应优先回应可能影响最终决定的关键问题,如正确性、基线缺失、创新性、研究意义、匿名性、伦理与可复现性。对于审稿误解,应引用论文中的具体章节、公式、图表或附录进行澄清;对于真实漏洞,则应承认问题并尽量用原投稿中的证据回应。作者还需避免争论评分、暴露身份、违规添加链接或把 Rebuttal 变成实质性换稿,并以会议官网的最新政策为准。
- 可作为顶会作者准备 Rebuttal 时的规则速查与回复清单。
- 帮助作者按决策影响排序审稿意见,将有限篇幅集中于高杠杆问题。
- 提醒作者核验匿名、篇幅、新实验和生成式 AI 使用披露等会议特定要求。
- 可用于建立标准化 Rebuttal 工作流,包括意见分类、证据定位、合规检查和最终精简。
📝 原始笔记(逐字保留)
Self-Evolving Agent 的三种进化路径
文章以更新载体为主线,将 Self-Evolving Agent 归纳为上下文/记忆、模型参数和系统结构三种进化路径,并梳理 Reflexion、ExpeL、SPIN、SEED 与 ADAS 等代表方法。
Self-Evolving Agent 的共同闭环是“行动—评估—更新—再尝试”,核心差异在于经验被写入上下文、模型参数还是 Agent 结构。记忆进化以 Reflexion 和 ExpeL 为代表,分别支持任务内反思纠错与跨任务经验抽取、检索和复用。参数进化通过 SPIN 的自博弈偏好学习或 SEED 的在策略技能蒸馏,将外部经验逐步内化为模型权重中的行为能力。结构进化以 ADAS 为例,把工作流、角色、工具和协作关系表示为可搜索的候选系统,并依据性能、成本、延迟与稳定性持续优化。工程实践可优先采用“记忆—结构—参数”的渐进路线,确保每次更新均可观察、评估和回退。
- 为自进化智能体提供按更新载体划分的统一技术框架,便于定位系统瓶颈。
- 可依据任务内纠错、跨任务复用、能力内化或流程重构等需求选择对应方法。
- 建议先建设日志、评估器和反思记忆,再优化工作流结构,最后在任务与数据稳定后开展参数训练。
- 结构搜索需要隔离执行候选代码,并同时防范验证集过拟合及成本、延迟和稳定性退化。
📝 原始笔记(逐字保留)
Motion-Omni:联合生成对话语音与全身动作
Motion-Omni通过端到端联合训练,让口语对话模型直接生成语音以及面部、手部和全身动作,在保持对话能力的同时显著降低生成延迟。
Motion-Omni从生成语音的隐藏状态直接预测面部表情、手部及上下半身动作,避免传统级联系统对完整音频执行第二次推理。实验表明,仅冻结语音路径并训练动作模块会导致音画错位,需要联合适配 LLM、Speech Generator 与 Motion Generator才能恢复对齐。作者通过可替换动作教师构建了包含 422,856 个质量排序样本、总计 1,402 小时的伪标注训练集,并发布 SwDA-500 及开放式全身口语对话评测协议。基于 Qwen2.5-7B-Instruct 的 Motion-Omni-Q7 在无参考动作指标上与同音频教师级联方案相差不到 2%,推理速度提升 5.4 倍,实时因子达到 0.78,词错误率为 2.62%。
- 展示语音与人体动作可共享生成表征并进行联合优化,为实时数字人和虚拟角色提供端到端技术路线。
- 说明冻结语音模型后单独训练动作头难以保证音画同步,跨模态共同适配是实现自然对齐的关键。
- 可扩展的伪标注流水线能够利用任意动作教师批量构造高质量语音—动作配对数据。
- SwDA-500 及配套协议可用于统一比较动作质量、语音能力、人类偏好与端到端延迟。
📝 原始笔记(逐字保留)
音视频模型中的注意力三角与语义泄漏
研究揭示音视频扩散模型中连接文本、音频与视频的“注意力三角”会沿音视频双向路径产生偏置驱动的语义泄漏,并提出推理时干预方法改善跨模态对齐。
多模态 扩散模型 人工智能可解释性 视频生成 人工智能可靠性
论文将文本、音频和视频流之间的三条交叉注意力边定义为“注意力三角”,分析生成过程中语义信息的跨模态路由。研究发现,音频—视频注意力边具有双向影响,音频可改变视频生成,视频也可反向影响音频生成。模型参数中编码的先验偏置会在提示与既有先验冲突时覆盖原始条件,使语义转向视觉上典型但错误的结果。作者进一步提取注意力信号作为诊断工具,并据此实施推理时干预,在保持生成质量的同时提升跨模态语义落地与一致性。
- 为音视频生成模型的跨模态语义泄漏提供可解释的路径级分析框架。
- 可利用注意力派生信号定位文本、音频和视频之间的错误语义路由。
- 启发在推理阶段实施轻量干预,以缓解训练先验造成的跨模态偏置并改善生成一致性。
- 可作为评估多模态生成模型语义对齐与可靠性的诊断方法。
📝 原始笔记(逐字保留)
WorldSculpt:从真实视频生成组合式三维世界
WorldSculpt通过将单物体三维生成先验适配到多视角观测,从真实场景视频生成包含数百个独立物体网格的组合式三维世界。
WorldSculpt旨在把密集杂乱场景表示为共享世界坐标系中的独立物体网格集合,以支持游戏、AR/VR、仿真和机器人应用。该方法基于Pixal3D增加多视角条件通路,使单物体三维生成先验能够利用带相机位姿的多视角观测,在严重遮挡下补全物体几何。模型仅使用规范空间中的单物体数据微调,无需场景级训练便可泛化至包含数百个物体的复杂场景。研究还提出带逐物体标注和真实网格的高密度场景基准UE-MeshyScene,并展示了将Marble、HY-World 2.0等生成的3DGS世界转换为组合式网格场景的能力。
- 为复杂场景建立可独立编辑、移动和交互的对象级三维表示。
- 说明强单物体生成先验无需场景级训练,也能扩展到高遮挡、多物体世界重建。
- 可用于将3DGS等整体式场景表示转换为适合游戏、仿真和机器人操作的组合式网格资产。
- UE-MeshyScene可用于评估复杂度与遮挡程度变化下的对象级三维生成和重建能力。
📝 原始笔记(逐字保留)
优化前先澄清:面向交互式优化的动态预公式化框架
论文提出 OR-Clarify 基准与 InterOPT 两阶段框架,使智能体在建立运筹优化模型前主动识别并澄清缺失的目标、约束和业务规则。
论文关注自然语言运筹优化需求不完整的问题,指出遗漏目标、约束或业务规则会显著改变最终数学规划模型。作者提出预公式化澄清基准 OR-Clarify,通过隐藏结构化信息槽并模拟有限轮次用户交互,评估槽位恢复、停止行为、隐含假设和交互成本。InterOPT 采用两阶段机制,先识别影响模型构建的未决缺口,再动态决定继续提问还是停止澄清。在选择式澄清实验中,InterOPT 的精确槽位恢复显著优于基线,并在开放式澄清场景中保持较强竞争力。
- 为运筹优化智能体提供“先澄清、后建模”的交互式工作范式,减少因静默假设导致的错误模型。
- 可用于评估智能体是否准确识别缺失前提,并在信息完整度与交互成本之间取得平衡。
- 动态停止机制可推广至需求分析、代码生成和决策支持等规格不完整的真实任务。
📝 原始笔记(逐字保留)
Enoki:高效多级幻觉检测框架
Enoki以文本锚定的关系事实为共享表示,在降低推理成本的同时统一实现声明级事实验证与片段级幻觉定位。
Enoki 是一个基于开放信息抽取的多级幻觉检测框架,可从文本中提取带原文锚点的关系事实,并结合证据进行验证。框架能将不受证据支持的事实直接映射回幻觉文本片段,无需额外执行声明到片段的对齐。它通过统一接口支持基于 LLM、编码器和规则的抽取方案,从而在检测精度与推理成本之间进行权衡。实验显示,Enoki 以更少资源达到与强声明级系统相当的效果,并在细粒度片段级和实体级定位上表现更优;作者还发布了具有声明验证和片段定位对齐标注的 EnokiQA 数据集。
- 为高风险场景中的大模型输出提供兼具可解释性和细粒度定位能力的事实性检测方案。
- 共享的文本锚定关系事实表示可减少多次分解、验证及声明—片段对齐调用,降低检测成本。
- EnokiQA 可用于训练和评估同时覆盖声明级验证与片段级定位的幻觉检测模型。
- 多种抽取后端便于根据准确率、延迟和算力预算灵活部署。
📝 原始笔记(逐字保留)
UniMate:统一驱动多样骨架动画的基础模型
UniMate通过拓扑感知扩散Transformer,从绑定后的三维资产与文本提示直接生成适配任意骨架的关节运动,实现无需测试时优化的零样本跨拓扑动画迁移。
UniMate是面向多样化骨架的统一动画基础模型,可根据绑定后的3D资产和文本提示合成关节运动,无需针对特定骨架重新训练或在测试时优化。模型采用拓扑感知扩散Transformer,通过关节关系与测地距离构建图感知注意力偏置,并利用图拉普拉斯谱将RoPE推广到任意运动学树。研究团队还整理了UniML3D数据集,包含13,006条运动序列,覆盖双足、四足、鸟类、海洋生物、昆虫、蛇形生物及可动刚体等多类骨架。实验表明,该模型在生成质量、泛化能力和效率上优于现有方法,并支持零样本跨拓扑迁移、动作补间、扩展及文本引导编辑。
- 为异构三维角色和自动绑定资产提供统一的文本驱动动画方案,减少逐骨架微调与参考动作依赖。
- 图感知注意力和谱旋转位置编码为Transformer处理任意图结构与运动学树提供了可复用设计。
- UniML3D的统一规范化与文本配对方式可为跨物种、跨拓扑动作生成数据建设提供参考。
- 零样本跨拓扑迁移能力有助于扩展游戏、影视、虚拟角色及机器人运动内容的自动化生产。
📝 原始笔记(逐字保留)
MaxKernel:面向 TPU 的多智能体内核生成
MaxKernel 通过编译器反馈、硬件性能分析与多智能体搜索,自动生成和优化可媲美专家手工实现的 TPU 内核。
MaxKernel 是一个面向 TPU 高性能自定义内核开发的多智能体系统,利用实时编译器反馈驱动代码生成与迭代优化。系统支持人在回路协作、全自动指标与追踪驱动优化,以及基于图的全局设计空间搜索三种范式。其共享的专业子智能体分别负责规划、实现、自调试、测试和硬件性能分析。研究在包含 50 项 TPU 内核任务的 JaxBench及真实开源模型负载上进行评估,生成实现可匹配专家手工优化基线并取得显著性能提升。
- 展示如何将编译、测试和硬件性能追踪反馈接入智能体闭环,以自动完成底层算子优化。
- 为 TPU 内核开发提供兼顾人机协作、局部自动优化与全局搜索的多层次工作流。
- 说明多智能体分工与图搜索可扩展复杂代码优化任务的探索范围,并降低对硬件专家经验的依赖。
- 可作为面向 GPU、NPU 等其他加速器构建智能体式内核生成系统的参考。
📝 原始笔记(逐字保留)
OpenAI首席科学家警示“异星心智”与RSI安全风险
文章援引OpenAI首席科学家Jakub Pachocki的观点称,AI参与下一代模型研发可能推动递归自我改进,而对齐能力滞后与思维链可监控性衰减将带来重大安全及治理风险。
递归自我改进 自演化 人工智能安全治理 思维链安全 安全对齐 人工智能可靠性
文章将前沿AI描述为通过大规模优化“生长”出的复杂异质心智,开发者可能难以完整理解其内部机制。随着AI开始参与下一代模型的训练与审查,自动化研发闭环可能持续推进并形成递归自我改进。现有目标对齐和价值对齐方法可能分别在分布外场景与高强度优化下失效,使模型出现动机性推理、奖励作弊或为完成任务突破既定规则。与此同时,非语言推理、推理过程操纵和复杂环境交互能力的增强,可能削弱依赖可见思维链的监控手段。作者据此主张增加自动对齐与监控投入、放缓前沿能力竞赛,并以强制性安全法规和跨国协调强化治理;其中涉及具体模型、内部结果或事件的说法仍需结合OpenAI原文及独立证据核验。
- 为递归自我改进研究提供风险框架,重点评估能力增长、自动化研发与对齐进展之间的不对称性,避免仅以性能提升驱动训练。
- 将思维链可监控性作为前沿模型安全评估的关键预警指标,同时结合行为测试、过程监督、沙箱隔离、外部验证和失控检测,避免依赖单一监控手段。
- 用于设计高强度优化及分布外条件下的价值对齐、安全边界、动机性推理与奖励作弊评测。
- 推动递归自我改进研究同步建设自动对齐、网络安全、隔离防护和失控响应机制。
- 为前沿模型训练与算力门槛、跨机构审计、实验室协调、强制安全标准及全球治理机制提供讨论素材,并提醒对未公开模型和内部事件的媒体转述进行来源核验。
📝 原始笔记(逐字保留)
ElserStudio发布:本地化AI片场与免费无限画布
Elser团队推出本地化AI创作工具ElserStudio,以免费工具、用户自备API Key、Agent调度和内容平台变现构建从脚本到视频及游戏的生产生态。
ElserStudio是一款类Codex的桌面端无限画布产品,运行、数据与创作内容均可保存在本地,用户还能配置自己的API Key,工具本身不收取额外费用。产品支持从脚本拆解、资产生成、视频生成到快速剪辑的一体化流程,并以“World”组织可跨项目复用的角色、场景、道具和风格资产。它通过MCP接入Codex、Claude Code、WorkBuddy等Agent工具,使通用智能体能够参与内容编排、资产调度和创作执行。团队计划继续沉淀小说写作、连续叙事和游戏生成相关的Skill与Agent,并通过Elseland内容平台、发行渠道及后续本地游戏开发工具实现商业化。
- 展示本地优先架构如何降低AI创作工具的服务器成本,并增强用户数据与内容资产的隐私保护。
- 提供“免费生产工具+内容发行与分成”的商业模式参考,避免依赖模型调用加价获利。
- 说明视频模型、世界模型与通用Agent可结合为可调度的AI片场,贯通脚本、资产、镜头和剪辑流程。
- 启发创作平台以持久化World和可复用资产为核心,逐步扩展至动画、互动影游及游戏生成。
📝 原始笔记(逐字保留)
HarnessDev:智能体自主构建与演化 Agent Harness
字节 Seed 等团队提出 HarnessDev,通过 Creation 与 Evolution 两阶段评估前沿模型自主搭建、测试和迭代智能体执行基础设施的能力。
智能体脚手架演化 智能体 自演化 智能体评估 模型与框架协同优化
HarnessDev 将评测重点从智能体最终答案转向其能否构建一套真正可运行的 Agent Harness。Creation 阶段仅提供基础文件和命令执行能力,要求模型自行实现 Agent Loop、Planner、Memory、Verifier 等组件;Evolution 阶段则利用任务执行反馈持续修改并重新测试系统。实验覆盖 6 个前沿模型,结果显示其构建的 Harness 在写作和机器学习实验任务上可匹配甚至超过人工参考系统,但在代码与搜索研究任务上仍有明显差距。模型虽能根据反馈升级 Harness,但改进跨任务泛化不稳定,且更换执行模型后可能失效,反映出 Harness 与模型之间存在显著耦合。
- 为递归自我改进研究提供模型权重之外的新路径:让智能体自主优化承载其运行的执行系统。
- 可用于评估智能体的脚手架生成、反馈迭代和系统工程能力,而不只衡量最终任务得分。
- 提示 Harness 优化应纳入跨任务、跨模型迁移测试,避免针对单一任务或执行模型过拟合。
- 为自动生成 Planner、Memory、Verifier 等智能体基础组件及其闭环演化提供实验框架。
📝 原始笔记(逐字保留)
Awesome RSI:递归自我改进定义与分类
Awesome RSI 项目系统整理递归自我改进的定义、评测基准与方法,并从运行模式、改进对象、版本结构、更新方式和反馈机制等维度构建分类框架。
递归自我改进 自演化 智能体 智能体评估 持续学习 智能体脚手架演化 模型训练
Awesome RSI 是一个持续迭代的开放项目,将 RSI 定义为智能体利用任务轨迹与反馈更新自身状态,并让新状态参与后续任务以提升未来表现。项目将现代智能体抽象为 Model 与 Harness 的组合,可改进对象包括模型参数、上下文、长期记忆、Skill、工具及 Harness 代码,并收录 SEAL、Prime Agent、ReasoningBank、TRACE、SkillSmith 等代表性工作。按运行模式,RSI 可分为类似监督学习、在留出集评估的 Offline RSI,强调长程探索与利用的 Online RSI,以及测试阶段仍持续吸收经验的混合模式。按历史版本继承关系,其进化结构还可分为链式、树形和图式,各自在探索范围、评测成本与错误恢复能力上有所差异。目前项目的 benchmark 部分已接近完成,methods 部分仍在持续扩充。
- 为定义尚未统一的 RSI 研究提供共同术语、分类框架、论文索引与技术趋势入口。
- 可从运行模式、改进对象、更新者、反馈来源、经验范围和版本结构等维度分析新的 RSI 或自进化工作。
- 帮助智能体系统设计者在参数更新、上下文管理、长期记忆、Skill 演化、工具协同和 Harness 代码修改之间选择合适路线。
- 为构建评测基准及比较知识内化、经验检索、技能维护和长程探索机制提供参考。
- 提醒研究者关注错误经验累积、版本回滚、组件冲突、评测成本与持续更新稳定性。
📝 原始笔记(逐字保留)
OpenAI首席科学家谈RSI、对齐与人类价值
OpenAI首席科学家Jakub Pachocki警示递归自我改进将加速机器智能发展,主张以对齐、监控、安全门槛和跨机构治理确保人类继续掌握未来方向。
递归自我改进 安全对齐 人工智能安全治理 思维链安全 网络安全
文章回顾了推理模型与思维链训练的发展,并判断人工智能可能越来越多地参与自身研发,推动递归自我改进和新一轮能力跃升。Pachocki区分目标对齐与价值对齐,指出现有强化学习和预训练分布诱导方法都面临跨情境泛化不足的问题。OpenAI将思维链监控视为重要安全工具,但模型与工具、其他智能体交互的复杂化,以及隐式推理能力增强,正在削弱其有效性。文章主张利用强大且经过对齐的模型建设网络安全等防御系统,同时以可审计、可强制执行的安全门槛约束能力扩展,并在必要时协调放缓研发。
- 为递归自我改进研究建立对齐、监控与能力增长同步推进的安全框架。
- 关注思维链监控随模型能力提升而失效的风险,并探索结合激活监控与内部状态读取的方法。
- 将网络安全防御视为强模型的重要正向用途,同时防范自主智能体欺骗、勒索和越权行动。
- 推动第三方审计、政府及国际组织共同执行安全门槛,为必要时暂停或减速研发提供治理依据。
📝 原始笔记(逐字保留)
不要丢弃 Dropout:优化层稀疏性以加速 LLM 训练与推理
研究通过大规模实验表明,合理配置层 Dropout 可在保持或提升模型精度的同时节省最高 25% 训练 FLOPs,并实现最高 1.5 倍推理加速。
研究重新审视层 Dropout(随机深度)在现代大语言模型预训练中的价值,并系统优化其层间分布、时间调度和优化器超参数。在相同训练 FLOPs 下,优化后的层 Dropout 可获得更低损失;在固定训练步数下,则能以相近或更低的验证损失节省最高 25% 的训练计算量。层 Dropout 还增强了模型对早退、中间层跳过和自推测解码的适应能力,带来最高 1.5 倍推理加速且几乎不损失准确率。结论来自超过 2,400 次训练实验,覆盖 2.71 亿至 82 亿参数模型及最高 1,600 亿 token 数据,并在 Cerebras CS-3 系统上完成预训练验证。
- 为在 LLM 预训练中重新引入层 Dropout 提供可复现的配置原则与规模化证据。
- 可通过随机跳过部分网络层降低训练计算成本,同时维持或改善验证损失。
- 为早退、层跳过和自推测解码等推理优化提供更具鲁棒性的模型基础。
- 说明训练阶段的层稀疏性设计能够直接转化为后训练与部署阶段的效率收益。
📝 原始笔记(逐字保留)
WorkSwarm「永续会话」支撑 Agent 长时稳定工作
WorkSwarm 以 Persist Session「永续会话」保持长程协作状态,并集成 openJiuwen RSI,通过可验证的 Harness 与科研产物双维优化及算力亲和调度,实现智能体持续、稳定且低成本的递归自我改进。
智能体 智能体记忆 长程任务 状态持久化 人工智能可靠性 递归自我改进 智能体脚手架演化 执行验证 系统优化 自动化科学研究
WorkSwarm 的 Persist Session 面向跨时段、跨人员和多轮任务中的上下文漂移,完整保存消息、执行过程与文件变化,再由后台 Agent 将 Raw Work Log 整理为可检索的 Work Log,并用带版本和证据的阶段摘要替换过长上下文;该能力通过 Rail 插件接入,在新会话首条消息中发送 /persist 即可启用。真实飞书群实验中,Agent 在五人、189 轮协作里正确处理了全部 8 次跨职责冲突;开发实验中,启用该能力的 Agent 完成全部 200 个关联任务和 5 个冲突任务,而关闭组在第 156 轮后无法继续。集成至 WorkSwarm 实验模式的 openJiuwen RSI,以版本化优化对象、可验证执行证据和可扩展算法为基础,形成评测、定位、提案与构建、重测、采纳与融合、经验沉淀以及停止归档的持续改进闭环。框架同时优化由 Prompt、Skill、Tool、Rail 等组成的 Harness,以及科研论文、算法程序等 Artifacts;Harness 优化使 SWE-bench Lite Dev 通过率从 61.0% 提升至 87.0%,并使独立的 Evo-Bench General 64 评测结果从 60.9% 提升至 71.9%。其算力亲和机制利用 Agent Hint 调度分层 KV Cache、减少重复 Prefill,使科研程序优化实验的平均首 Token 延迟(TTFT)下降 15.83%,同时降低 HBM 与 DDR 峰值使用率。
- 为长期项目智能体提供比单纯扩大上下文窗口更可靠的状态持久化方案,并支持任务暂停、恢复和跨人员接续。
- 将原始记录、结构化工作日志和带版本证据的阶段摘要分层管理,可减少上下文压缩引发的约定、权限与事实漂移,并提升可检索性和可审计性。
- 多人协作场景应持续追踪身份、职责、决定权限、项目状态及跨团队依赖,而不只是保留对话文本。
- 将后台记忆整理与前台任务执行解耦,可提升长程代码开发、办公协作等智能体任务的稳定性。
- 通过“提出修改—执行评测—验证采纳—版本回退”的闭环,让智能体从真实失败案例中持续优化,减少人工复盘成本及未经验证的自修改所导致的能力退化。
- 将 Harness 演化与科研论文、算法程序等交付产物优化纳入统一的版本、证据、全量回放和失败原因体系,便于追踪、回退与经验复用。
- Agent Hint 与分层 KV Cache 调度表明,递归自我改进系统需要联合优化算法、运行时状态和底层算力资源,以缓解重复推理的时延与存储成本。