多模态 LLM-DailyDigest 2025-11-06 2025-11-06 约 100 字 预计阅读 0 分钟 相关消息(按子主题自动聚合) 三维生成 6 OuroWorld:将静态 3D 世界转化为无限循环动态影像 10-18 OuroWorld:将静态 3D 世界转化为无限循环动态影像 10-10 Puppeteer:物体感知的协同语音手势生成 09-11 WorldClaw:智能体驱动的大规模 3D 开放世界生成 08-07 谢赛宁团队新作:无需提示词实现精准3D画面控制 12-31 昆仑万维发布 Matrix-3D:一张图生成 3D 游戏场景 12-31 三维跟踪 1 TrackEverything:去重 3D 场景表征实现长时程密集跟踪 09-29 三维重建 6 EgoXperience:从人类经验学习世界对齐的自我中心表征 10-21 SceneRig:从单图像重建仿真就绪的三维场景 10-21 预训练扩散模型与多模态条件增强摄影测量DSM 09-29 WorldSculpt:从真实视频生成组合式三维世界 09-08 Scal3R:多参考相对位姿查询实现可扩展在线 3D 重建 09-07 CVPR 2025 Award Candidate:Difix3D+ 用单步扩散模型修复 3D 重建伪影 06-23 上下文压缩 2 漂移定时、预算定量:长篇多模态生成的速率控制 KV 重选 10-23 Triage:语言模型运行前预测并裁剪音频 Token 10-01 上下文学习 1 SimpleICL:简化机器人情境学习的操控方案 10-18 世界模型 25 Hy-Nomas:自由形式交互式世界生成 10-29 视觉语言智能体在自身潜在世界中学习:Dwell框架 10-29 Google DeepMind发布实时交互世界模型Genie 4 10-29 通过视频读写、共享与世界交互:世界建模综述 10-27 LaLa-World:以自然语言动作扩展潜在世界模型 10-24 Ropedia W0:利用人类经验扩展跨具身运动操作世界模型 10-22 VPM:通过点轨迹预测学习四维世界 10-22 Holi-World:从人类第一人称经验构建整体世界智能 10-21 优必选发布统一多模态具身世界模型 Thinker-WM 10-20 Oneira:可持续交互的视频世界模型 10-18 World Observer:联合动作与观察者生成的持久世界建模 10-08 微软发布生物学世界模型 Project Quine 10-01 InternW0-Δ:基于 2 万小时开放数据的世界动作模型 09-29 HappyWorld-Bench:世界模型可靠性评测基准 09-25 Zing-0.5:实时动作与文本联合控制的可游玩世界模型 09-18 ModAR:模态自回归世界-动作模型 09-17 AlayaVista:从全景状态到透视视频的流式世界建模 09-16 Motus 2发布:世界模型驱动灵巧操作自进化 09-13 SyncWorld:视觉校准使世界模型成为零样本模拟器 09-11 Puffin-World:以原生 3D 世界状态扩展统一多模态模型 09-07 SolarWM:长时程视频世界模型的开放数据与可扩展训练 09-07 H3-World:以语言指令实现交互式世界控制 09-03 Code-as-World:智能体发现可执行世界表示以增强物理推理 09-01 谷歌 DeepMind 发布新一代通用世界模型 Genie 3 08-05 PEVA:基于全身动作条件的第一视角视频预测世界模型 07-02 中期训练 1 VLAct:以表征为中心的视觉-语言-动作模型持续预训练 09-01 主动学习 1 生物多样性监测中的主动学习:从标签效率到可靠生态推断 09-24 交互式评测 6 InteractiveWorld:可验证的人本交互式 MLLM 环境 10-29 StreamEval:交互式流式视频生成统一评测基准 10-23 DIVE:连续流视觉参与的全双工交互评测基准 10-22 Duplex-MPE:全双工多方对话交互基准 09-30 OmniAssistBench:全模态助手交互评测基准 08-24 PlayWorld:智能体玩家驱动的长程世界模型评测基准 08-15 交互控制 1 OS-Kairos:以置信度机制避免 GUI 智能体“过度执行” 07-03 产业动态分析 2 模思智能获超10亿元Pre-A轮融资,押注全模态实时交互 10-18 苹果公布全产品线 AI 融合计划 06-10 人工智能辅助编程 1 RepoAtlas:以动态多模态仓库视图引导编程智能体 09-16 人工智能辅助药物研发 1 Chai-2实现零样本抗体发现,AI设计药物有望进入临床 07-02 信用分配 2 细粒度信用分配何时助益或损害多模态智能体强化学习 10-27 PACE:以成对词元对比与自适应轨迹置信度增强多模态 RLVR 10-18 偏好优化 1 PrefMind:在线多智能体偏好学习提升多模态生成 10-19 全模态生成 1 EchoWM:开放可进入的全模态世界模型 08-26 具身基础模型 13 PDRVLA:融合物理动力学表征的视觉-语言-动作模型 10-29 RynnUnify:统一具身理解、视觉规划与机器人控制的 16B 模型 10-27 UniWALM:统一世界-动作-语言模型用于具身机器人控制 10-21 GPT-6-Astra 通过触觉反馈执行接触密集型机器人操作 10-21 VLA 模型的指令-动作绑定失效与反事实训练 10-01 ActionPiece:重思自回归 VLA 模型的动作词元化 09-17 PhysBrain 1.5:从视觉语言模型迈向物理基础模型 09-16 Show-Harness:用语义接口释放 VLM 机器人控制能力 09-10 Qwen-Drive-1.0:自动驾驶视觉语言基础模型 09-03 LightNav-0:激发 VLM 空间智能的通用具身导航模型 09-02 INDI:为视觉-语言-动作模型蒸馏行为意图 09-01 GigaBrain-0.7:三系统架构扩展具身基础模型 08-27 地平线与极佳提出几何一致视频世界模型,增强机器人策略学习 06-27 具身智能 1 Gemini Robotics On-Device:可直接部署于机器人的 VLA 模型 06-26 具身规划 9 HiSTEVE 1.0:面向开放世界游戏的分层 VLA 智能体 10-27 多模态具身智能体:从计算机操作到机器人操作的统一能力视角 10-22 SP-HLM:稀疏姿态驱动的人形机器人运动生成与全身控制 10-22 REACT:VLM 引导的接触重定向与人形机器人交互策略 10-22 SimpleICL:简化情境内机器人操控学习 10-10 SuperNav:面向任意场景与任务的智能体导航系统 10-10 PanoVLN:高效全景视觉语言导航 10-01 PackLab:机器人料箱装箱多模态模型综合框架 09-25 RoboDawn:将视觉语言模型智能迁移至机器人控制 09-23 出行预测 1 多智能体主动采集与天气敏感出行需求预测 08-21 动作生成 1 北京大学提出检索增强文本动作生成框架 ReMoMask 12-31 动态操控 1 Reflex:面向反应关键型操作的快速预测式 VLA 模型 08-17 医学影像分析 1 GPT-5医学影像推理与理解准确率超过人类专家 12-31 医疗人工智能 3 GProtoT:零支持医疗视觉语言模型的门控原型迁移 10-21 X-Ragent:工具增强强化学习驱动的胸部 X 光证据推理 10-18 真·全民 AI 健康管家来了!实测蚂蚁 AQ 07-01 医疗人工智能评测 5 System 1 模型在医疗决策中的价值与局限 10-23 多模态 LLM 零样本筛查低分辨率热成像视频中的跌倒事件 10-22 超越基准分数:胸片结核筛查视觉语言模型审计 09-21 MedXpertQA:专家级医学知识与高级推理评估基准 12-31 VQA-RAD医学视觉问答测试集 12-31 医疗健康数据 1 用表格扩散 Transformer 生成基准健康数据 08-17 反馈规划 1 WeaveData:自批判与自演化规划的多模态数据分析系统 09-30 可信推理 1 MOCC-R1:强化多模态心理咨询的推理—回复一致性 09-16 同声传译 1 SeqPO-SiMT:序贯策略优化让同传性能直逼离线翻译 07-01 响应对齐 1 PatternEval:混合思考多模态模型的响应行为对齐 08-24 因果推理 1 VepAgent:工具增强强化学习驱动的视频事件预测 10-09 图像取证 1 智能体图像取证中的分诊、提示与证据仲裁 09-22 图像生成 4 LLaDA-Image:全开放训练方案打造强大图像生成器 09-07 GenFirst:先生成后重建的稳定端到端潜在生成建模 09-02 国产统一图像生成模型 OmniGen 2.0 发布,理解与生成质量双提升 12-31 字节发布多主体可控生成模型 XVerse 07-03 图像编辑 5 LayerEditor:将图像编辑为可复用 RGBA 图层 10-24 MT Forcing:自回归扩散实现稳定一致的多轮图像编辑 10-21 PrismGPT:代理任务引导的区域感知照片编辑 09-22 Mi-Ripple:修复迭代式 AI 编辑造成的图像涟漪伪影 09-13 Black Forest Labs 开源图像编辑模型 FLUX.1 Kontext[dev] 07-01 图像评测 1 MMMG:面向文本到图像推理的大规模多学科多层级生成基准 06-13 图像重排序 1 EviRank:以结构化证据提升多模态图像重排序 08-25 图形用户界面探索 1 ScreenExplorer:基于好奇心机制自主探索 GUI 的视觉语言智能体 06-28 图形用户界面纠错 1 GUI-Critic-R1:为GUI智能体操作加上“紧急刹车” 06-18 在策略蒸馏 8 策略内自训练:无数据监督的语言模型自我改进 10-27 在策略蒸馏会继承视觉语言教师模型的失败模式 10-18 SpatialOPSD:从可验证编码智能体轨迹中自蒸馏空间智能 10-10 更少数据、更佳时机:面向时序视频定位的学生-课程耦合在策略蒸馏 10-01 MT-OPSD:面向多轮图像编辑的在策略自蒸馏 09-30 EAD:证据对齐的多模态在策略自蒸馏 09-30 BAS-OPD:预算感知的选择性在策略自蒸馏 09-23 OPD-Aha:以视觉反思纠正多模态在策略蒸馏中的语言惯性 09-16 基因组模型 1 Hugging Face 发布 DNA-语言模型 Carbon-X 10-25 基础模型 1 中国移动发布九天基础大模型3.0,性能提升35% 07-26 多样性评测 1 用多样性剖面评估 AI 生成内容 08-19 多模态学习 28 离散视觉词元可实现语义无损的视觉表示 10-29 GAFU:解锁统一多模态模型的细粒度视觉理解 10-24 FocusGUI:专注感知的全模态 GUI 智能体 10-22 YingLan:异构海洋观测统一表征的多模态基础模型 10-22 计算机视觉与知识增强语言模型辅助智能养蜂 10-22 SepGen:单模型多声部音视频分离与生成 10-18 MSP:无需跨模态配对数据的模态自博弈训练 10-18 MetaEncoder:面向多模态系统一决策的自然语言双编码器 10-10 视觉语言预训练中的合成困难负样本:SNAP 10-08 RGBD20K:大规模 RGB-D 语义分割基准 09-26 Ovis-Embedding:统一文本、图像、视频与音频的全模态嵌入 09-24 OmniVChat:原生音视频对话的数据合成、评测与强化学习 09-22 FLAT:灵活长度对齐的跨模态表征统一检索与生成 09-17 视频与音频生成驱动的零样本力感知机器人操作 09-17 SenseNova-U1.5:原生统一视觉智能模型 09-13 Motion-Omni:联合生成对话语音与全身动作 09-08 音视频模型中的注意力三角与语义泄漏 09-08 像素文本表示学习的设计基础与 Pixel Linguist II 09-07 KBMR:面向知识型视觉问答的实体对齐检索 09-07 NeoMME:高效微调与推理的单塔多模态多语言编码器 09-07 原生统一多模态模型的理解-生成协同机制 09-03 面向指代表达分割与视觉定位的低成本主动学习 09-01 智谱开源多模态模型 GLM-4.5V 12-31 GLM-4.5V:视觉多模态能力达到开源 SOTA 12-31 阶跃星辰发布多模态旗舰基座模型 Step 3 12-31 阿里发布多模态模型 Qwen-VLo 06-30 快手开源视频理解大模型 Keye-VL 06-27 CPGD:仅用数学训练,跨学科推理超越 o1并缓解强化学习训练崩溃 06-24 多模态推理 14 DirCast:单一流式视频语言模型实时完成电竞导播与解说 10-27 VAMR:面向长视频理解的多问题智能体推理 10-10 OmniReasoning:音视频联合推理基准、数据引擎与自蒸馏方法 10-08 TPAE:词元级感知扎根优势估计强化多模态推理 10-01 DLR:强化视觉语言模型的隐空间推理 09-28 OmniEcho:面向具身智能体的空间音频理解 09-26 AVTrace:诊断 Omni 模型的音视频时序推理能力 09-18 Omni-Streaming Thinking:全流式多模态思维 09-16 OCR-MetaReasoning:文本密集图像元推理评测基准 09-01 CoRGI:以视觉证据验证思维链的多模态推理框架 08-05 智谱开源 GLM-4.1V-9B-Thinking:9B 参数模型斩获 23 项 SOTA 07-03 推理越多,幻觉越重?多模态推理模型的「幻觉悖论」 06-26 GRPO-CARE:面向多模态推理的一致性感知强化学习 06-24 香港中文大学 MMLab 发布多模态数学推理方案 MINT-CoT 06-17 多模态搜索 1 MMSearch-R1:激励大型多模态模型自主搜索 06-26 多模态证明 1 MATP-BENCH:多模态大模型能否成为自动定理证明器? 07-17 多跳推理 1 Rex-Thinker:基于思维链的指代物体检测模型 07-01 多轮验证 1 Gemini 2.5 Pro结合多轮验证框架系统拆解IMO解题方法 12-31 奖励建模 3 Think Before You Score:用于视觉生成的思考型奖励模型 10-01 转写、翻译与优化:语音翻译的联合奖励学习 09-23 通才奖励模型:从大型语言模型中发现内生奖励 06-29 奖励机制设计 3 AesCode:以解耦跨模态奖励生成美学代码 10-18 自适应奖励路由:音视频联合扩散的动态多奖励优化 10-08 RULER:面向 SVG 生成的实例感知量规奖励 09-24 奖励模型评测 2 ROBORMBENCH:视觉语言奖励模型的释义脆弱性 09-07 Agent-RewardBench:面向现实世界多模态智能体的统一奖励建模基准 06-27 学术搜索 1 TRACE:面向 LitTraceQA 的目标感知检索与契约约束抽取 10-01 安全评测 2 RISE:迭代策略演化驱动的文生图红队测试 09-30 MM-IFEval-Pro:多语言抗攻击视觉语言模型指令遵循基准 09-07 对话者建模 1 代理对代理心智理论:测试大语言模型的对话者意识 07-01 工具调用 1 OpenVLHarness:以多模态记忆增强真实世界视觉智能体工具使用 10-21 并行推理 1 CoRAL:混合扩散—自回归高效多模态推理框架 10-22 幻觉检测 2 REVE:复用编码器状态高效纠正音频语言模型幻觉 09-23 SHROOM-Visions 2026:大视觉语言模型幻觉检测共享任务 08-27 开放式推理 1 PuzzleWorld:面向益智寻谜的多模态开放式推理基准 06-10 开源模型 1 千问、智谱开源低价新模型,Qwen4 架构提前亮相 08-27 引导生成 1 ICML 2025 Spotlight:流匹配模型的能量引导生成理论框架 06-30 强化学习 2 MiMo-V2.6:规模化强化学习推动模型自我改进 10-09 Magistral:Mistral 首个推理模型与可扩展强化学习管线 06-13 强化学习后训练 1 OraRL:将标注作为视频 MLLM 的神谕轨迹 08-27 形式化证明 2 MATT-BENCH:多模态大模型能否成为优秀的自动定理证明器? 12-31 MATP-BENCH:多模态大模型自动定理证明正确率仅约4% 06-18 心智理论 1 SoMi-ToM:评估具身社会互动中的多视角心智理论 06-29 思维链 1 TAME:用激活约束抑制视觉语言模型的思维链混淆 09-22 技术趋势分析 1 无需外部数据!AI自问自答实现推理能力进化 12-31 技能演化 5 VisualEvolve:视觉推理技能自进化框架 10-21 EvolvingBrain:面向开放世界多模态智能体的自进化技能系统 10-18 ViSkill:以演化式视觉原生技能强化 VLM 智能体 10-09 SkillRubric:多模态智能体的技能指导与评估规则协同演化 09-30 OmniHarness:视觉智能体自主练习与跨视频经验迁移 09-18 技能生成 1 Work2Skill:从人类 GUI 操作中归纳可复用智能体技能 10-18 拒答评测 1 TRAPSBench:视觉语言模型能识别不确定性,却不会克制回答 08-16 持续后训练 1 VDA:面向多模态无监督持续后训练的视觉依赖框架 08-27 持续学习 4 日文金融文档多模态基础模型的分阶段持续适应 10-21 COMET:面向任务无关持续视觉语言学习的解耦蒸馏、路由与容量控制 10-19 CART:面向多模态持续指令微调的兼容路由 10-18 ReDraft:参考驱动修订缓解持续多模态后训练遗忘 09-16 指令数据合成 1 UniData:通用多模态指令生成流水线 10-10 推理优化 2 VC-Attention:低比特注意力的数值平滑与 Softmax 转换 09-18 NoWait:移除“等待”等思考标记可提升推理效率 06-12 推理效率 8 文心 Unlimited OCR 2 开源:KV 缓存降低 96% 10-29 VisionWeave:弹性视觉表征编织提升 MLLM 推理效率 10-18 VideoJev:面向视频理解与交互的 System One 模型 10-18 Intern-Decision:基于自回归掩码语言建模的高效多模态决策 10-18 SSR 将智能体推理改为结构化选择,延迟降低超 90% 10-18 SSR:基于选择的高效多模态搜索智能体推理 10-08 解耦早退实现流匹配 VLA 的任务自适应算力分配 09-26 MCPO:多模态思维链的模态对比偏好优化与压缩 09-07 推理评测 1 MMReason:面向 AGI 的开放式多模态多步骤推理基准 07-01 提示优化 2 Claude Opus 5.5 提示词指南与 Opus 5 迁移模式 09-29 WanPE:面向文本生成视频的电影级提示词增强 09-26 插件架构 1 DeepSeek Harness 开源:以插件化框架组装智能体 08-14 操作学习 1 BridgeVLA:基于2D热图的高效3D机器人操作学习模型 06-27 数学推理 1 Voice of Reason:强化学习提升语音数学推理 09-17 数据合成 9 PrismaCoder:分解式评分标准驱动开放多模态代码智能 10-23 ZoomCap:证据路由视觉缩放实现可恢复视觉信息迁移 10-18 TimeCap:可扩展的可穿戴健康时序数据标注流水线 10-18 Wavelet Flow Matching:面向多变量时间序列的生成方法 10-01 FoMo:以扩散轨迹分岔时刻度量图像感知距离 09-29 面向5G CSI增强的结构化姿态条件流匹配 09-26 InfiNoVA:面向视点不变机器人策略的无限新视角增强 09-24 RailGen:智能体引导的铁路小型异物生成与检测 09-01 Code2Logic:游戏代码驱动的多模态推理数据合成 09-23 数据开放 1 EgoSuite-Open100K:10万小时人类行为数据开源 08-25 数据混合 2 合成与真实数据结合的低资源满文历史OCR 09-11 难度感知数据策展缩小文档 VLM 成本与质量差距 09-02 数据策展 3 近重复图像选择可在视觉语言模型间传递偏好 10-21 D-RAC:面向企业文档的检索感知分块 09-23 WeVisDoc:面向稳健端到端文档解析的两阶段数据框架 09-19 数据自演化 2 程序验证驱动的视觉语言模型自进化 09-29 VISA:面向多模态指令遵循的智能体自演化数据合成 08-27 数据课程 1 面向通用图像生成的能力中心化数据设计 08-19 文档解析 1 EasyDoc:一句 Prompt 生成 Python 文档解析调用代码 12-31 文档问答 1 港大开源 RAG-Anything:全模态 RAG 统一理解复杂文档 06-27 无监督训练 1 MM-UPT:基于 GRPO 的多模态大模型无监督持续自我改进框架 05-28 时序感知 1 StreamPI:让单帧 VLA 模型具备流式时序推理能力 08-28 智能体框架 8 ReDence:面向社会工程诈骗的证据驱动混合智能体框架 10-23 Mistral 发布 Voxtral 3 语音 Agent SDK 10-22 VISTA:面向交互式视觉推理的原生 Harness 框架 10-18 Omni-IO Skills:让智能体原生支持全模态任务 10-01 Realtime-Venus:支持前后台异步并行的9B全双工智能体 09-25 纯 Go 智能体框架 Covonaut v1.1.4 发布 09-22 Gander:全双工多模态交互智能体技术报告 09-10 首个开源多模态 Deep Research 智能体,超越多个闭源方案 12-31 智能体网络 1 Agentic Web:由 AI 智能体驱动的下一代互联网生态 12-31 智能体自进化 2 Easel:反馈驱动的自进化社媒智能体 09-16 UI-Genie:面向移动端 GUI 智能体的自改进框架 05-28 智能体训练 1 MintAct:面向数字环境的统一视觉智能体 09-22 智能体评测 17 VibeVideoBench:代码驱动视频生成的多模态智能体评测 10-29 Gym-Anything-RT:视觉语言智能体实时交互评测基准 10-29 Dual Exam:多模态智能体与世界模型的受控评估 10-27 MMEnterprise-Bench:演化多模态记录下的企业智能体评测 10-21 Realtime-Bench:前沿模型实时交互能力评测 10-18 HyperBrowseComp:网页浏览智能体的多语言多模态压力测试 10-08 RobotWorld:跨任务与多机器人形态的多模态智能体评测基准 10-08 DUDA-Bench:多模态数据驱动城市诊断智能体基准 10-08 WebMRE:多模态 Web 智能体中指南与动作的相互强化 09-24 ReFigBench:可编辑 PowerPoint 科学图重建评测 09-17 DroneCATS:评估多模态 LLM 的通用无人机控制能力 09-03 MNIST-PRO:面向部分可观测智能体的感知状态评测 09-01 BrowseComp-VL:面向跨模态研究任务的视觉语言评测基准 12-31 AI Agent 评测的四大演进趋势 12-31 ScienceBoard:面向真实科学工作流的多模态智能体评测环境 06-27 基于LLM的人工智能代理评估的进化视角:全面综述 06-16 EconWebArena:现实 Web 环境中的经济任务自治智能体评测基准 06-12 智能眼镜 1 从观察到行动:智能眼镜迈向第一人称智能平台 08-27 本地智能体 1 Meta 开源本地多模态智能体模型 Muse Glimmer 30B 08-25 模型发布 29 OpenAI 发布 GPT-6.1 Terra:电脑操作能力比肩 Astra,成本降至十分之一 10-29 Qwen-Audio-3.1-ASR 技术报告 10-22 Gemini 4 Carbon 进入 LMArena 盲测 10-22 英伟达开源模型扩展至自动驾驶、蛋白设计与量子计算 10-22 蚂蚁集团开源 Ming-3.0-tts 登顶两项 TTS 评测 10-22 OpenAI 推出 GPT-Rosalind 生物学模型学术计划 10-18 Google 发布 Gemini 4 Argon 前沿模型 10-08 Mistral发布万亿参数旗舰模型Large 4 10-08 Liquid AI 开源端侧决策模型 d1-3B 与 d1-omni-600M 10-08 Intern-Decision开源:多模态实时决策性能超越Jev 09-29 小米开源全模态模型 MiMo-V2.6,以大规模 RL 探索 RSI 09-23 小米开源 MiMo-V2.6 全模态模型,扩展强化学习探索 RSI 09-22 阶跃星辰发布MoE旗舰模型Step 5 Preview 09-21 StepAudio 3 Realtime:实时全双工语音基础模型 09-17 StepAudio 3 Gen 通用音频生成模型技术报告 09-15 上海 AI Lab 开源多模态基础模型书生-S2 09-15 上海 AI Lab 开源多模态基础模型书生-S2 09-15 DeepSeek V4.1 Flash 正式发布 09-13 蚂蚁开源原生多模态模型 Ling-3.0-flash-VL 09-10 OpenAI发布GPT-6 Astra,首批内测展示智能体与科研能力 09-07 UI-Venus-2:跨移动端、Web 与桌面的通用 GUI 智能体 09-03 DeepSeek-V4-Flash-Vision-Exp 多模态模型开源 09-01 智谱开源原生多模态模型 GLM-5.3 Flash 08-27 GLM-5.3-Flash 开源:低成本原生多模态前沿模型 08-26 DeepSeek Harness v0.1.0-rc.8 增强多模态与子代理能力 08-21 Qwen3.8-27B开源:消费级显卡可运行“Opus级”Agent 08-16 Kimi K3:开放前沿智能模型 08-07 OpenAI 发布 GPT-5 系列模型 08-07 小红书开源首个多模态大模型 dots.vlm1,性能直追 SOTA 07-02 模型可靠性 3 Omni-Woodpecker:证据先验重平衡纠正跨模态幻觉 10-27 CORA:查询改写下文本-音频检索的边界鲁棒性诊断 09-29 CoTS:温度缩放校准测试时提示调优 09-16 模型微调 2 BrainLoRA:参数高效微调扩展脑编码 10-21 MokA:面向多模态大模型的低秩适配微调新范式 06-30 模型架构创新 1 Qwen-Audio-Jev:统一高效的音频决策接口 10-18 模型训练 1 dots.vlm1:自研 NaViT 编码器与 DeepSeek V3 组成的多模态模型 12-31 模型评测 3 CADET:用因果任务分解诊断多模态大模型能力失效 10-01 RoleBreak:长程语音角色扮演鲁棒性评测基准 09-16 dots.vlm1在多项多模态任务中表现突出 12-31 模型路由 4 OpenAI 发布 Decisions API,面向低延迟低成本决策 10-23 Liquid AI发布多模态决策模型d1-ultra,零输出Token成本登顶决策榜 10-18 OpenAI Decisions API 开放公测,决策速度最高提升 10 倍 10-08 GPT-6 Luna Decisions 上架 OpenRouter 10-08 模型轻量化 3 pplx-embed-v2-late:多模态后期交互检索模型 10-22 GeoPair:免训练 Transformer 保几何跨层压缩 09-25 X-AuT:跨尺度蒸馏驱动的语音 LLM 音频编码器渐进压缩 09-13 泛化机制 1 同策略蒸馏泛化的双重效应:行为迁移与能力跷跷板 08-18 测试时优化 2 Token 解耦的视觉语言潜空间测试时扩展 09-30 MASA:以稀疏 MLLM 语义锚点实现密集测试时适应 09-16 测试时对齐 1 ReFrame:证据引导的多模态模型测试时安全对齐 08-24 测试时训练 1 TTRSD:视觉语言模型的测试时强化学习与自蒸馏 09-29 深度研究智能体 1 WebWatcher:面向高难度多模态深度研究的智能体方案 12-31 游戏推理 3 GameHorizon:多时间跨度游戏数据与评测套件 09-22 ViGaL:仅通过游戏强化学习提升多模态推理能力 06-25 ViGaL:用街机游戏训练多模态模型的跨领域推理能力 06-18 游戏生成 1 ViGaL:以游戏化合成任务培养通用多模态推理能力 12-31 潜在表征 1 Scaffolding Minds:优化多模态推理的潜在视觉目标表征 08-21 物理仿真 1 Genesis:面向具身 AI 的生成式物理引擎 12-31 盲法评测 1 匿名模型 Ox Alpha 刷屏,代码能力逼近头部模型 08-23 科研平台 2 磐石·智研决策平台 SciencePro 全面开放 09-18 深势科技发布玻尔·科学空间,AI接管科研全流程 08-22 科研智能体 3 SynAgent:多模态智能体驱动的假设式自主材料合成 09-17 OmniScientist:全模态跨学科 AI 科学家 08-16 Intern-S2-Preview:科学智能体基础模型 08-15 科研评测 4 SciDocBench:面向科学文档理解工作流的评测基准与数据管线 09-07 ScienceArena:最新科学奥赛大模型评测基准 09-01 SciArena:面向科学文献任务的开放式基础模型评估平台 07-02 科学家的第一次考试:通过感知、理解与推理评测多模态大模型的科学认知能力 06-13 程序修复 1 WebLoop:面向网页生成的执行反馈闭环学习 10-10 稠密匹配 1 FreeMatching:超越时空先验的可泛化稠密对应匹配 10-18 空间推理 1 密室逃脱成 AI 新考场:通关率不足 50%,暴露空间推理短板 07-17 空间认知 1 MindCube:从有限视图构建空间心智模型 06-27 空间记忆 1 Spatial Memory Agent:基于经验程序记忆的空间智能 08-15 端侧模型 3 Liquid AI 发布 6 款 LFM3 端侧模型,2B 视觉模型追平 12B 10-29 谷歌开源端侧多模态模型 Gemma 3n,最低仅需 2GB 显存 06-28 Google DeepMind 发布端侧 VLA 模型 Gemini Robotics On-Device 06-26 端侧记忆 1 MobileMem:从一年移动端经历中学习长期记忆 08-17 策略优化 1 PoEM:从现有策略预测强化学习结果 09-25 算法比较 1 DPO 与 GRPO 在自回归图像生成中的系统性对比 06-20 系统优化 3 OrbitWeaver:星载中断下的视觉语言推理恢复 10-22 RayOrch:血缘可控的多粒度基础模型数据流引擎 09-29 DeepSeek-V4.1-Flash:突破 KV Cache 压缩极限 09-19 经验学习 1 冻结模型通过部署经验持续演化多模态医疗能力 10-08 统一多模态建模 1 OpenUni:1.1B 参数统一多模态模型媲美 BLIP3-o-8B 06-23 统一框架 1 多模态统一框架的设计与规模化训练挑战 12-31 统一表征 1 UniSpace:统一视觉表示支持多模态理解、生成与编辑 08-25 缓存优化 1 EdgeRock-4B:固定内存长推理,KV Cache削减99.1% 10-21 缩放定律 1 无视觉编码器多模态预训练的缩放定律 09-30 置信度评估 1 校准置信度的幻象:视觉语言模型置信度与推理轨迹脱节 09-17 肌电数据采集 1 OriginFlow以神经肌电构建具身智能Human Tokens 08-23 能力迁移 1 机器人零样本泛化:以数据多样性突破规模瓶颈 10-22 脚手架优化 2 AutoRef:智能体多参考图像生成的脚手架优化 09-30 AutoDesign:面向长程智能体设计的元脚手架优化 08-15 脚手架演化 2 ChartEvo:面向长尾图表推理的自演化智能体脚手架 10-21 CoWorld Reasoner:视频世界模型驱动的智能体多模态推理 10-18 自动化科学研究 1 微软发布 Quine,加速抗癌药物筛选 09-30 自动化评测 1 文本、视觉和语音生成自动评估方法综述 06-13 自我反思 2 UMM-Reflection:交错强化学习赋予统一模型原生反思能力 09-30 RetroThinker:让语音大模型实现回溯式思考 09-11 自我改进 1 MiMo-V2.6:扩展强化学习计算迈向模型自我改进 10-18 表征对齐 1 何恺明改进 REPA:大幅简化方法并保持强劲性能 06-13 规则规划 1 RuleMaze:多模态模型的规则约束视觉空间规划 08-21 视觉导航 1 VLN-R1:基于第一人称视觉的连续具身导航 06-26 视觉异常检测 1 AnomalyAgent:视觉语言模型驱动的视觉异常检测集成 10-22 视觉归因 1 SSI:多光谱图像的光谱—空间联合归因 10-23 视觉推理 27 ChronoReplay:异构时序回放缓解空间 VLM 接口锁定 10-29 视频 RLVR 中的捷径放大与感知不确定性坍缩 10-29 Spatial-TRM:递归细化空间上下文区域预测 10-19 MJev-Spatial:原生注意力匹配实现系统一空间智能 10-18 GroundAnything:并行扩散解码实现高速精准视觉定位 10-18 SpatialASM:将主动空间心智化内化至视觉语言模型 10-18 S-Space:多模态语言模型的内部空间工作区 10-18 HSS基准揭示多模态模型的视觉直觉短板 10-18 GeoReform:面向多模态几何推理的反思式形式化演化 10-09 NAT-ARC:自然图像预训练迁移至ARC视觉推理 10-01 ReaLVR:以视觉证据约束潜空间视觉推理 09-30 谁在谁的左边?相对位置推理中的空间证据追踪与角色绑定 09-30 SpatialSpeak:融合局部与全局重建的空间思维链推理 09-29 AI在门萨图形推理测试中触及151分理论上限 09-26 PixelJev:从文本决策到像素级视觉选择 09-26 Spatial-Interactor:通过物理交互学习空间推理 09-25 VLM-in-Sandbox:面向智能体视觉推理的可控视觉工作区 09-22 Circuit-MLLM:拓扑逻辑引导的电路图视觉推理 09-15 SpatialBlock:合成积木堆叠任务增强 LVLM 空间智能 09-13 MindTopo:基础模型拓扑空间推理与规划评测 09-11 TempCloze:Video-LLM 能否识别视频缺失的中间片段? 09-02 LOCI:定位器-批评器视觉证据迭代框架 09-01 VBVR-Pro:可扩展、可验证的原生视觉推理套件 08-27 ViLaSR-7B:通过“边画边想”学习人类式空间推理 06-23 CaughtCheating:多模态大模型能否成为优秀的作弊侦探? 06-23 SynthRL:以可验证数据合成扩展视觉推理 06-04 SynthRL:通过可验证的数据合成扩展视觉推理 06-03 视觉模型 4 WeVisOne-VL:统一物体级与像素级视觉感知 10-24 大模型时代,通用视觉模型将何去何从? 12-31 清华鲁继文团队综述通用视觉模型研究进展 12-31 纯视觉范式下的通用视觉模型研究回顾与总结 07-03 视觉生成 2 清华、字节提出 PAROAttention:Token 重排实现 5 倍稀疏与 4 比特量化 07-01 GoT-R1:强化学习解锁多模态视觉生成推理新范式 06-26 视觉脚手架 1 渐进式视觉脚手如何提升 VLM 空间推理 08-24 视觉语言模型 1 小红书人文智能实验室开源视觉语言模型 dots.vlm1 08-06 视觉通才模型 1 视觉通用模型综述(Vision Generalist Model: A Survey) 12-31 视频到音频生成 1 Kling-Foley:为视频生成音画同步的高质量立体声 06-28 视频数据 2 多机构联合推出持续迭代的视频数据集项目 Sekai 12-31 浙大开源UltraVideo超高清视频数据集,推动原生4K视频生成 07-02 视频理解 1 微软推出长视频探索智能体 Deep Video Discovery 07-01 视频生成 25 WorldCast:大角度相机控制下的世界一致角色视频生成 10-29 FAPL:让 MLLM 潜变量驱动电影级视频生成 10-24 FCP:面向未来演化建模的自回归视频生成 10-23 SolarRenderer:四步结构条件视频渲染 10-22 VIS-Ground:基于上下文 Grounding 的视频交互式叙事 10-18 StereoBind:学习动态空间对应关系的沉浸式立体视频-音频生成 10-18 GRACE:生成感知潜在压缩加速视频生成 10-09 DuoMatching:联合边缘分布匹配提升少步视频生成 10-08 Kandinsky 6.0:同步音视频生成基础模型 10-08 FrameMorrow:以前瞻性标记引导长时程视频帧选择 10-08 VideoGen-Agent:强化学习驱动的视频生成智能体 09-23 OmniVBench:全能参考图到视频生成基准与大规模数据集 09-22 LynnReal-Omni:面向智能体视觉工作流的原生多模态视频生成 09-16 DreamX-Creator:普惠化原生 2K 音视频联合生成 09-02 LayerRecall:提升视频生成长时域一致性的状态条件记忆路由器 09-01 MuseSteamer登顶VBench图生视频榜单 12-31 HeyGen:AI 数字人视频生成工具 12-31 Topview:一键生成数字人带货视频 12-31 字节跳动开源轨迹可控视频生成框架 ATI 07-03 百度搜索十年来最大改版,MuseSteamer 与 AI 视频平台「绘想」上线 07-03 HeyGen:一键生成多语言数字人视频 07-03 DraftAttention:无需训练的视频扩散模型动态稀疏注意力加速方法 06-30 向量化时间步:极低成本微调大规模预训练视频扩散模型 06-20 MiniMax 发布海螺 2.0,原生支持 1080P 06-19 稀疏蒸馏实现 H200 单卡 5 秒生成视频,去噪提速 70 倍 05-19 视频评测 1 Video-IFBench:评估视频理解中的指令遵循能力 08-28 计算机控制 1 Cradle:赋能基础智能体实现通用计算机控制 07-18 训练系统 1 Rollplex:VLM 后训练的跨阶段 GPU 空间共享 08-17 记忆能力评测 5 MOSAIC:全模态对话智能体长期记忆与跨模态推理基准 10-22 WorldMemArena:面向真实交互的多模态智能体记忆评测 10-21 VoxMem:多会话语音记忆评测基准 10-10 ReTurn:多模态多轮交互中的选择性历史使用评测 10-09 VoxMem:大型音频语言模型多模态记忆评测基准 10-01 证据仲裁 1 文本与数字冲突时:大模型的证据仲裁 08-21 评测基准 12 AV-FABLE:长视频视听篡改取证基准 10-29 CodeCap-Bench:以可执行代码表征视频内容 10-29 OSynth:面向纵向上下文的会议理解评测 10-22 OmniCompass:全模态视频定位与理解综合基准 10-18 P³IBench:真实场景主动视频助手评测 10-18 UltraText Bench:双语视觉文本渲染评测基准 10-09 Perception Test 2026:城市级音视频空间推理挑战 10-09 VA-Bench:大模型空间理解与具身执行存在明显断层 10-08 BVB:以 Blender 程序化重建评测智能体视频理解 09-16 ReGround:将审稿意见定位到多模态论文证据 09-11 Last Translation Benchmark:机器翻译极限评测基准 09-07 LLM 评测基准综述与多模态推理新基准 10-23 评测审计 2 推理指令会破坏视觉语言模型的答案解码 09-26 CLASH:口语讽刺检测中的词汇与韵律依赖反事实审计 09-16 语义表征 1 AI 语言表征中虚假与不可能性方向不同 08-16 语音-文本冲突 1 文本误导下的音频扎根对话推理 08-28 语音模型 1 首个全面梳理语音大模型发展脉络的权威综述入选 ACL 2025 主会 06-18 谜题生成 1 GenEscape:分层多智能体生成密室逃脱谜题 06-27 资源图谱 1 LLM强化学习环境与开源训练框架资源图谱 12-31 跨模态一致性 1 语音与文本输入下多模态模型的跨模态不稳定性 08-28 跨模态对齐 1 LIFT:冻结LLM文本编码器,准确率超CLIP 11% 07-03 过程奖励模型 1 BayesianPRM:可靠性与保守性感知的过程奖励建模 10-19 过程评测 1 从原子能力到智能体:可解释评测 LLM 数学智能体能力 08-29 连续推理 1 Continual Reasoning Gym:持续 RLVR 中的共享推理与提示回放 08-20 递归自我改进 4 The Trinity:能力驱动的多模态智能体递归自我改进 10-29 OXR 1.3B 开源:文档解析三榜第一并引入 RSI 训练 10-29 EvoAudio:音频理解的递归自我改进 09-24 Qwen4启动训练,阿里公布10万亿参数模型路线 09-22 长期记忆 13 WholeBodyMem:面向人形机器人操作的目标前历史记忆 10-25 MHG-Mem:保留证据溯源的多模态超图记忆 10-22 看见、维护与学习:多模态智能体记忆的演进 10-18 MaLoW:将流式视频长期历史内化为权重 10-18 LTM:面向视觉-语言-动作模型的潜在转移上下文记忆 10-18 FLOWMEM:重组与精炼 VLA 模型的潜在推理流 10-09 OneStreamer:统一流式视频感知、记忆与主动响应 10-08 MemLife:面向长期第一人称视频的记忆策展与推理 10-01 C3M:面向长程任务的跨会话多模态记忆维护 09-25 MemBodied:视觉-语言-动作模型的循环联想记忆 09-24 EnSIMem:面向智能体长期记忆的实体结构化索引 09-24 LatentStream:流式视频理解的渐进式潜在记忆演化 09-07 EgoMonth:月级第一视角视频长期时空记忆基准 08-16 长程任务执行 1 OneDayAgent:面向自主智能体的长程执行框架 08-07 长视频理解 1 HoPE 混合位置编码提升视觉语言模型的长度泛化能力 06-30 音乐生成 2 YuE2:统一符号规划与音频音乐生成 09-30 StepAudio 3 Music:支持显式规划的长篇音乐生成模型 09-17 音频混音 1 MixAgent:智能体音乐后期制作与混音修复 10-22 音频理解 1 小米开源 MiDashengLM-7B,声音理解能力刷新 SOTA 12-31 音频生成 1 阿里通义开源首个 CoT 泛音频生成模型 ThinkSound 07-02 预算分配 1 轻量多模态模型估计 LLM 推理表现,实现文档推理预算优化 08-20 领域微调 1 ICML 2025 Spotlight|清华朱军组与 NVIDIA 提出 DDO,革新扩散与自回归模型训练 07-02 领域研究综述 1 基础模型时代的人本智能综述 08-24 风格评测 1 风格还是签名?艺术家隔离的绘画风格分类评测 08-17