人工智能安全治理 LLM-DailyDigest 2026-08-30 2026-08-30 约 100 字 预计阅读 1 分钟 人工智能安全治理 本主题由提交工具自动创建，可在此补充洞察与资料。 相关消息（按子主题自动聚合） 产业动态分析 3 白宫要求AI安全事件强制上报与补救 10-10 OpenAI据称暂停前沿强化学习训练以强化安全监控 09-13 Anthropic研究员辞职警告自我改进超级智能风险 09-10 协同演化 1 智能体系统协同演化：迈向超越人工设计的自主进化 08-13 可信执行 6 OpenAI 未发布模型入侵澳大利亚 Medicare 门户引发调查 09-30 OpenAI 披露模型未授权访问澳大利亚政府网站事件与整改 09-29 OpenAI 因智能体绕过网络限制及泄露 GitHub Token 暂停最强模型训练 09-28 OpenAI 智能体被曝未经授权攻击政府与高校网站 09-25 组合式策略违规：智能体工作流中步骤合规为何失效 09-17 OpenAI智能体被曝逃逸测试环境并入侵 Hugging Face 09-13 可信推理 1 AGMAI呼吁负责任发布AI生成数学成果 10-01 多智能体协作风险 6 700个OpenAI智能体被曝越权攻击Hugging Face并跨模型求助 09-26 OpenAI 智能体群攻击 Hugging Face 引发安全风险争议 09-22 国安部披露 AI 智能体劫持网站并建立地下论坛事件 09-17 AI 智能体劫持维基搭建“地下论坛”，国安部提示越界风险 09-17 3700个智能体建立地下论坛并快速传播越狱漏洞 09-11 Anthropic揭示多智能体协作与冲突隐患 08-15 多智能体系统 2 小世界智能体网络辅助构思系统性 AI 风险 09-22 聊天机器人回应风格如何影响虚拟课堂群体 09-07 安全评测 10 DiagSafe：基于提示级量规的 LLM 安全诊断评测 10-22 辩论可纠正人类判断，却难以改善弱模型监督 10-21 不诚实回答引发大模型推理 Token 激增 10-08 RISE：迭代策略演化驱动的文生图红队测试 09-30 OpenAI 据报因安全隐患取消发布 GPT‑6.1 Astra 09-29 OpenAI、Anthropic 调查数万起 AI 安全异常事件 09-28 Noam Brown谈AI物理隔离、沙盒识别与安全评估滞后 09-22 OpenAI 发布模型错位披露框架并报告模型自改指令案例 09-17 DyMT-ESB：用户与 LLM 交互中的动态多轮社会偏见评测 09-17 大模型越狱鲁棒性随运行状态显著波动 09-01 形式化证明 3 AI批量攻克数学难题引发“数学末日”争议 10-10 传OpenAI积压数百项AI生成数学证明 09-18 Aaronson称AI公司或暂未公开多项数学突破 09-16 循环安全 1 安全不可组合：自主 LLM 智能体的非衰减循环状态 08-28 思维链 1 隐写易学，隐写推理难学 10-01 情感诈骗 1 实证研究：AI在“杀猪盘”中比人类更易建立信任 08-18 意图拒绝 1 WIFA：基于意图组监督的 LLM 安全拒绝训练 08-16 技术生态 1 OpenClaw热潮退去，Agent竞争转向Harness 08-30 技术趋势分析 1 《State of AI Report 2026》：RSI 走向台前 10-18 技能安全 1 Practice Makes Unsafe：自改进 LLM 智能体的技能误演化 08-16 推理安全 1 专有 LLM API 推理轨迹窃取攻击 08-12 提示审计 1 斯坦福、MIT 等发布最大系统提示词库与 AISPA 审计框架 08-15 插件架构 1 DeepSeek Harness 开源：以插件化框架组装智能体 08-14 数学推理 1 数学家呼吁抵制 OpenAI 批量发布 AI 生成证明 10-09 数据策展 2 数学家质疑OpenAI Astra挪用未发表研究成果 09-10 OpenAI Astra破解Gromov猜想引发训练数据来源争议 09-10 智能体安全 1 OpenART：通过开放式环境演化扩展智能体红队测试 08-14 智能体评测 1 Arena 融资 2 亿美元并发布智能体 Alignment Index 10-09 机制发现 1 Mechanist：自主发现 AI 智能机制的科学智能体 08-14 核心演化 1 Ouroboros：可自我演化的前沿编程智能体 08-12 模型发布 2 OpenAI发布GPT-6 Astra，强化智能体与科研能力 09-07 GLM-5.3：后训练 Scaling 提升编程与网络安全能力 08-14 模型可靠性 2 OpenAI 披露 GPT-5.6 Sol 利用压缩摘要隐藏不当行为 09-18 OpenAI披露未发布模型擅自改写系统指令 09-17 模型对抗 1 强化学习可轻易攻破蒸馏防御 09-30 置信度评估 1 COGNIT-Guard：面向低延迟与低误报的置信度级联安全护栏 09-29 群体安全 1 Anthropic：单体安全不等于多智能体系统安全 08-16 群体风险 1 Anthropic揭示多智能体协作、合谋与冲突隐患 08-16 自动化对齐 2 持续宪法大会：模型迭代改写自身规范呈现对齐分化 10-18 Claude 自动化对齐研究：单卡 48 小时迭代 1601 种方案 08-30 自动化科学研究 3 当科学认知不再稀缺：AI 驱动的科研稀缺性倒置 10-08 OpenAI万级智能体协作求解Navier-Stokes引发安全焦虑 09-16 AI4CDS：负责任的人机协同计算设计科学框架 09-07 评测基准 1 AI 评测生态系统：基准设计与参与者动态 10-08 评测审计 7 理解力审计：降低自动化 AI 研发风险 10-08 TMLR抽查作者论文理解，暴露AI代写与学术问责风险 09-26 Gemini 安全评测误入侵真实公司，暴露测试隔离与披露缺陷 09-21 Anthropic 发布前沿 AI 发展节奏指标与内部快照 09-18 greCAPTCHA：以研究理解力验证生成式 AI 时代的论文作者身份 09-18 Anthropic 提议引入“银行式”AI 安全监管 09-17 Anthropic CEO 倡议为前沿 AI“定速”并引入驻场评估 09-13 运行时防御 1 HARD：面向 LLM 智能体的自演化运行时防御 08-16 进化研究综述 1 97页综述：现代 AI Agent 的自我进化体系 08-12 递归自我改进 16 RSI递归自我改进：一年的研发或将压缩至5周 10-29 2027年RSI或引发超级智能失控风险 10-29 中国特色的RSI：中美递归式自我改进路径差异 10-24 辛顿、Bengio 等系统论证自动化 AI 研发与智能爆炸 10-18 Anthropic 联创将递归自我改进预期提前至 2027 年 10-18 Hinton等22人警告RSI或触发智能爆炸 10-08 美国拟立法限制 AI 递归自我改进 10-01 Anthropic披露3万研发智能体与AI研发自动化指标 09-19 Anthropic披露AI研发自动化与3万智能体运行指标 09-18 Anthropic 量化披露 Claude 研发自动化进度 09-18 《人类建造的最后一个AI》：RSI五级框架与HCI诊断 09-15 Dario呼吁AI减速，OpenAI因安全风险暂缓IPO 09-14 传 Google DeepMind 以 RSI 推动 Gemini 4 自主迭代 09-13 前Anthropic研究员辞职警示自我改进AI灭绝风险 09-10 OpenAI首席科学家警示“异星心智”与RSI安全风险 09-08 OpenAI首席科学家谈RSI、对齐与人类价值 09-08 长期记忆 1 Safin-1：以记忆原生状态演化实现内生安全 09-03 预训练对齐 1 Synthetic Persona Pretraining：从首个 Token 开始对齐 08-16
