EvolveLLM

研究方向：大语言模型（LLM）的自我进化 / 自我改进——在尽量少依赖人工标注的前提下，让基础模型持续提升自身能力。与聚焦"推理"的 [[EvolveLRM]] 互补，覆盖更通用的基础模型自进化。

研究范畴

EvolveLLM 是关于大语言模型自我进化 / 自我改进的通用研究方向，涵盖：自生成数据 / 自指令、自我奖励与偏好学习（Self-Rewarding、RLAIF、迭代 DPO）、自我博弈（Self-Play）、自我精炼 / 自我纠正（Self-Refine、CRITIC）、推理时自我改进（ITSI），以及持续学习与遗忘。社区关注的核心问题包括：自我改进的边界（提升是否单调、是否存在上限或退化）、自我奖励 / 自评判的系统性偏差如何度量与缓解、合成数据与自迭代是否引发模型崩溃（model collapse）、持续学习中如何平衡新能力与灾难性遗忘，以及推理时自我改进（不重训）的可靠性与成本。

研究挑战

• 奖励作弊（reward hacking）与退化解。
• 偏差、幻觉与错误沿迭代累积。
• 自我进化系统的对齐、安全与可控性。
• 评测有效性：如何评估一个持续变化的系统。
• 算力与数据成本随迭代轮次膨胀。

自研项目

• EvolveLLM — 博士课题《Toward True ASI / 走向真正的 ASI》承载仓库，含开题材料与综述《大语言模型复杂推理的自我进化机制：研究综述与前沿展望》。
• Daily-Work-Log-Public — 公开个人工作日志：每日日志、LLM 学习笔记、工作记录、获奖与运动（中文撰写、英文 kebab-case 目录）。
• Daily-Work-Log-Private — 私有科研知识库 / 个人科研操作系统，以 AI 学术研究（LLM 逻辑推理、自进化、评估、RLVR、蒸馏、推理时计算）为主线，含草稿、方法论 SOP 与沟通记录。
• Dujinhua-wiki — 基于 MkDocs 的个人知识库 wiki。
• Dujinhua-wiki-Source — 上述 wiki 的源码仓库。
• MetaEvaluation — 元评测（meta-evaluation）相关仓库。
• AutoLLM — LLM 自动化相关仓库。

相关工作

代码 / 框架 / 资源仓库

• Awesome-Self-Improving-Agents — 基础模型智能体自我改进的精选清单（★347）
• Awesome-LLM-Self-Improvement — LLM 推理时自我改进（ITSI）论文与资源整理（★110）
• awesome-agent-evolution — 智能体进化 / 自进化 / 记忆系统的开放综述与证据图谱（★174）
• self-improvement-llm — 系统级自我改进语言模型技术整理

论文（经典与方法）

• A Survey on Self-Evolution of Large Language Models — LLM 自我进化方法综述（被引 996+）
• Self-Rewarding Language Models — LLM 作为自身裁判生成偏好数据自我改进（ICML 2024）
• Self-Play Fine-Tuning (SPIN) — 自我博弈微调，弱模型变强模型，无需额外人类标注（ICML 2024）
• Self-Refine: Iterative Refinement with Self-Feedback — 单模型自我反馈迭代精炼（NeurIPS 2023）
• Large Language Models Can Self-Improve — 仅用自身生成的推理作为训练信号实现自我改进（EMNLP 2023）
• CRITIC: Self-Correction with Tool-Interactive Critiquing — 与外部工具交互的自我批评与纠正（ICLR 2024）
• Self-Instruct: Aligning LMs with Self-Generated Instructions — 用模型自身生成的指令对齐语言模型（ACL 2023）
• Constitutional AI: Harmlessness from AI Feedback — 用 AI 反馈（RLAIF）实现无害化对齐

论文（前沿与边界）

• On the Limits of Self-Improving in Large Language Models — 自我改进的理论极限分析