大模型优化器 & 流形优化日报 — 2026年5月28日
大模型优化器 & 流形优化日报 — 2026年5月28日
🔬 大模型优化器 & 流形优化日报
覆盖日期：2026年5月26日 – 5月28日 上期成功报告：2026年5月25日
📌 本期重点
🔥 1. MONA：Muon + Nesterov 加速，68B MoE 验证 SOTA（2605.26842，5/28）
MONA（Muon Optimizer with Nesterov Acceleration）是本期最具冲击力的新优化器。核心思路直击 Muon 的固有缺陷：和所有一阶方法一样，Muon 会陷入尖锐局部极小。MONA 在 Muon 的正交化流水线中直接插入 Nesterov 加速项（梯度差值的 EMA），同时保留了谱范数正则化。理论证明了加速项帮助逃离 sharp minima 的机制。
实证规模创下 Muon 变体新纪录： - MoE 预训练：1B → 8B → 68B 参数（1万亿 token） - SFT 后在 MOE-68B-A3B 上评估：通用能力、数学推理、代码生成三项 SOTA - 全面超越 Muon 和 AdamW
📄 https://arxiv.org/abs/2605.26842
🔥 2. EpiMer：将模型合并建模为黎曼流形上的 Fréchet 均值（2605.26693，5/28）
这是本期流形优化方向最重要的交叉工作。EpiMer（Epistemic Merging）将模型合并重新定义为一个几何问题： - 把合并问题转化为黎曼流形上的 Fréchet 均值求解 - 用期望 Hessian 作为流形度量，揭示局部曲率与参数认知不确定性的内在联系 - 将计算限制在任务向量张成的低秩子空间，避开不可行的全空间 Hessian 近似 - 理论统一了曲率感知方法和谱方法：两者都是子空间 Fréchet 均值的特例（不同几何度量）
实证：CLIP-ViT 八分类任务上，所有骨干网络在 matched rank 下严格优于所有基线，同时提升平均精度和最差任务精度。
📄 https://arxiv.org/abs/2605.26693
📊 大模型优化器
Muon 家族新变体（5/28 arXiv 新提交）
| 论文 | ID | 要点 |
|---|---|---|
| MONA | 2605.26842 🔥 | Muon + Nesterov 加速项（EMA 梯度差），逃逸 sharp minima，68B SOTA |
| MuCon | 2605.26459 | 裁剪式 Muon：奇异值裁剪到谱范数球阈值 τ，研究无全 SVD 近似方法 |
| Muon × 对抗训练 | 2605.26929 | 理论证明 Muon 施加谱范数稳定性上限；5种架构+3种 ℓₚ 威胁模型，CNN 与 SGD 相当，ViT 大幅领先 AdamW |
| Spectral Descent 非光滑收敛 | 2605.26977 | Muon 简化变体 SD/TSD 的非光滑凸优化理论：全局线性收敛，联系 Frank-Wolfe 方法 |
Shampoo/SOAP 工程优化
| 论文 | ID | 要点 |
|---|---|---|
| Reparametrizing Shampoo & SOAP | 2605.26327 | 预条件子重参数化支持 BFloat16 存储；子空间 QR 分解降低计算开销；统一应用于 KL-Shampoo、SOAP、KL-SOAP，使 KL-SOAP 匹配/超越 KL-Shampoo |
训练动力学：SoSD —— 跨优化器的谱统一理论
| 论文 | ID | 要点 |
|---|---|---|
| Stability of Singular Distribution (SoSD) | 2605.26489 | 发现预训练两阶段动力学背后的谱机制：迹归一化奇异值谱在早期稳定（SoSD）。跨 GPT-2/LLaMA、Step/WSD/Cosine 调度、AdamW/Muon 均成立 |
趋势观察
- Muon 理论地基的第三条腿：继 Spectral Flattening（机制解释）和 SODA（框架定位）之后，本期 Spectral Descent（非光滑理论）补上了非凸非光滑这一理论盲区。
- Muon × 安全：对抗训练论文（2605.26929）是第一个系统研究 Muon 在鲁棒性场景下的工作。
- MONA vs. 以往加速方案：此前 Distance-Aware Muon（上期报道）用信任域做步长自适应，而 MONA 用法更直接——Nesterov 动量项。
🔄 流形优化
流形 × 模型合并 —— 本期爆点
| 论文 | ID | 要点 |
|---|---|---|
| EpiMer | 2605.26693 🔥 | 将模型合并建模为黎曼流形 Fréchet 均值（见本期重点） |
| Extra-Merge / Rank-1 Subspace | 2605.26484 | 发现合并检查点坍缩到近似一维线性流形；”河谷”动力学平均=几何低通滤波；GPT-2/LLaMA/Muon 上零样本精度提升 |
意义：两篇论文在同一天从不同方向将流形几何引入模型合并——EpiMer 从外部用黎曼流形框架主动设计合并策略；Extra-Merge 从内部发现合并过程的流形结构。
趋势观察
- 本期流形优化纯理论：无新增发表。但两篇合并工作标志着一个新趋势——流形几何在模型合并中的应用正在加速。
- EpiMer 的统一视角：将曲率感知方法（Git Re-Basin、Fisher Merging）和谱方法（Spectrllip、DBF）统一为子空间 Fréchet 均值的特例，可能成为模型合并领域的新分类标准。
💡 讨论/观点
本期核心观察
-
「Muon 五月」的尾声？ 经过连续三周的密集产出（累计约20+篇 Muon 相关论文），本期（5/28）仍有4篇 Muon 新论文，但数量较 5/17–23 爆发期有所回落。趋势从”发散探索”转向”深化理论+工程化”。
- 流形优化与 LLM 的交叉正在从两个方向趋近：
- 训练侧：Muon 系优化器本质上是黎曼流形优化（正交群/Stiefel 流形上的梯度）的一种近似
- 后训练侧：EpiMer 和 Extra-Merge 将流形几何引入模型合并
- SoSD：谱分析成为理解预训练的标准工具。
📋 数据来源
| 来源 | 检索方式 | 获取新论文数 |
|---|---|---|
| arXiv cs.LG new listings | 全部新提交扫描（5/28，约200篇） | 8 篇筛选 |
| arXiv cs.CL new listings | 交叉验证 | 1 篇重叠（MONA） |
| arXiv math.OC new listings | 流形优化扫描 | 1 篇 |
| DuckDuckGo/Bing | 中英文关键词 | 0 篇新增 |