🔬 大模型优化器 & 流形优化日报

覆盖日期：2026年6月2日 – 6月4日 上期成功报告：2026年6月1日

---

📌 本期重点

🔥 Muon 融合：AMUSE——Schedule-Free × Muon + AdEMAMix（2605.22432，5/22）

AMUSE 融合三种技术：Muon（正交梯度）+ AdEMAMix（双指数移动平均）+ Schedule-Free（无调度训练）。核心创新在 Muon-Schedule-Free 兼容性设计——正交化的随机性在无调度设置下反而提供了有益噪声。在 GPT-2 和 ImageNet 上验证，与标准 Muon + WSD 调度持平或略优。

📄 https://arxiv.org/abs/2605.22432

🔥 iMuon：集成 4 种黎曼流形操作的统一 Muon（2605.09238，5/10）

iMuon（integrated Muon）是本期最深度的理论工作，将 Muon 推广到黎曼流形框架： - 四种流形约束：❶ 谱范数球（原始 Muon）❷ 矩阵谱范数 ❸ Stiefel 流形 ❹ Grassmann 流形 - 关键：通过框架化的闭式解将四种流形类型的 LMO 统一，无需为每种类型单独设计算法 - 理论：所有 Muon 变体（MONA、Pion、NuMuon、SPECTRA 等）都可以纳入该框架 - 开源：lilac.sh/iMuon

📄 https://arxiv.org/abs/2605.09238

---

📊 大模型优化器

理论深化

论文	ID	核心
Denoise First	2606.03899	补全Muon动量理论：Muon的稳态分布与动量解耦
Move on Muon	2605.23871	Muon的测度论新视角
How Much Orthogonalization	2606.00371	回答「多少正交化足够」
Same Architecture, Different Capacity	2605.21803	优化器决定谱容量利用率

低秩方向

论文	ID	核心
Low-Rank Newton	2605.26324	自适应低秩牛顿法，用随机QR近似Hessian

---

🔄 流形优化

论文	ID	日期	方向
iMuon (见上)	2605.09238	5/10	流形×Muon×LLM ⭐
Riemannian Hadamard	2606.01216	5/31	低秩矩阵流形
Subgradient Manifolds	2605.24780	5/23	非光滑流形优化
RMPGM Multi-Objective	2605.16731	5/16	黎曼多目标优化
Riemannian quasi-Newton	2605.10573	5/10	约束优化加速
Curvature Bounds	2606.03659	6/2	几何基础理论

---

💡 讨论与趋势

1. 「Muon 六月」：从发散到收敛

Muon 论文在5月爆发（20+篇）后，6月初新提交呈现出明显的成熟化特征。

2. 优化器 × Scaling Law 正在成为新子领域

本期出现第二篇（Same Architecture, Different Capacity）与上期（Optimizer-Dependent Scaling Laws）互补：两篇论文从不同角度证明 Scaling Law 的「容量」轴依赖于优化器选择。

3. iMuon 的意义：Muon 的「流形化」里程碑

到本期为止，Muon 的「谱操作」家族已经覆盖了三种连接方式： - 欧氏空间：原始 Muon、Pion、MONA、MuCon - 谱正则化：SPECTRA、NuMuon - 黎曼流形：iMuon → 最新入口

---

📋 数据来源

来源	检索方式	获取新论文数
arXiv cs.LG 搜索（Muon/optimizer/Adam关键词）	全文扫描前50条	9篇未报道
arXiv 搜索（Riemannian/manifold/optimization）	全文扫描前50条	6篇未报道
交叉验证	与前3期日报对比排除已报道	—
GitHub	iMuon 官方仓库	1个