🔬 大模型优化器 & 流形优化日报

覆盖日期：2026年5月29日 – 5月31日 上期成功报告：2026年5月28日

---

📌 本期重点

🔥 1. SPECTRA：谱裁剪——连接 AdamW 与 Muon 的桥梁（2603.14315，ICML 2026）

SPECTRA 提出了一个通用框架，让传统自适应优化器也能获得类似 Muon 的谱结构感知能力： - 后裁剪（Post-clipping）：对更新施加谱范数约束 → 证明等价于 Composite Frank-Wolfe 方法 - 前裁剪（Pre-clipping）：抑制梯度噪声的谱尖峰 - 高效实现：Newton-Schulz 迭代替代 SVD，避免昂贵的矩阵分解 - 兼容多种优化器：AdamW、Signum、Mars、AdEMAMix 均有一致性收益 - 代码开源：mlolab/llm-spectral-clipping（12⭐）

📄 https://arxiv.org/abs/2603.14315

🐙 https://github.com/mlolab/llm-spectral-clipping

🔥 2. 优化器影响 Scaling Law 指数（2605.29387，5/28）

第一个系统工作证明 Scaling Law 的指数 α ≠ 常数，而取决于优化器选择：

优化器	α 指数	与 GD 的比值
Gradient Descent	~0.12	1×（基线）
预条件优化器（自然梯度）	~0.31	2.6×

📄 https://arxiv.org/abs/2605.29387

---

📊 大模型优化器

Muon 家族：本期无新增论文

继 5/28 四篇 Muon 变体（MONA、MuCon、对抗训练、Spectral Descent）之后，5月29日 arXiv 未出现新的 Muon 族论文。

随机动量在稀疏更新下的动力学（2605.28961，5/27）

内容	详情
论文	2605.28961
问题	经典动量理论假设梯度在每参数上均匀到达 → LLM 训练中违反
方法	两个可解模型的闭环二阶矩动力学
核心发现	存在两个内在时间尺度：动量保持期 × 学习周期
意义	解释了为什么 LLM 训练中动量系数需要精细调参

C-Adam：自适应学习算法变体（2605.29273，5/28）

提出了 C-Adam（基于「line of sight」方法的新型 Adam 变体）。

---

🔄 流形优化

流形算法 × Hadamard 分解（2605.28980，5/27）

内容	详情
论文	2605.28980
方法	利用矩阵分解中 W 和 H 属于特定流形的几何性质，提出三种新算法

上期流形 × 模型合并方向：本期无新增论文

---

📋 数据来源

来源	检索方式	获取新论文数
arXiv cs.LG new listings	全部新提交扫描	5 篇筛选
DuckDuckGo/Bing	中英文关键词	0 篇新增