🔬 大模型优化器 & 流形优化日报
覆盖日期：2026年5月31日 – 6月1日
上期成功报告：2026年5月31日（覆盖5/29–5/31）
📌 本期重点
🔥 1. “Pion” 同名双核爆发——两个独立团队的同名优化器同月发布
| 维度 |
Pion (Shi et al., 2605.12492) |
Pion (Fan et al., 2605.19282) |
| 核心理念 |
正交等价变换保持谱 |
高通滤波压制噪声尾方向 |
| 更新机制 |
左/右正交变换×权重矩阵，奇异地不变 |
两阶段 Promotion+Suppression 高通NS迭代 |
| 与Muon的关系 |
竞争方案：保留谱而非白化 |
改进方案：修复Muon在VLA/RLVR的失效 |
| 谱策略 |
保留所有奇异值 |
主导奇异值→1，噪声尾→0 |
| 验证规模 |
LLM预训练+微调 |
机器人VLA（100%成功率）+ RLVR |
🔥 2. 流形优化 × LLM 的交叉加速——三重交叉突破
- Bilevel × Manifold（2605.09209）：直接将流形优化用于LLM源重加权
- Riemannian Gradient Flow × NN（2605.27779）：神经网络MMS增量集形成光滑嵌入子流形
- Training-free Manifold Constraints（2605.29937, ICML 2026）：流形约束应用于扩散模型推理
📊 大模型优化器
NuMuon：核范数约束——让 Muon 训练出的模型更易压缩
| 内容 |
详情 |
| 论文 |
2603.03597 |
| 核心 |
Muon 虽做全秩更新，但权重矩阵呈明显的低秩结构；NuMuon 增加核范数约束 |
| 规模 |
十亿参数级LLM验证 |
重尾引导的逐层学习率（LLR）
| 内容 |
详情 |
| 论文 |
2605.22297 |
| 方法 |
基于重尾自正则化（HT-SR）理论，通过谱密度定量化每层重尾程度 → 弱重尾层给大LR |
| 实证 |
60M→3B，up to 100B tokens → 1.5x训练加速 |
维度无关的Muon鞍点逃逸理论
综合综述：Navigating LLM Valley（2605.09176）
65页无图综述，覆盖经典一阶优化器→自适应→存高效→二阶→符号→低秩→Muon系。
📋 数据来源
| 来源 |
检索方式 |
获取新论文数 |
| arXiv cs.LG new listings |
扫描5/29-5/31 |
约10篇筛选 |
| arXiv（交叉验证） |
与前3期对比排除已报道 |
— |