🔬 大模型优化器 & 流形优化日报
覆盖日期：2026年7月19日 – 7月22日
上期成功报告：2026年7月19日
本期执行：2026年7月22日
📌 本期重点
🔥 1. PoLoRA：专为 LoRA 设计的预条件正交化优化器（2607.17620）
| 维度 |
详情 |
| 论文 |
2607.17620 |
| 提交 |
2026年7月20日 |
| 作者 |
Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower |
| 核心 |
LoRA 的 A/B 矩阵通常被 Adam 展开为平坦向量训练，忽略矩阵结构和乘积结构。Muon 等矩阵感知优化器也只对每个因子独立处理。PoLoRA 三项创新：(1) 乘积感知谱更新方向；(2) 基于每样本 Loss 变化控制的曲率预条件；(3) 控制因子和合并更新大小的幅度规则 |
| 效果 |
在 1B–8B 代码/数学指令微调上，达到调优 Adam 终局 Loss 仅需 1.2–1.7 倍更少步数，每步开销至多 3%。对 LR 不敏感，最优 LR 跨 rank 稳定 |
| 意义 |
⭐ 首个为 LoRA 产品结构设计的优化器——填补了「Adam 忽略 LoRA 结构、Muon 感知矩阵但不感知乘积」之间的空白。建议关注是否开源 |
| 维度 |
详情 |
| 论文 |
2607.17146 |
| 提交 |
2026年7月19日 |
| 作者 |
Zhihua Liang（单人） |
| 核心 |
从单一几何公理——token 序列构成带规范测度格的离散 1-流形——出发，将 Transformer 全部组件（RMSNorm, RoPE, Softmax Attention, FFN, Residual Stream, SGD, Weight Decay）翻译为微分几何、测度论和随机微积分的统一语言。Attention = Schrödinger桥，SGD = 违反细致平衡的 Itô 扩散 |
| 实验 |
在 Qwen3、LLaMA-3.1、Gemma-3、GPT-2、Mistral 五个架构（124M–8B）上验证：ε⁻¹/² Lipschitz 缩放标定达 R²=1.000，Lie–Trotter 算子分裂挠率、对称消融不稳定性、热力学上下文极限相变等预测均被实验确认 |
| 意义 |
⭐ 建立 Transformer 的连续几何语言的野心之作——首次将 SGD/Weight Decay 等优化器行为也纳入微分几何框架分析 |
📊 大模型优化器（仅限新内容）
🟢 优化预条件器：黑盒在线到非凸转换——AdaGrad/Shampoo 的新理解（2607.17607）
| 维度 |
详情 |
| 论文 |
2607.17607 |
| 提交 |
2026年7月20日 |
| 作者 |
Haichen Hu, David Simchi-Levi |
| 核心 |
将随机非凸优化黑盒归约为在线凸优化中的静态 regret 最小化。维护可预测梯度追踪器，用黑盒 OCO 学习器选择预条件器。对 β-光滑目标达到 O(1/√T) 收敛率，扩展到无 Lipschitz 梯度场景也达最优 O(T⁻²/⁷) |
| 意义 |
⭐ 解决了 Chen & Hazan (2024) 提出的公开问题。将 AdaGrad/Shampoo 等自适应方法统一到静态 regret 框架，为预条件器设计提供理论指导 |
🟢 When Does Muon Help Agentic RL？——Muon 进入强化学习后训练（2607.16169）
| 维度 |
详情 |
| 论文 |
2607.16169 |
| 提交 |
2026年7月17日（v2 更新 7月20日） |
| 作者 |
Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun |
| 核心 |
首个系统研究 Muon 在稀疏奖励 agentic RL 中的表现。在 ALFWorld 上用 Qwen2.5-0.5B-Instruct + GiGPO：将 Muon 仅应用于隐藏权重矩阵，验证成功率从 0.290 提升至 0.546（+88%）。效果依赖于 advantage 估计器和 LR 的选择 |
| 意义 |
⭐ Muon 从「预训练优化器」向「RL 后训练优化器」的拓展。虽然目前是单种子探索性结果，但 +88% 的提升足以激发社区跟进 |
🟢 AdamW vs SGD：谁阻止了参数坍塌？（2607.16720）
| 维度 |
详情 |
| 论文 |
2607.16720 |
| 提交 |
2026年7月18日 |
| 核心 |
导出两层 ReLU 网络在权重衰减下全局最小坍塌到零解的充分条件。实验发现：AdamW 能防止参数坍塌，SGD 不能——这可能是 AdamW 在实践中更成功的根本原因之一 |
| 意义 |
🎯 简洁但重要的消融发现——为「为什么 AdamW 优于 SGD」的长期争论提供了新的几何视角证据 |
🟢 Hessian 谱如何依赖数据？（2607.13631）
| 维度 |
详情 |
| 论文 |
2607.13631 |
| 提交 |
2026年7月15日（本期首次覆盖） |
| 核心 |
推导了任意宽度/深度的线性网络在任意样本数下的 Hessian 特征值解析解。对 MSE 分类任务，sharpness 直接与最大类别的样本比例相关。在去除简化假设后预测仍相当鲁棒 |
| 意义 |
📐 为损失景观的曲率结构提供了难得的可计算理论 |
🟢 方向汇总
| 方向 |
状态 |
| LoRA 优化器 |
PoLoRA 开创「乘积感知预条件」新方向 |
| 预条件器理论 |
Optimizing the Preconditioner 统一 AdaGrad/Shampoo 到 regret 框架 |
| Muon × RL |
Muon for Agentic RL 开启 Muon 在 RL 后训练中的探索 |
| 几何/连续 Transformer |
Geometry of Semantic Space 建立完整微分几何描述语言 |
| AdamW vs SGD 理解 |
Loss landscape 证明 AdamW 防坍塌、SGD 促坍塌 |
| Hessian 谱理论 |
线性网络 Hessian 特征值解析解 |
| 噪声注入 / LR 调度 |
本期无新增内容 |
| 内存高效优化器 |
本期无新增内容 |
本期趋势：优化器设计正从「直觉改进」走向「形式化几何理论」——PoLoRA 为 LoRA 引入乘积感知几何，Geometry of Semantic Space 为整个 Transformer 建立微分几何语言，Optimizing the Preconditioner 为预条件器提供 regret 理论框架。三条独立线索共同指向同一方向。
🔄 流形优化（仅限新内容）
本期无新增流形优化论文
2026年7月19日 – 7月22日期间，arXiv 上未出现直接聚焦流形优化/黎曼优化方向的新提交。但以下两篇涉及几何分析的论文与流形优化密切相关，值得注意：
| 论文 |
几何关联 |
| Geometry of Semantic Space (2607.17146) |
整个 Transformer 建立为微分几何框架，SGD 建模为流形上的 Itô 扩散 |
| Loss Landscape of Two-Layer ReLU (2607.16720) |
损失景观的几何特征——AdamW 防坍塌 vs SGD 促坍塌依赖于优化轨迹的几何性质 |
这两篇虽然不直接属于「流形优化」领域，但都在用几何语言分析优化器行为，延续了上期 Zavier Li 的「几何优化语言化」趋势。
💡 讨论与趋势
1. PoLoRA 填补了关键空白
现有 LoRA 训练要么用无视结构的 Adam，要么用只考虑矩阵但不考虑乘积的 Muon。PoLoRA 同时引入乘积感知谱方向和曲率预条件，首次为 LoRA 的乘积结构设计了专用优化器。1.2–1.7× 的步数加速虽然不如「10× 加速」吸睛，但 LR 不敏感性和跨 rank 稳定性意味着大幅减少调参成本——这在实践中的价值可能更大。
2. Muon 研究的「第三波」：从预训练到 RL
Muon 的研究经历了三个浪潮：
- 第一波：Muon 在 LLM 预训练上挑战 AdamW（2026 Q1–Q2）
- 第二波：Muon 变体（Aurora, Hyperball, AngularMuown）+ 理解（Muse, Reassessing Muon）
- 第三波（本期）：Muon 进入 RL 后训练（When Does Muon Help Agentic RL?）——+88% 的提升虽只是单种子探索，但指明了重要方向
3. 2026年7月最后一周的优化器理论爆发
本期出现了形式化几何框架（Geometry of Semantic Space）、乘积感知优化器（PoLoRA）、预条件器统一理论（Optimizing the Preconditioner）三篇重量级理论工作同期出现。这可能标志着 2026 年下半年优化器研究从「工程改进」向「理论统一」的范式转变。
4. 下期关注
- PoLoRA 是否会开源 GitHub 仓库
- Muon for Agentic RL 的后续多种子验证
- RIPO（上期）和 Cobras 的社区后续工作
- Optimizing the Preconditioner 框架是否能直接推导出新优化器
- 7月22-25日 arXiv 新提交（含周一窗口）
📦 存档信息
- 文件名：
2026-07-22-llm-optimizer-manifold-daily.md
- 关联上期：
2026-07-19-llm-optimizer-manifold-daily.md