🔬 大模型优化器 & 流形优化日报
覆盖日期：2026年7月4日 – 7月7日
上期成功报告：2026年7月4日
本期执行：2026年7月7日
📌 本期重点
🔥 1. Diffeomorphic Optimization：流模型 + 黎曼流形的统一优化框架（2607.00947）
| 维度 |
详情 |
| 论文 |
2607.00947 |
| 提交 |
2026年7月1日 |
| 作者 |
Ludwig Winkler, Andrew Leaver-Fay, Joseph Kleinhenz, Pan Kessel |
| 核心 |
利用扩散/流模型将数据流形映射到简单基空间，在基空间执行梯度下降——等价于在数据流形上进行黎曼梯度下降（至$O(\lambda^2)$修正），自动保持轨迹在流形上，且优化曲面更平滑 |
| 群扩展 |
扩展到矩阵李群 SO(3) 和 SE(3)，推导了 autograd 兼容的梯度及通过 Lie 群 ODE 求解器反向传播的广义伴随状态方法 |
| 应用 |
FrameFlow 二级结构靶向达 91.3%（vs 调优引导 63.3%）；肽结合亲和力提升以 1/300 计算成本 超越 OC-Flow |
| 意义 |
⭐ 本期最重要的论文——将扩散/流模型与黎曼优化深度结合，开辟了「微分同胚优化」新范式。既是流形优化的新工具，也是生成模型与几何优化的桥梁。 |
🔥 2. Muon as a Residual Connection：简洁的新解释（2607.01124）
| 维度 |
详情 |
| 论文 |
2607.01124 |
| 提交 |
2026年7月1日 |
| 作者 |
Hao Huang（单人） |
| 核心 |
Muon 的正交化更新可以理解为训练过程中的隐式残差连接——正交化会牺牲部分即时梯度保真度，但改善了表示保留能力，使下游层更易利用上层特征 |
| 理论 |
在线性优化设定中证明 Muon 学习「更难拟合局部目标但更易被下游层利用」的表示 |
| 意义 |
Muon 理论的新维度——此前的工作多从谱/收敛角度解释，本工作从表示学习/信息流角度提供了直观且优雅的新视角 |
📊 大模型优化器（仅限此前未覆盖的新内容）
🟢 PACE：为”返回模型”优化——轻量级 AdamW 包装器（2606.25086）
| 维度 |
详情 |
| 论文 |
2606.25086 |
| 提交 |
2026年6月23日（v2: 6月30日） |
| 作者 |
Kwok Chun Au, Adam Block |
| 核心洞察 |
LLM 训练最终返回的是 EMA 平均模型而非最后迭代点，但优化器设计从不为「最终返回的模型」优化。PACE 将优化器设计建模为最优控制问题——轻量级包装器将实时权重向量拉向它们的 EMA 版本，使用裁剪的逐坐标控制强度 |
| 效果 |
1-2B 参数 LM 有监督微调和 GPT-2 预训练中，在广泛的学习率和调度下均优于 AdamW 和 EMA 评估的 AdamW |
| 意义 |
简洁优雅的洞察——「返回什么模型就优化什么」。PACE 是任何使用 EMA 的训练流程都可以即插即用的改进 |
🟢 FOAM：Shampoo 的自适应阻尼——ICML 2026 录用（2606.02365）
| 维度 |
详情 |
| 论文 |
2606.02365 |
| 提交 |
2026年6月1日（ICML 2026） |
| 作者 |
Kyunghun Nam, Sumyeong Ahn |
| 核心 |
Shampoo 的矩阵求逆是主要计算瓶颈。通过理论分析「陈旧性误差」（预条件器与当前梯度之间的失配），提出 FOAM 自适应算法——动态控制阻尼因子和特征分解频率，在减少墙钟时间的同时保持稳健收敛 |
| 意义 |
已被 ICML 2026 接收。Shampoo 家族走向实用的关键工程改进——与 Canzona（分布式框架）和 Asteria（运行时系统）互补 |
🟢 其他方向
| 方向 |
状态 |
| SOAP/Muon 跨领域 |
上期已报道 SOAP/Muon 在 MLIPs 的应用（2607.02499），本期无新论文 |
| Muon 理论 |
Muon as Residual Connection（2607.01124）是新的理论视角；River-Valley（上期报道）等此前研究的社区消化 |
| AdamW 改进 |
PACE 是唯一新贡献 |
| 二阶优化（Shampoo/KFAC） |
FOAM (ICML 2026) 填补了 Shampoo 实用化的短板 |
趋势观察：7月4-7日为arXiv周末/周一过渡期，无新提交。本期的新内容均来自上期（7月1-4日）被遗漏的论文，但质量过硬——Diffeomorphic Optimization 和 PACE 都是值得关注的工作。
🔄 流形优化（仅限此前未覆盖的新内容）
🟢 TT 分解商流形上的张量补全（2606.30173）
| 维度 |
详情 |
| 论文 |
2606.30173 |
| 提交 |
2026年6月29日 |
| 作者 |
Zhenlong Hu, Zhongming Chen, Defeng Sun, Liping Zhang |
| 核心 |
利用张量列（TT）分解的左正交性质构造新型商流形，引入一族可容黎曼度量。提出基于递归极分解和QR 分解的两种新型回缩（retraction）算子，与商结构兼容。推导了黎曼梯度下降和共轭梯度方法。理论将每块未知数从 TT 秩的二次依赖减少到近半缩放 |
| 意义 |
商流形几何的新构造 + 计算上更高效的 retraction。虽然不是直接面向 LLM 的工作，但在结构化矩阵/张量优化方面有潜在应用 |
🟢 DiffRGD：扩散模型推理时的黎曼梯度引导（2606.28417, v2: 7月2日）
| 维度 |
详情 |
| 论文 |
2606.28417 |
| 作者 |
Jia-Wei Liao 等 |
| 核心 |
将扩散模型每个采样步公式化为潜高斯分布诱导的球面流形上的约束优化问题，通过黎曼梯度下降（RGD） 高效求解，显式保持潜高斯结构，避免分布偏移 |
| 优势 |
即插即用，可无缝集成到任何预训练扩散模型。在图像恢复和条件生成任务上优于现有方法 |
| 意义 |
流形优化工具向生成模型推理阶段的渗透 |
🟢 Harmonic Interpolation：二分类的微分几何统一理论（2607.00988）
| 维度 |
详情 |
| 论文 |
2607.00988 |
| 提交 |
2026年7月1日（math.DG） |
| 作者 |
Catalin Vasii |
| 核心 |
建立二分类与微分几何之间的完整「词典」：分类器 = 数据空间上向量丛的平行截面；训练标签 = Dirichlet 边界条件；RKHS 插值核 = Laplace-Beltrami 算子的格林函数。识别出激活函数 = 结构群 G（纤维几何，控制表达力），核 = 黎曼度量 g（基几何，决定核） |
| 意义 |
纯粹的理论贡献，将两个经典 ML 选择（激活函数和核）识别为两个独立的几何选择——虽然不直接改变训练实践，但为理解模型架构的几何本质提供了统一定义 |
🟢 其他方向
| 方向 |
状态 |
| 流形优化 × LLM 交叉 |
本期无新增直接交叉论文。Diffeomorphic Optimization 是生成模型/蛋白质设计的几何优化框架，并非直接面向 LLM |
| 传统黎曼 SGD/Adam |
无新增（距上次 Riemannian GD for Low-Rank 工作已超一个月） |
| DDC 后续 |
上期重点报道的 DDC（2606.29176）本期未见社区跟进 |
趋势观察：流形优化的新论文仍以”流形优化本身”和”生成模型导向”为主，与 LLM 训练的交叉持续静默。但 Diffeomorphic Optimization 提出了一种有趣的范式——用流模型隐式保持流形约束，可能比显式黎曼梯度下降更适合嵌入端到端深度学习流水线。
💡 讨论与趋势
1. 「Muon 理解」的第三个视角
Muon 的理解路径在两周内横跨三个完全不同的视角：
| 视角 |
代表工作 |
核心洞见 |
| 🧮 谱/收敛 |
River-Valley, Free Heavy-Tailed Lunch, Schattor |
Muon 在谱范数几何下最优，但在河底收敛慢 |
| ⚙️ 工程 |
AngularMuown, DMuon, Zeta, Hyperball |
修复 Muon 的具体工程缺陷 |
| 🔗 表示 |
Muon as Residual Connection (本期★) |
Muon 的正交化 = 隐式残差连接 |
第三个视角特别有意义——它不涉及复杂的谱分析或工程优化，而是从信息流角度给出了直观解释。如果成立，这可能影响未来优化器设计：是否可以在正交化和残差连接之间做权衡？
2. PACE——一个问题驱动的优化器改进
PACE 的出发点是 LLM 社区中一个广泛存在但从未被明确优化的问题：既然我们最终返回的是 EMA 模型，为什么 optimizer 要优化原始参数？这是一个「显而易见的盲点」的完美案例。PACE 的简洁实现（作为 AdamW 包装器）意味着它可以立即部署到任何使用 EMA 的现有框架中。
3. 流形优化新范式的萌芽
Diffeomorphic Optimization 可能是 2026 年下半年值得关注的趋势——它不再试图在原始参数空间做黎曼优化，而是用流模型将数据流形映射到简单空间再优化。这种做法：
- 自动保持轨迹在流形上（不需要显式 retraction）
- 可微端到端（伴生状态方法兼容 autograd）
- 适合与深度学习流水线整合
4. 本期无 arXiv 新提交（7月4-7日过渡期）
本期无 7月4日之后的 arXiv 新论文——正常周末效应。预计下期（7月10日）将迎来 7月6-9日的新提交增量。
5. 下期关注
- Diffeomorphic Optimization 代码仓库公开及 LLM 社区反响
- PACE 在 >7B 模型上的验证
- Muon as Residual Connection 是否激发新的优化器设计（在正交化与残差连接之间显式调节）
- FOAM 开源（ICML 2026 paper）
- 7月6-9日 arXiv 新提交窗口——预计会出现一批新工作