技术问题请联系 网站管理员
|
报告信息 |
| 题目：基于符号的大规模随机优化 |
| 报告人：张利军 教授，南京大学 |
| 摘要：基于符号的随机优化方法在大规模训练中展现出良好的性能，受到学术界和工业界的广泛关注。本报告将简要回顾从逐元素符号更新到矩阵符号更新的发展脉络，以及我们在该方向上的研究进展，重点介绍对Muon算法的改进与理解。首先，介绍一种基于子空间优化的高效Muon方法，在降低计算开销的同时保持同阶的收敛速率，并展示其在大语言模型训练中的效果；其次，从重尾梯度噪声的视角分析Muon的收敛性质，为理解其实际优势提供理论依据。 |