A Semi-smooth, Self-shifting, and Singular Newton Method for Sparse Optimal Transport一种稀疏最优传输下的半光滑自偏移奇异牛顿法

光华讲坛——社会名流与企业家论坛第6720期

主 题：A Semi-smooth, Self-shifting, and Singular Newton Method for Sparse Optimal Transport一种稀疏最优传输下的半光滑自偏移奇异牛顿法

主讲人：上海财经大学 邱怡轩教授

主持人：统计学院 林华珍教授

时间：1月22日 14:00-15:00

举办地点：柳林校区弘远楼408会议室

主办单位：统计研究中心和统计学院 科研处

主讲人简介：

邱怡轩，上海财经大学统计与管理学院副教授，博士毕业于普渡大学统计系，毕业后曾于卡内基梅隆大学担任博士后研究员。主要研究方向包括深度学习、生成式模型和大规模统计计算等，科研成果发表在统计学国际权威期刊及机器学习顶级会议上。长期参与建设统计学与数据科学社区“统计之都”，是众多开源软件的开发者与维护者。

内容简介：

Newton's method is an important second-order optimization algorithm that has been extensively studied. However, many challenging optimization problems break the classical assumptions of Newton's method. For example, the objective function may not be twice differentiable, and the optimal solution may be non-unique. In this article, we propose a general Newton-type algorithm named S5N, to solve problems that have possibly non-smooth gradients and non-isolated solutions, a setting highly motivated by the sparse optimal transport problem. Compared with existing Newton-type approaches, the proposed S5N algorithm has broad applicability, does not require hyperparameter tuning, and possesses rigorous global and local convergence guarantees. Extensive numerical experiments show that on sparse optimal transport problems, S5N gains superior performance on convergence speed and computational efficiency.

牛顿法作为一种重要的二阶优化算法，目前已得到了广泛的研究。然而，许多具有挑战性的优化问题打破了牛顿方法的经典假设。例如，目标函数可能不是二次可微的，最优解也可能不是唯一的。在稀疏最优传输问题的场景设置下，主讲人提出了一种通用的牛顿型算法S5N来解决可能存在的非光滑梯度和非唯一解的问题。与现有的牛顿算法相比，本文所提出的 S5N算法适用性广，不需要调整超参数，并可以严格保证全局和局部的收敛性。大量的数值实验表明，在稀疏最优传输问题上，S5N 算法在收敛速度和计算效率方面都有较好的表现。