张寅教授作ISMP Paul Y. Tseng连续优化纪念讲座

发布时间:2022-08-29 阅读量:7032

        香港中文大学(深圳)数据科学学院校长讲座教授张寅由于在连续优化方面深刻突出贡献,获邀在第24届国际数学规划大会作Paul Y. Tseng连续优化纪念讲座。讲座在北京时间8月15日9:30-10:30(美国东部时间8月14日)举行,报告题目为“Seeking Consensus on Subspace in Distributed PCA Calculations”。该工作提出了一种利用子空间拆分策略加速分布式主成分分析的计算方法,为防止私有数据泄漏建立了一种有效保障措施,证明了算法的收敛性质,很广的数值数值试验表明该方法具有很高的通信效率。

        张寅教授的报告分为四部分。第一部分从分布式优化和联邦学习出发,介绍了本次报告主要考虑的问题——主成分分析——在分布式环境下面临的问题与挑战。一方面,在现实场景下,网络的通信成本较为高昂,需要设计具有较快收敛速度的算法以减少通信次数。另一方面,数据均为本地存储,而且可能包含用户的私密信息,数据的隐私保护性也需要考虑在内。第二部分主要介绍了分布式主成分分析的投影分裂模型,并设计了求解此模型的ADMM类算法FAPS。相较于传统的变量分裂模型,投影分裂模型以变量张成的子空间为基准建立全局一致性,放松了变量的约束条件,可加快算法的收敛速度。FAPS算法以非精确的方式求解子问题,使得计算量大幅减少。同时,针对子空间约束的拉格朗日乘子规模较大的问题,FAPS算法使用低秩显式表达式更新拉格朗日乘子,可节约存储量并进一步加快收敛速度。由于FAPS算法所共享的信息是本地数据的非线性变换,并且包含罚参数等用户私有的信息,可保证本地数据无法从共享的信息中恢复出来。第三部分介绍了FAPS算法的全局收敛性,并给出了收敛速度;其次,在人工合成数据集和真实数据集上对算法进行了测试,数值结果表明,FAPS算法具有优越的性能。第四部分将投影分裂模型及算法框架推广到稀疏主成分分析,以此为基础设计的DSSAL1算法仍然具有收敛性的保证,而且数值表现优良。

        张寅教授对线性规划、半定规划和非线性规划的内点法做出了开创性贡献,近年来在图像恢复和压缩感知等数据的理论和算法方面也做出了杰出贡献。张寅教授和合作者提供了坚实的理论基础解释为什么原始-对偶算法通常比原始或对偶算法更快,尽管这些算法在最坏情况下拥有相同的复杂度。张寅教授首次证明了不可行内点算法的多项式复杂度。张寅教授为压缩感知问题建立了一种新算法,首次引入分裂和交替的思想来解决图像恢复问题。他开发了很多优秀开源软件包来支撑这些理论成果。张寅教授在指导学生方面也颇有建树,曾获美国莱斯大学校长指导奖,已经指导了30余位研究生、访问学生、青年访问学者,其中有多位目前正活跃在国内外数学优化领域,如北京大学文再文教授、中国科学院数学与系统科学研究院刘歆研究员,南京大学杨俊锋教授等等,紧密合作过的年轻学者还有原加州大学洛杉矶分校印卧涛教授(现阿里巴巴达摩院决策智能实验室负责人)。张寅教授在连续优化方面的国际领导力和贡献将持续激励数学优化领域。

中国科学院数学与系统科学研究院 王磊

北京大学 谢中林