文 献 综 述
1 大规模优化问题的分布式ADMM算法研究背景
1.1 研究背景
近年来，大数据一词与科技的快速进步并驾齐驱，进入大众的视野。大数据是由数量很多或纬度很大的数据集所构成，随之而来的是，机器学习、金融统计、图像处理等领域出现大量含有大数据的优化问题，用传统的优化算法进行求解效率很低，研究人员提出了不同的解决方案，而稀疏性就是其中的一种。而与稀疏性密切相关的算法中，其中比较重要的就是ADMM算法，它将大尺度问题分成两个或多个小尺度子问题，然后交替的进行求解。ADMM算法利用这种分而治之的思想，不仅降低了优化问题的维度，并且可以并行化求解，加快了问题的求解速度。
1.2 发展现状
ADMM是将一个非常大规模问题的计算负载分配给计算节点网络的一种简便方法。它可以看成是在增广拉格朗日算法基础上发展出的一种新算法。ADMM数学模型以拉格朗日数乘法为基础，将一个大问题分为两个小的目标函数进行求解，在拉格朗日乘子（对偶变量）的基础上添加了惩罚参数来确定实际问题中的误差项。
考虑以下优化问题
（1）
其中每个是代价函数，是非光滑的，凸的，正规和下半连续正则化函数。正则化函数用于获得结构化解（例如，稀疏性）或是一个指示函数，其强制位于约束集（[2]第5节）。许多重要的统计学习问题可以表述为问题（1），包括，例如LASSO问题[3]，逻辑回归（LR）问题[4]，支持向量机(SVM)[5]和稀疏主成分分析（PCA）问题[6]等等。
ADMM是将一个非常大规模问题的计算负载分配给计算节点网络的一种简便方法。具体而言，考虑具有星形拓扑的计算机网络，其中一个主节点协调一组个分布式工作者的计算。基于共识公式，分布式ADMM将原始问题划分为个子问题，每个子问题包含一小组训练样本或学习参数的一个子集。在每次迭代中，分布式工作人员根据本地数据解决子问题，并将变量信息发送给主机，主机将变量信息汇总并传播回给工作人员。通过这种迭代变量更新和信息交换，可以以分布式并行的方式解决大规模学习问题。分布式优化算法可以很好地扩展（1）的大规模实例，这近年来引起了重大关注[2]，[7] - [14]。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
