基于Spark的OS-ELM并行化算法Parallelization of OS-ELM based on Spark
邓万宇,杨丽霞
摘要(Abstract)：
针对Spark平台的弹性分布式数据集并行计算框架机制,提出一种在线连续极限学习机并行处理的改进算法。利用分离在线连续极限学习机矩阵之间的依赖关系,将大规模数据中的高度复杂的矩阵分布到Spark集群中并行化计算,并行计算多个增量数据块的隐藏层输出矩阵,实现OS-ELM对矩阵的加速求解。实验结果表明,该算法在保持精度的同时可有效缩短学习时间,改善了大数据的扩展能力。
关键词(KeyWords)： 在线连续极限学习机;大数据;Spark;并行计算
基金项目(Foundation): 国家自然科学基金资助项目(61572399);; 陕西省科技新星资助项目(2013KJXX-29)
作者(Author): 邓万宇,杨丽霞
DOI: 10.13682/j.issn.2095-6533.2016.02.020
参考文献(References)：
- [1]HUANG G B,ZHU Q Y,SIEW C K.Extreme Learni-ng Machine:Theory and Applications[J].Neurocomputing,2006,70(1):489-501.
- [2]LIANG N Y,HUANG G B,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorith-m for feedforward networks[J].IEEE Transaction on Neural Networks,2006,17(6):1411-1423.
- [3]付倩,韩飞,叶松林.一种改进的集成在线顺序极限学习机[J].无线通信技术,2013,22(3):39-44.
- [4]杨乐,张瑞.在线序列ELM算法及其发展[J].西北大学学报:自然科学版,2012,42(6):885-889.
- [5]VERMA A,LLORA X,GOLDERG D E,et al.Scaling G-enetic Algorithms Using MapReduce[C]//2009NinthInternational Conference on Intelligent Systems De-sign and Applications.Washington,DC,USA:IEEE Computer Society,2010 16(45):13-18.DOI:10.1109/ISDA.2009.181
- [6]戎翔,李玲娟.基于MapReduce的频繁项集挖掘方法[J].西安邮电大学学报,2011,16(4):37-39.
- [7]王家林.大数据Spark企业级实战[M].北京:电子工业出版社,2014:20-24;431-458.
- [8]WANG B,HUANG S,QIU J,et al.Parallel online sequential extreme learning machine based on MapReduce[J/OL].Neurocomputing,2015,149:224[2015-9-30].http://www.sciencedirect.com/science/article/pii/S092523121401145X.DOI:10.1016/j.neucom.2014.03.076.
- [9]刘瑜.基于云平台的OLAP系统研究与实现[D].沈阳:东北大学,2013:48-52.
- [10]HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(s1/3):489-501.
- [11]梁彦.基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D].广州:中山大学,2014:14-27.
- [12]ODERSKY M,SPOON L,VENNERS B.Programming in Scala[M].Artima Inc,2011:5-40;51-150.
- [13]FAN R E,CHANG K W,HSIEN C J,et al.LIBLIN-EAR:a library for large linear classification[J].Journal of Machine Learning Research,2008,9(12):1871-1874.
- [14]CHANG C C,LIN C J.LIBSVM:a library for support vector machines.ACM Transactions on Intelligent Systems and Technology[EB/OL].[2015-09-20].http://www.csie.ntu.edu.tw/~cjlin/libsvm.