一种基于Storm及Hadoop的海量日志安全分析系统Massive logs security analysis system based on storm and hadoop technology
吴晨
摘要(Abstract)：
针对海量日志流安全分析的问题,设计一种海量日志安全分析系统。该系统将开源框架Storm与Hadoop进行整合,通过正则表达联动检测机制和基于FP-Growth算法的离线关联分析来探测日志流中的网络安全事件,实现识别安全事件无需人工干预。实验结果表明,该系统对各类网络安全事件具有较好的识别效果。
关键词(KeyWords)： Storm;Hadoop;海量日志分析;网络攻击识别;日志流
基金项目(Foundation): 西安邮电大学青年教师科研基金项目(ZL2014-40)
作者(Author): 吴晨
DOI: 10.13682/j.issn.2095-6533.2016.02.024
参考文献(References)：
- [1]KUMAR M,HANUMANTHAPPA M.Scalable intrusion detection systems log analysis using cloud computing infrastructure[C]//2013International Conference on Computational Intelligence and Computing Research.Enathi:IEEE,2013:1-4.DOI:10.1109/ICCIC.2013.6724158.
- [2]MOHANDAS M,DHANYA P M.An Approach for Log Analysis Based Failure Monitoring in Hadoop Cluster[C]//2013International Conference on Green Computing,Communication and Conservation of Energy.Chennai:IEEE,2013:861-867.DOI:10.1109/ICGCE.2013.6823555.
- [3]MOHANDAS M,DHANYA P M.An Exploratory survey of Hadoop Log Analysis Tools[J/OL].International Journal of Computer Applications(IJCA),2013,75(18):33[2015-12-15].http://research.ijcaonline.org/volume75/number18/pxc3890750.pdf.DOI:10.5120/13350-0750.
- [4]窦蒙,闻立杰,王建民,等.基于MapReduce的海量事件日志并行转化算法[J].计算机集成制造系统,2013,19(8):1784-1793.
- [5]靳永超,吴怀谷.基于Storm和Hadoop的大数据处理架构的研究[J].现代计算机:专业版,2015(3):9-12.DOI:10.3969/j.issn.1007-1423(z).2015.03.003.
- [6]王振亚.基于MFI-WT算法的蜜网日志分析研究[D].北京:北京邮电大学,2013:24-26.
- [7]周云龙.基于Web的用户行为分析和挖掘的关键技术研究[D].成都:电子科技大学,2013:43-50.
- [8]曲武,隋海峰,杨炳儒,等.分布式数据流挖掘的研究进展[J].计算机科学,2012,39(1):1-8.DOI:10.3969/j.issn.1002-137X.2012.01.001.
- [9]Apache Storm[EB/OL].[2014-04-15].http://storm.apache.org/index.html.
- [10]孙大为,张广艳,郑纬民.大数据流式计算:关键技术及系统实例[J].软件学报,2014,25(4):839-862.DOI:10.13328/j.cnki.jos.004558.
- [11]阳小龙.基于Hadoop海量数据处理关键技术研究[D].成都:电子科技大学,2013:15-16.
- [12]倪超.从Paxos到Zookeeper:分布式一致性原理与实践[M].北京:电子工业出版社,2015:1-422.
- [13]EDWARD C,WAMPLER D,RUTHERGLER J.Hive编程指南[M].曹坤译.北京:人民邮电出版社,2013:1-318.
- [14]陆嘉恒.大数据挑战与NoSQL数据库技术[M].北京:电子工业出版社,2013:1-423.
- [15]FRIEDL J E F.精通正则表达式[M].3版,北京:电子工业出版社,2007:1-515.
- [16]冯志新,钟诚.基于FP-Tree的最大频繁模式挖掘算法[J].计算机工程,2004,6(11):123-126.