[01501290]基于人工智能的异常流量检测关键技术研究与应用

①课题来源与背景 随着信息和通讯技术的快速发展,通信网络已成为人们日常生活中不可或缺的信息传播媒介。流量异常检测作为确保网络安全的基础工作,已成为目前全世界学术界和工业界共同关注的前沿研究课题之一。 ②研究目的与意义 项目以异常流量检测模型与应用研究为基础,采用机器学习方法,研究基于灰度图的异常流量检测技术、基于集成学习的异常流量检测技术和基于模糊度的异常流量检测技术等方面,有效较高准确度的在线异常流量检测和离线异常流量检测的准确性;研究成果应用到各种网络安全监测与分析中,提高异常流量以及恶意软件的发现和监控方面的准确度。 ③主要论点与论据 1．灰度图的转换与分类方法 项目中通过设立时间阈值,采取补0保证每个灰度图大小相同,并提出了适应的过滤机制与灰度图转换机制,在精确度优良的基础上,保证了实时性及较低的资源占有率。同时结合人工免疫系统与灰度图的特性,提出了样本拓展机制与IDS（入侵检测系统）进化机制,改善了过去无法针对未知攻击进行更新以及需要大量人工标记的训练数据才能达到较高精度的问题。 2．异常检测的精确分类与标记扩展 项目中采用半监督聚类的思想,对聚类后的异常流量进行标记扩展,有效地增加了训练数据的数量。借鉴人工免疫系统的思想,采用分层的结构,解决了半监督检测不能精确分类的问题。 3．模糊度计算及扩充样本选取 项目首先对输出值进行合理的预处理,根据计算出的模糊度值的大小选取了恰当的未标记样本作为二次训练样本,提高了检测的准确率和精度。 4．多场景检测模型设计 项目设计了在线精准检测、离线精准检测和离线快速检测的多场景检测模型。针对在线网络环境,研制了基于灰度图的在线异常流量检测的高效精准检测方法;针对离线网络环境,研制了基于集成学习的离线异常流量的高效精准检测方法和基于模糊度的离线异常流量的快速检测方法。 ④创见与创新 1．理论创新 项目以异常流量检测模型与应用研究为基础,采用机器学习方法,通过引入灰度图方法,有效提高在线异常流量检测准确度;引入集成学习与模糊度方法,有效提高离线异常流量检测的准确度。 2．应用创新 项目在软件层面基于SNORT入侵检测系统、Spark/Hadoop大数据处理平台和TensorFlow机器学习系统,构建了分布式平行化的异常流量检测模型自学习框架,包括了在线与离线两种模式,可应用于多种复杂的网络环境。 ⑤社会经济效益及存在的问题 本项目的研究成果可作为独立产品或模块嫁接到其它异常流量检测系统,应用于复杂的网络环境;同时,线上线下充分联动、协调共治及跨领域分析能力将得到进一步发展,社会创新管理水平也会面临新的提升空间。 课题中所提方法虽然能检测未知攻击,但对攻击的类型识别数量还较少,下一步打算研究攻击的类型属性,通过机器学习不同类型攻击的特点,使本系统可以识别出更多攻击类型,并应用到未知攻击识别中,以判别更多攻击类型,为我国的网络安全事业做出贡献。