网络流量异常检测 网络连接配置异常

摘 要
随着网络攻击的复杂化、自动化、智能化水平的不断提高,网络中不断涌现出新的攻击类型,这些未曾见过的新攻击给基于特征码的网络攻击检测和响应带来了极大挑战 。网络流量异常检测通过对网络流量进行分析,可以检测出与正常流量明显不同的流量,因其不依赖于静态特征码,被看作检测未知新攻击的有效手段 。研究人员针对异常网络流量的检测提出了许多方案,包括基于统计学习法、基于无监督机器学习的方案、基于监督机器学习的方案,从流量特点、特征工程到检测模型,再到应用场景对这些方案进行了系统性综述 。
内容目录:
1 网络流量数据采集
1.1 连接的基本特征
1.2 连接的内容特征
1.3 流量统计特征
1.4 原始负载
2 检测模型
2.1 统计模型
2.1.1 简单统计模型
2.1.2 基于协方差矩阵的模型
2.1.3 基于隐马尔可夫的模型
2.2 监督分类模型
2.3 无监督模型
2.3.1 基于聚类算法的模型
2.3.2 基于孤立森林的模型
2.3.3 基于自编码器的模型
2.3.4 基于 LSTM 的模型
3 未来研究方向及挑战
4 结 语
传统的流量侧攻击检测方案依赖于分析人员对攻击流量进行分析而提取出的静态特征码 。这种方案的检测速度极快,但检测准确率严重依赖于特征库 。如果一个攻击的特征码没有被收录进特征库,该方案就无法检测出攻击 。另外,一些攻击会对其流量进行加密,在不解密的情况下是无法从负载中提取特征码的,这就导致传统的基于特征码的检测方案无法对加密流量进行检测 。
正常情况下产生的网络流量通信行为和攻击行为下产生的网络流量的通信行为具有明显的不同,并且这种不同不会因负载数据被加密而消失 。反过来,如果网络中出现了与正常流量明显不同的流量,是否就表明网络中出现了攻击行为?答案是不一定 。因为网络复杂多变的特性,一些原本正常的行为也会导致网络流量出现异于往常的变化 。但是这种情况是相对较少的,如果对正常流量有一个良好的建模,可以把这种情况控制在很小范围内 。所以当从网络中检测出异常流量时,有较大概率是攻击行为产生的流量,后续可以通过其他手段进一步验证其是否是一个攻击行为 。鉴于此,网络流量异常检测常被用于检测非加密流量和加密流量中未知的新攻击,其不依赖于传统的静态特征库,通过对网络流量通信行为进行分析,检测出与正常流量明显不同的流量,从而发现潜在的攻击行为 。
异常这个概念有许多不同的定义 。Kafadar 等人将其定义为一组看起来与其他数据不同的数据 。Chandola 等人认为异常是和明确定义的正常行为相背离的数据模式 。Lakhina 等人将网络中的异常定义为不常出现并且在网络流量层面出现巨大的变化 。通过这些定义,可以明显看出如何定义正常态是进行异常检测中的关键步骤 。
许多安全研究人员在网络流量异常检测领域进行了研究,并且提出了许多切实可行的技术方案 。通过对这些技术方案的研究可以发现,从网络流量侧进行异常检测的方案无一例外都将采集什么样的流量数据和使用什么样的算法视为关键点 。在这些方案中,流量数据和算法之间并不是紧紧耦合在一起的,实际上,一种流量数据需要用多种不同算法处理,同理,一种算法也可以处理不同种类的流量数据,技术人员可以根据实际应用场景将流量数据和算法进行自由组合以获得最优的检测方案 。为达此目的,本文将从网络流量数据采集和异常检测算法模型这两个维度对相关检测技术进行综述,同时对未来的研究方向和可能遇到的挑战进行了预测 。

推荐阅读