影响IDS应用的关键问题是误报和漏报,那么,从技术上讲,该如何攻克这两大难题呢?本文的技术分析没有考虑网络流量,因为,关于IDS系统的流量性能测评是当前争议较大的地方,不同流量中的IDS引擎表现出来的丢包率、误报、漏报等差异巨大。本文仅从影响IDS漏报和误报的关键指标入手讲解技术发展。
为了解决IDS应用中关键的误报和漏报问题,首先要了解决定误报和漏报的指标。有两个方面:一个是引擎和手法; 一个是管理能力。引擎的作用毋庸置疑,是“专家”和“高手”云集和追求的战场;手法是整个系统的知识库,机器的“智慧”所在;引擎和手法是密不可分的,通常引擎的结构决定了手法的特性和能力,甚至检测性能和精度。管理能力是IDS系统和最终用户的界面,许许多多的误报率、个性化、友好性、易管理性、可扩展性等都和它直接相关。
一、引擎和手法
1.引擎
IDS核心技术至今已经历三代:
(1) 第一代技术是主机日志分析、模式匹配。这阶段的IDS基本上都是实验室系统,如IDES、DIDS、NSM等。
(2) 第二代技术出现在上世纪90年代中期,技术突破包括网络数据包截获、主机网络数据和审计数据分析、基于网络的IDS(NIDS)和基于主机的IDS(HIDS)的明确分工和合作。代表性产品有早期的ISS RealSecure(v6.0之前)、Cisco(1998年收购Wheel Group获得)、Snort(2000年开发代码并免费)等。目前国内绝大多数厂家沿用的是Snort核心。
(3) 第三代技术出现在2000年前后,代表性的突破有协议分析、行为异常分析。协议分析的出现极大减小了计算量,减少了误报率。专家预计协议分析技术的误报率是传统模式匹配的1/4左右。行为异常分析技术的出现则赋予了第三代IDS系统识别未知攻击的能力。代表性产品有NetworkICE(2001年并入ISS)、安氏LinkTrust NetworkDefender(v6.6)、NFR(第二版)等。
此外,还有非常多的新型IDS在努力争取获得市场的认可。
2.手法
手法是引擎的知识库,它可以是某个简单的模式,也可以是一个非常复杂的协议分析规则。简单模式主要用在第二代引擎中,复杂协议分析规则是第三代引擎的特征。
许多厂家喜欢讲自己的IDS产品包含多少个“手法”(扫描器也使用这个名词)。关于手法的定义也是各个厂家之间容易引起争论的地方。手法体现了IDS系统作者对某个攻击的理解和认识,指导引擎去检测这种攻击。
手法也是IDS系统和防火墙等其他安全产品差异较大的地方。每个厂家必须紧跟攻击技术的发展和最新的安全弱点,将相应的“手法”及时提供给自己的客户,这样才能保证系统能够在业务流中检测出攻击。
IDS系统遭受的许多批评都源于手法库更新的及时性方面。一般来说,从发现一个弱点、厂家研究并提炼出“手法”,更新系统的“手法”库,这个过程通常在数天到数个星期之间。而互联网上攻击程序的传播却以分钟和小时计。这个时间差给用户网络留下了脆弱空隙,也成为各个厂家较量的主要战场。
为此,许多专家提出了“开放手法”的概念,将更多的灵活性和自主权授予用户。只有用户自己才最了解自己的业务系统,也只有这样,用户才可以更好地微调自己的“手法库”结构,来减少误报,增加手法库的“智能”性。但是,可惜的是许多IDS系统给用户只提供了“开/关”控制,你或者打开它,忍受它的误报,或者关闭它,让自己的投资闲置。
二、管理
管理对于IDS系统来说非常重要,它工作在检测层次之上,对检测(各级传感器)获得的事件信息进行处理。优秀的IDS管理系统不仅限于将检测获得的事件简单呈现在控制台上,而是能够进行各种先进的数据处理、滤除噪音、鉴别误报、获得超越检测层次的信息等。这里,数据挖掘、相关、神经网络、人工智能、归一化、数据分类、决策支持系统等各种技术纷纷获得应用的尝试。
1.安全管理的功能
典型的安全管理要实现六个功能,它们按照先后顺序分别是:
(1)数据收集和确认整理。包括大量数据的提取和初步的有效性确认。
(2)归一化。将收集来的海量数据处理成为系统设计的统一格式,为后面的分析进行准备。
(3)按照资产分类。将收集来的海量数据按照所属的信息资产进行分类。能够实现这一步的前提条件是企业网已经进行过信息资产分类。这一点很重要,可以大幅度提高数据的可利用性、减小误报引起的人力浪费,将管理员宝贵的精力放到关键的信息资产上去。当前专门的信息安全顾问服务可以帮助企业进行信息资产分类。
(4)与风险评估(VA)系统输出的弱点信息进行关联处理。鉴别有效、无效、误报,并按照弱点和资产对海量事件数据进行优先级排序。这一步和上一步的顺序可以交换。
(5)分析。一般来说,这一步体现的是厂家的看家本领,也是安全管理产品的关键所在。
(6)响应。响应一般都会包括各种告警、日志、实时阻断等。
2.与其他系统的关联性
伴随着第三代IDS产品的另一标志性特色就是它们强大的管理能力,具有海量数据融合和关联性分析能力,支持大规模网络、层次化结构。其中,与风险评估系统的关联是当前IDS技术发展的一个重要方向,是减少误报的一种强有力手段。