搜档网
当前位置:搜档网 › NetStream技术白皮书

NetStream技术白皮书

NetStream技术白皮书
NetStream技术白皮书

NetStream技术白皮书

华为技术有限公司Huawei Technologies Co., Ltd.

目录

1前言 (1)

2技术简介 (2)

3关键技术 (3)

3.1NetStream的报文格式 (3)

3.2NetStream流输出的三种方法 (5)

3.3NetStream统计信息的提取与输出处理 (6)

3.4NetStream的能力 (8)

4典型应用 (10)

4.1NDE的部署 (10)

4.2安全监控 (10)

4.3AS域规划 (11)

4.4组播流量统计与规划 (11)

4.5ISP间的流量分帐 (12)

5结束语 (12)

附录A 缩略语 (13)

NetStream技术白皮书

摘要:NetStream是一种基于网络流信息的统计与发布技术,可以对网络中的通信量和资源使用情况进行分类和统计,基于各种业务和不同的QoS进行管理和计费。NetStream主

要包括三个设备NDE、NSC、NDA。NDE负责流量采集和发送;NSC设备负责收集和

存储NDE发来的流量统计数据信息;NDA复制对统计信息分析,分析的结果为网络计

费、网络规划、网络监控、应用监控和分析等提供依据。本文档重点介绍NDE,NSC/NDA

在其他文档中进行详细介绍。

关键词:流、采样、聚合、流量采集、流量发送

1 前言

Internet的高速发展,为用户提供了更高的带宽和可预测的QoS,同时用户也需要对网络进行更细致的管理和计费,为此就需要支持这种需求的相应技术。NetStream技术就是这样一种基于网络流信息的统计与发布技术,它可以对网络中的通信量和资源使用情况进行分类和统计,基于各种业务和不同的QoS进行管理和计费。从而提供如下应用:

计费——NetStream为基于资源(如线路、带宽、时段等)占用情况的计费提供了精细的数据,这些数据包括IP地址、包数、字节数、时间、TOS和应用类型等。Internet服务提供商可以利用这些信息来实行灵活的计费策略,如基于时间、带宽、应用、服务质量等。企业客户可以使用这些信息计算部门费用或分配成本,以便有效利用资源。

网络规划和分析——NetStream可以为先进的网络管理工具提供关键信息,以便优化网络设计和规划,实现以最小的网络运营成本达到最佳的网络性能和可靠性。

网络监控——NetStream技术能够实现近于实时的网络监控功能。RMON、RMON-2和基于信息流的分析技术可以用来形象化地表示单个路由器和全网范围内的流量模式,并提供预先故障检测、高效故障排除和快速问题解决功能。

应用监控和分析——通过NetStream技术,可以获得详细的网络应用信息。例如,网络管理员可以查看Web、文件传输协议(FTP)、Telnet和其它著名的TCP/IP应用所占通信量的百分比。Internet内容和服务提供商可以根据这些信息来规划和分配网络和应用资源以满足用户需求。

用户监控和分析——NetStream技术使得网络管理者可以获得用户利用网络和应用资源的详细情况,进而用于高效地规划和分配资源,并保障网络的安全运营。

2 技术简介

NetStream是基于“流”的概念,一个流是指,来自相同的子接口,有相同的源和目的IP地址,协议类型,相同的源和目的协议端口号,以及相同的ToS的报文,通常为5元组。NetStream 会记录这个流的统计信息,包括:时间戳,报文数,总的字节数。

NetStream主要包括三个设备NDE(NetStream Data Exporter),NSC(NetStream Collector),NDA(NetStream Data Analyzer),三个设备之间的关系如下图所示。

图1NetStream的设备角色

NDE负责流量的采集和发送;NSC设备负责收集和存储NDE发来的流量统计数据信息;NDA复制对统计信息分析,分析的结果为网络计费,网络规划,网络监控,应用监控和分析等提供依据。

(1)NetStream Exporter

对网络流进行分析处理,提取符合条件的流统计信息,并将统计信息输出给NDC设备,输出前也可对数据进行一些处理,比如聚合。

(2)NetStream Collector

NetFlow Collector是运行于Solaris平台上的UNIX应用程序。负责解析NDE的报文,把统计数据收集到数据库中,可供NDA进行解析。NSC可以采集多个NetFlow设备输出的数据,对数据进行过滤和聚合。

(3)NetStream Data Analyzer

NetStream Data Analyzer是一个网络流量分析工具,从NDC中提取统计数据,进行后续处理,为各种业务提供依据(比如网络规划,攻击监测),具有图形化用户界面,使用户可以获取、显示和分析从NetStream Collector收集的数据。

3 关键技术

3.1 NetStream的报文格式

NDE收集的网络流的统计信息是封装在UDP报文中输出给NSC/NDA的,一个UDP报文中可以携带多条统计信息记录。这些统计信息记录的格式是由NDE设备决定,NSC/NDA收到NDE 发来的统计报文后,先判断记录的版本,不同版本的记录有不同的记录格式。目前支持三种版本格式的记录:V5、V8、V9。报文格式如下图所示:

图2NetStream的报文格式

表1 三种报文格式的比较 Version

格式说明 优点比较 缺点比较 V5 报文格式固定,不易扩展;根据七元组产生的原始数据流 输出的字段比较丰富,可以把聚合前的流记录的所有字段都输出给NSC ;

内容丰富;

设备负荷较小。 格式固定且不可扩展;

数据量大,NSC 无法长期保存;

收集器(NSC)和分析器(NDA)压力大。

V8 报文格式固定,不易扩展。数据量相对较小; 承载内容略为简单,适合特定分析; 可以增加新的聚合方式。格式固定且不可扩展。

设备完成聚合工作,负荷较重,

只用于将聚合后的流信息输出给

NSC 。

增加新的聚合方式,需要主机和

网流收集器升级版本。

V9 报文格式基于模板,易扩展;可输出两种数据类型,一种是统计数据,第二种是选项数据。 最灵活的输出格式,格式可以变化;

可以用来输出聚合前的流

记录,也可以输出聚合后

的流记录。

V5用于把流的详细信息输出给NSC/NDA 。

V8用于将聚合后的流信息输出给NSC/NDA 。V5和V8共同的缺点是。随着用户新需求的提出,NDE 需要扩展输出信息,这时,还需要修改NSC/NDA 的软件来适应NDE 的变化,这样会造成不同厂家甚至是同一个厂家的不同版本的NSC/NDA 软件无法解析NDE 的统计报文。

V9和之前版本的最明显区别是,它是基于模板(template )的。模板提供了灵活可扩展的报文输出格式,这使得在不改变基本记录格式的情况下,容易的增加的新的流统计服务。

V9模板的优势:

1)灵活性,允许单独输出需要的域统计信息,而不需要把所有的IP 流信息都输出给NSC ,减少了输出流的数据量和NDE 和NSC 的可能的内存需求以及带宽需求。

2)在不需要改变输出报文格式的情况下,在输出记录中可以增加新的域。与之相反,之前版本,增加新的域意味着出现新版本的输出协议格式,为解析这种新的格式,NSC需要提供新的支持。

3)因为是以模板的形式输出信息,所以,即使NSC无法理解新增的域的真正语意,它仍然可以解释流记录。

V9流数据模板与流数据如下图所示:

图3V9流数据模板与流数据

3.2 NetStream流输出的三种方法

NDE对流的输出可以采用三种方法:逐流、采样和聚合。逐流就是将每条流的统计信息输出给NSC设备,采样就是按比例的统计流信息输出给NSC,NSC按照采样率恢复成原始的统计。

逐流的优点是:NSC可以得到流的详细信息,可以对这些流记录进行更为灵活的后续处理,缺点也是很明显的,增加了网络带宽和设备的CPU占有率,而且为了存储这些信息,需要大量的存储介质空间,并且有可能用户并不需要如此详尽的信息。采样可以降低存储介质空间的压力,但是统计信息会失真。

有没有即解决逐流信息爆炸,又减少采样失真的方法呢?于是提出了聚合的概念。所谓聚合,是指按一定的策略,将具有相同属性的流的流统计信息合并,比如:两个自治域间的所有报文,具有相同目的地的所有报文。在NDE设备上,先对流进行聚合,然后向NSC输出聚合后的信息,这样,就明显减少了网络带宽、CPU占用率和存储介质空间。

目前共支持10种聚合方式,详细解释见下表。

表2NetStream的10种聚合方式

聚合方式说明

as 自治系统聚合,根据NetStream 流的源、目的自治系统号,输入接口索引,输出接口索引,4个关键值进行分类,具有相同关键值的流合并成一条聚合的流,并对应一条聚合信息。

as-tos 自治系统-TOS聚合,根据NetStream 流的源、目的自治系统号,输入接口索引,输出接口索引,ToS,5个关键值进行分类,具有相同关键值的流合并成一条聚合的流,并对应一条聚合信息。

protocol-port 协议-端口聚合,根据NetStream 流的协议号,源端口,目的端口,3个关键值进行分类,具有相同关键值的流合并成一条聚合流,并对应一条聚合记录。

protocol-port-tos 协议-端口-ToS聚合,根据NetStream 流的协议号,源端口,目的端口,ToS,输入接口索引,输出接口索引,5个关键值进行分类,具有相同关键值的流合并成一条聚合流,并对应一条聚合记录。

source-prefix 源前缀聚合,根据NetStream 流的源自治系统号,源掩码长度,源前缀,输入接口索引,4个关键值进行分类,具有相同的关键值的流合并成一条聚合的流,并对应一条聚合记录。

source-prefix-tos 源前缀-ToS聚合,根据NetStream 流的源自治系统号,源掩码长度,源前缀,ToS,输入接口索引,5个关键值进行分类,具有相同的关键值的流合并成一条聚合的流,并对应一条聚合记录。

destination-prefix 目的前缀聚合,根据NetStream 流的目的自治系统号,目的掩码长度,目的前缀,输出接口索引,4个关键值进行分类,具有相同的关键值的流合并成一条聚合的流,并对应一条聚合记录。

destination-prefix-tos 目的前缀-Tos聚合,根据NetStream 流的目的自治系统号,目的掩码长度,目的前缀,ToS,输出接口索引,5个关键值进行分类,具有相同的关键值的流合并成一条聚合的流,并对应一条聚合记录。

Prefix 前缀聚合,根据NetStream 流的源、目的自治系统号,源、目的掩码长度,源、目的前缀,输入接口索引,输出接口索引,8个关键值进行分类,具有相同的关键值的流合并成一条聚合的流,并对应一条聚合记录。

prefix-tos 前缀-ToS聚合,根据NetStream 流的源、目的自治系统号,源、目的掩码长度,源、目的前缀,ToS,输入接口索引,输出接口索引,9个关键值进行分类,具有相同的关键值的流合并成一条聚合的流,并对应一条聚合记录。

3.3 NetStream统计信息的提取与输出处理

NDE统计信息的提取与输出处理过程如下图所示。

图4NDE统计信息的提取与输出处理

统计信息提取单元进行流的识别,把符合预定条件的流信息输出到统计信息处理单元,在统计信息处理单元可以对流信息进行聚合,并对流记录进行老化。老化后的流由打包输出单元打包输出。

NDE的统计报文可以输出给单台NSC,也可以配置NDE同时向两台NSC输出,NSC互为备份,这样可以减少报文在NDE到NSC传输过程中丢失概率,NDA从两台NSC上获取统计信息的并集,就可以获得相对准确的统计记录,如下图所示。

图5NetStream的数据输出

3.4 NetStream的能力

1)支持的接口

支持在物理接口和子接口上使能NetStream功能,对以太口(FE、GE),ATM口,POS 口的接口流量进行统计;支持对绑定到VPN的接口的入方向使能NetStream功能。

2)通过NetStream可获得的信息

?源前缀(Source prefix)

?源前缀掩码( Source prefix mask)

?目的前缀(Dest prefix)

?目的前缀掩码(Dest prefix mask)

?源自治域号(Source AS)

?目的自治域号(Destination AS)

?源协议端口号(Source port)

?目的协议端口号(Dest port)

? IP协议类型(IP protocol)

?入接口索引(Source interface)

?目的接口索引(Dest interface)

?服务类型(ToS)

?被聚合的流的数量

?被聚合的报文总的字节数

?被聚合的报文数量

?第一个报文的时间戳

?最后一个报文的时间戳

?next hop router IP address

3)入方向、出方向的流量统计

a) 对接口的入方向单播流量进行统计;

b) 对接口的入方向和出方向的单播流量同时进行统计;

c) 对接口的入方向组播流量进行统计;

d) 对接口的出方向单播流量进行统计;

e) 对接口的出方向组播流量进行统计;

f) 对接口的入方向和出方向的组播流量同时进行统计;

g) V5可以按流(入接口,出接口,源IP,目的IP,协议类型,源端口,目的端口,TOS,

源AS和目的AS)进行统计。这些统计信息可以按V5或V9格式输出给网管。

4)采样功能,即按比例统计接口的流量

a) 基于报文个数的采样,最大可设2的15次方个报文采样一个;

b) 支持报文个数的随机采样。

5)流量发送

流量统计结果可以发向两个网管服务器。

6)支持聚合

当前支持10种聚合,每种聚合支持两种格式输出(V8/V9),如果输出采用V9报文格式,可使用独立的模板参数协商配置,支持双目的地。详细说明见NetStream流输出的三种方法一节的表格。

4 典型应用

4.1 NDE的部署

在网络的接入层、汇聚层、核心层的网络设备上,都可以通过插入NetStream业务板使能NetStream,根据流量流向需求,采取相应的使能策略。

表3NDE使能NetStream策略说明

部署位置 应用

接入层应用监测、攻击监测

汇聚层计费、AS Peer监控

核心层流量分析、流量工程

4.2 安全监控

图6 安全监控

在接入或者汇聚层的路由器的入接口上启动NetStream特性,可以统计用户访问网络的详细记录,通过异常流量识别网络攻击,定位攻击源,为网络安全策略的制定和实施提供依据。

4.3 AS域规划

图7AS域规划

在核心层的出口路由器的AS接入接口,启动NetStream特性,同时启动出接口、入接口统计,根据需要配置流属性源/目标AS号为Original AS 或Peer AS,

NetStream

的流量统计信息为运营商间结算、网络规划提供数据。

4.4 组播流量统计与规划

图8 组播流量统计与规划

在组播路由器的组播源的入接口启动NetStream特性,可以统计组播源的流量。在用户接入接口启动NetStream可以统计组播复制的流量,为IPTV、流媒体/视频点播等组播业务提供网络规划、设备扩容的数据依据。

4.5 ISP间的流量分帐

图9ISP间根据IP前缀按流量分帐

在城域网汇聚层或者骨干层的ISP接入接口启动NetStream特性,同时启动出接口、入接口统计,通过目的IP和掩码,采用destination-prefix聚合,统计访问不同ISP的流量,为ISP 间的分帐提供数据。

5 结束语

NetStream基于“流”进行流量采集和聚合,可以为基于资源(如线路、带宽、时段等)占用情况的计费提供了精细的数据,可以为先进的网络管理工具提供关键信息,以便优化网络设计和规划,实现以最小的网络运营成本达到最佳的网络性能和可靠性。能够实现近于实时的网络监控功能和全网范围内的流量模式,并提供预先故障检测、高效故障排除和快速问题解决功能,提供安全监控等应用和分析。NetStream将不断推进网络流量流向分析技术的发展,为广大运营商计费结算、网络规划、网络运维提供数据支撑。

附录A 缩略语

英文缩写英文全称中文解释NDE NetStream Data Exporter 流量输出器NSC NetStream

Collector 流量收集器NDA NetStream Data Analyzer 流量分析器

相关主题