1、中国移动通信研究院。本规范主要起草人： 本规范解释权：1 范围本规范适用于中国移动的深度报文检测（DPI）设备，供中国移动内部和厂家共同使用。本规范是中国移动进行DPI设备采购和统一DPI复用的技术依据。本规范主要包含设备概述、设备结构、设备功能要求、接口格式要求、设备性能要求等内容。2 规范性引用文件下列文件中的条款通过本规范的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范，然而，鼓励根据本规范达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本规范。表2-1 规范性引用文件列表发布单位中国移
2、动通信集团公司中国移动手机恶意软件监测系统接口规范中国移动上网日志留存系统-数据合成服务器接口规范（PS域LTE分册）中国移动上网日志留存系统-Gn采集解析设备规范3 术语、定义和缩略语3.1 定义和术语本规范采用了下列定义：1 深度报文检测DPI（Deep Packet Inspection）是一种基于数据包的深度检测技术，针对不同的网络应用层载荷（例如 HTTP、DNS等）进行深度检测，通过对报文的有效载荷检测决定其合法性。2 深度流检测DFI（Deep Flow Inspection）是一种基于网络数据流的深度检测技术，针对不同的Flow（IP五元组）的流量统计规律和连接规律，例如连接速
3、率、流持续时间、报文长度分布等进行深度检测，对流进行分类。3 串接接入方式直接将DPI设备串接到上下游两台核心网设备之间的链路中，原数据流量全部流经DPI设备并完成分析、流控和转发。串接接入方式要求DPI设备对源网络实现链路层透明转发，不增加新的路由跳数。4 并接接入方式通过在监测链路上部署分光器件将数据流量复制一份到DPI设备进行分析，原数据报文不发生改变进行传输。并接接入方式也可以通过交换机端口镜像实现。并接方式通过向业务源端或目的端发送伪造的控制数据包，实现在业务流的源端或目的端降低流量或中断该数据流。5 XDRXDR（X Data Recording）是由CDR（Call Data R
4、ecording 呼叫数据记录）演变而来的概念。CDR是传统通信网中对通话过程中网络关键信息的记录。XDR是CDR概念的扩展，在本规范中泛指对移动网络、承载网络中数据流量的关键信息记录，即流量日志，以用户会话为单位，一个会话形成一条XDR记录。3.2 缩写本规范使用了下列缩写：DPIDeep Packet Inspection，深度报文检测DFIDeep Flow Inspection，深度流检测IDCInternet Data Center 互联网数据中心P2PPeer to Peer 点对点VoIPVoice over Internet Protocol 互联网电话QoSQuality o
5、f Service，服务质量APNAccess Point Name，接入点名称4 设备概述4.1 统一DPI定义DPI（Deep Packet Inspection）设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。统一DPI指一套DPI设备对链路上的流量进行采集与识别，并将满足其它系统所需的流量或分析统计数据分发给各第三方应用系统服务器。网络中各类流量管理相关的应用系统，如网间流控、Web
6、Cache、非法VoIP检测、上网日志留存等，主要由DPI设备和应用服务器组成。其中， DPI设备负责数据采集、流量分析统计、日志合成，应用服务器主要完成对数据的进一步分析处理，合理组织和存储数据，并进行呈现。统一DPI整合了多个第三方应用系统的DPI设备，通过DPI复用为多个系统提供DPI能力，如图4-1所示。图4-1 DPI复用举例4.2 适用场景中国移动网内流量，从用户出发，按照接入网、城域网、省网、骨干网的顺序在网内传输。由此，在全网五个点进行流量分析，部署DPI设备，即可捕捉到网内流量全貌。按照部署位置的不同，可以把统一DPI分为五个应用场景，如图4-2所示。每个场景的流量具有不同的
7、特征，上层的应用也有不同。图4-2 统一DPI应用场景4.2.1 场景一：PS侧2G/3G网络的Gn接口链路，以及4G网络的S1-U接口链路。4.2.2 场景二：IDC出口指IDC连接省网/骨干网的出口，即IDC出口路由器与外部承载网络之间的链路。4.2.3 场景三：省网出口指省网到骨干网的出口，即省网汇接路由器与骨干网路由器之间的链路。4.2.4 场景四：省网网间出口指省网连接第三方网络的出口，即省网网间出口路由器与第三方网络之间的链路。4.2.5 场景五：骨干网网间出口指骨干网连接其他运营商网络的出口，即骨干网网间出口路由器与其他运营商网络之间的链路。4.3 复用方式按照应用系统所需数据内
8、容和格式的不同，DPI复用分为四种方式，其中第一种复用可以由分光器复用来实现，后三种复用由DPI设备复用实现。统一DPI复用主要指后三种复用方式。4.3.1 方式一：分光复用（可选）指通过链路分光器或DPI设备分光功能，将光路信号完整的复制分发给应用系统。适用于系统特征库特殊，不易整合的应用系统。4.3.2 方式二：原始报文镜像复用指DPI设备将全部原始报文或者经过特定条件过滤后的部分原始报文复制分发给应用系统。适用于系统明确需要某种报文的应用系统。4.3.3 方式三：会话级数据复用指DPI设备分析记录流量的会话数据（XDR），并将会话数据按指定格式发送给应用系统。适用于以分析流量日志为主的应
9、用系统。4.3.4 方式四：统计级数据复用指DPI设备统计流量的各项指标，并将统计结果发送给应用系统。适用于需要简单明确的统计指标的应用系统。5 设备结构5.1 设备结构图如图5-1所示，统一DPI设备通过直接串接或者分光并接的方式接入链路，设备由采集识别模块和分析统计模块组成，形式可以是集成在一个设备中的两个功能模块，或者是独立的两个设备。对于串接方式的统一DPI设备，要求增加Bypass保护，当串接设备发生故障时，可以切换到直通模式。图5-1 统一DPI设备结构图5.2 模块功能描述（1） 识别控制模块识别控制模块主要完成功能如下： 对链路流量的采集，以及流量中各种业务与协议的识别； 各种
10、关键信息的提取与记录，如源IP地址、目的IP地址、源端口、目的端口、协议号等； 识别信息的上报； 原始数据镜像转发，可为每个目标镜像系统配置不同的镜像规则。 干扰措施的具体实施，对流量进行控制；（2） 分析统计模块分析统计模块主要完成功能如下： 配置消息的接收，可以接受来策略服务器或其他应用平台的管控策略、对象信息等； 负责标准格式流量日志的生成，并对其他应用系统进行日志提供； 完成基于识别控制模块识别结果上报信息的分析和统计，并生成统计报表呈现； 提供设备WEB的访问方式，为设备管理配置提供可操作平台。5.3 接口描述统一DPI设备的接口，按照功能角色的不同，可以分为线路接口、复用接口、和配
11、置接口。如图5-2所示。线路接口和复用接口可以在设备上固化为不同的物理接口，也可以将同一个物理接口灵活配置为线路接口或复用接口。但一个物理接口在同一时间只能配置为某一种接口角色，不能同时担任两种角色。图5-2 统一DPI接口示意图 线路接口负责链路流量的接收（串接和并接情况）和转发（仅串接情况）。 复用接口复用接口指统一DPI设备和第三方应用系统间的接口，负责给应用系统提供所需数据。如图5-3所示，按照不同复用方式发送的数据内容，复用接口又可分为镜像接口（原始报文镜像复用）、会话数据接口（会话级数据复用）、和统计数据接口（统计级数据复用）。图5-3 复用接口 配置接口用于策略服务器给统一DPI
12、设备下发策略、对象、特征库等信息，包括流量流向划分、识别特征库、控制策略等。策略服务器可由运营商统一设置，或由现有应用系统平台承担。6 设备功能要求6.1 识别功能（1） 能够对常见协议及业务进行识别。目前，应能够识别的协议、业务类型、与识别准确性详见中国移动数据流量DPI识别能力规范，识别种类应包括但不限于规范所列内容。（2） 设备的识别规则库可配置，能够接受通用规则库的下发，且自动加载为设备的识别规则库并生效。（3） 能够基于源IP地址、目的IP地址、源端口、目的端口、协议号五元素及其组合对流量进行识别。（4） 能根据EXP、TOS、DSCP等网络层及链路层特征字段对流量进行识别。（5）
13、能够自动识别、还原网络中的隧道协议（VLAN，PPPOE, MPLS，GRE, GTP等）内封装的正常流量。（6） 能够对流量特征进行采集，并进行流识别（DFI）。流量特征包括：流的传输速率、数据包长度、流的持续时间、以及数据流总量等。（7） 能根据流量特征，对加密的应用进行识别，并对其流量进行统计。（8） 能根据流量中的特征字段，对流量进行识别。特征字段指流量数据包中有固定特征的一段二进制序列。（9） 同时支持IPv4和IPv6流量的识别。（10） 能够识别Gn、S11接口的移动网络信令消息。（仅对PS侧场景要求）6.2 分析统计功能6.2.1 流量流向及业务占比分析统计（1） 能够对网络流
14、量进行流量流向分析和统计，流向包括运营商、省份及地市、网站、IP地址、AS域等，并建立流量模型。（2） 支持按单个IP地址及IP地址段进行流量统计和分析，支持自定义IP地址或地址段作为流量流向统计中的访问源或目的，支持对自定义IP地址段进行添加和维护的功能。（3） 能够针对指定的业务应用按流向进行统计和分析。（4） 能够针对指定流向的流量按各类业务组分流量占比进行统计和分析。（5） 支持按接入类型（包括：WLAN、GPRS/TD/LTE、家宽、集客）、出口节点（单选/多选/汇总：骨干各节点、31个省）、用户省份进行业务占比分析，并统计出口出流速、出口入流速、选定移动业务的出流速/流速占比、选定
15、移动业务的入流速/流速占比、对各省出口的移动自有业务占比进行分析。（6） 可提供在选取访问源和目的后，流量所经的出口路径/端口信息及对应路径的带宽。（7） 支持动态选取以下统计条件或其组合定制流量流向信息报表： 时间段； 出口节点（31省出口节点、骨干出口节点，多选）：支持对选取节点的分开统计和汇总统计，选取该项，在呈现时需同时呈现节点带宽和流向； 访问源（可选）：包括但不限于（按照地域：网内/网外/AS域/31省/各点IDC/骨干/电信/联通等；按照接入类型：WLAN、GPRS/TD/LTE、家宽和集客），地域和接入类型可作为两个维度同时选取，同一维度可多选。 访问目的地（可选）： 业务类别
16、：需统计的业务组分参见中国移动数据流量DPI识别能力规范大类分类要求。6.2.2 网站分析统计（1） 能够分域名/URL统计访问次数、访问流量，并能对域名按网站进行聚合。（2） 能够记录对应域名/URL的访问源/目的IP地址。（3） 能按照访问次数或流量进行域名/URL的TOP N排序。6.3 控制功能6.3.1 串接模式下的控制功能（1） 至少应包括流量控制（带宽限制和带宽保证）与连接数控制两种模式。既可独立使用，也可以同时使用。（2） 在链路拥塞的时候，能够对特定流量的带宽提供保障。（3） 能够支持基于源地址、目的地址、协议号、源端口、目的端口及其任意组合的流量限制功能。（4） 能够根据已
17、识别的流量，实现基于应用协议的流量限制功能，包括：保证（最小带宽）、限制（最大带宽）、流量透传、丢弃等。（5） 可针对单个用户分应用协议进行流量控制。策略应包括：（6） 支持对不同业务/应用、协议、IP地址、账号、时间等多维度条件，设定不同的控制策略。（7） 能够基于源地址、目的地址、协议号、源端口、目的端口、域名、用户等信息设置白名单、黑名单。（8） 能够支持入口的带宽控制，超过入口流量就随机丢包，以确保网络在超载时维持最大的数据传输能力。（9） 能实现对链路上、下行流量分别进行限制的能力。（10） 支持引流标记功能，即对能够对流量进行TOS/DSCP等特征字段的标记，由后续路由器根据标记进
18、行差异化转发。（11） 支持对业务中加密流量的控制功能。（12） 支持对未识别流量的控制功能。（13） 能够基于链路的流量拥塞情况，动态应用带宽控制策略。要求能够检测链路拥塞情况，流量到达拥塞门限值，即时进行带宽控制；链路流量低于门限值，自动取消带宽控制。6.3.2 并接模式下的控制功能（可选）（1） 并接DPI设备能够通过接入网络链路来发送干扰包，能够通过中断连接的方式进行端到端的带宽控制。其中TCP流量通过中断TCP连接来实现，UDP流量通过识别应用层协议并中断应用层连接来实现。（2） 能够根据已识别的流量，实现基于应用协议的P2P流量限制功能，并能设置P2P白名单控制，即指定IP/IP段
19、的流量不进行控制。（3） 支持对不同业务/应用、协议、IP地址、账号、时间等多维度条件，设定不同的控制策略。（4） 能够基于源地址、目的地址、协议号、源端口、目的端口、域名、用户等信息设置白名单、黑名单。（5） 能实现对上、下行流量分别进行限制的能力。（6） 并接设备控制范围误差率不超过5%.6.4 复用功能DPI设备支持四种方式的DPI复用：分光复用、原始报文镜像复用、会话级数据复用、统计级数据复用。6.4.1 分光复用（可选）对于具备分光功能的DPI设备，支持给第三方应用系统分光。6.4.2 原始报文镜像复用（1） 支持对已识别的流量进行过滤并镜像。（2） 支持按照按协议、业务类型、网站、
20、特征字段等条件过滤或组合维度过滤流量并镜像。应支持的协议和业务类型参见中国移动数据业务识别能力规范。（3） 支持按照流量内容进行镜像，内容包括文本、图片、视频等。（4） 支持按IP地址段镜像，可以是源IP，也可以是目的IP，也可以源IP和目的IP共同作为过滤条件。（5） 支持按源端口、目的端口配置是否镜像。（6） 支持根据报文的流向（上行、下行、双向）配置是否镜像。支持配置多个镜像规则，并对应至不同的镜像端口。镜像规则组（目标系统）不少于8个，每个规则组至少对应一个物理端口，且保证能向目标系统提供完整所需数据。（7） 支持多个镜像端口能配置相同规则，并能够将符合规则的流量复制多份镜像给多个端口
21、。（8） 当多个镜像端口镜像同一份流量时，支持多个镜像端口之间的负载分担。（9） 支持按照多个指定的规则分别进行镜像，并允许多个指定规则之间有交叠。（10） 支持POS帧到以太帧的报文格式转换。6.4.3 会话级数据复用（1） DPI设备支持与第三方应用系统之间采用指定协议的文件接口实现会话数据交换，交换对象为DPI生成的日志文件（XDR）。（2） 支持与第三方应用系统之间采用指定协议的实时数据接口实现XDR的实时发送。（3） XDR针对会话生成，即一个会话对应一条XDR记录。会话指由一个IP五元组唯一确定的一条流。（4） 支持日志数据订阅功能，即只发送订阅范围内的日志记录给应用系统，订阅条件
22、包括用户、协议、应用、时间段等。（5） DPI设备支持向多个系统（至少5个）吐出会话级数据，并能依据不同系统的订阅要求吐出相应的日志字段。（6） 支持按照标准字段来生成日志记录，字段要求参见第节会话接口数据要求。6.4.4 统计级数据复用统计级数据指DPI设备经过深度处理，生成统计报表类数据并输出给第三方应用系统。统计级数据的粒度要大于会话级数据，其不能还原出各类用户、业务的每一次访问信息，而是对会话级数据的各个维度进行组织和统计分析得出的统计数据。详细功能要求见上 节分析统计功能。6.5 安全功能6.5.1 DDoS攻击监控DPI设备支持DDoS检测，识别TCP Land、TCP WinNu
23、ke、TCP Flag、UDP Fraggle、Ping of Death等多种类型的异常包攻击和Flood攻击，统计出被攻击的IP地址、开始时间、结束时间、攻击类型、攻击流量等信息，并支持将信息定时或按要求时间上报。对于串接设备，应同时支持对DDos攻击流量进行标记并发送至清洗平台。6.5.2 文本/图片还原设备应满足对需要识别的文本、图片进行还原，并支持将还原后的文件以FTP的形式上传。文本、图片至少支持如下格式：文本：编码方式至少支持Big5、UTF-8、GBK、GB2312； 内容类型至少支持txt、html、mht、xml、wml、xhtml；图片：JPEG、GIF、PNG、BMP、
24、TIFF、JPEG2000。6.5.3 软件还原（仅对PS侧场景要求）设备支持对指定协议和文件类型的流量进行还原获得网络日志和样本文件。1） 支持对各类网络协议（包括http、WAP、MMS、SMTP、POP3、FTP）的还原，支持还原的文件类型包括sis、sisx、jar、apk、cab、exe、ipa、cod、alx、prc、zip、rar、elf，并支持将还原后的文件以FTP的形式上传；2） 支持还原样本文件的同时生成相关的网络日志信息，日志结构详见中国移动手机恶意软件监测系统接口规范IF_ FileUpload接口的要求。6.6 回填功能（1） 设备能根据采集流量中的信令报文，解析出用
25、户账号等关键信息，并将此类信息回填至相应的XDR中，比如用户号码MSISDN，IMSI信息需要回填到XDR。（2） 设备能根据网络其他位置上部署的信令解析设备、NAT设备、Radius设备等采集的信令、公私IP地址对应关系、用户账号等信息，对数据流量识别后生成的XDR记录进行特定字段的回填操作，特定字段如用户号码MSISDN、IMSI、位置信息、公有IP地址等。（3） 设备能够通过FTP下载、批量导入、手工添加等方式获取用户账号、终端信息等数据库信息，并提取所需字段回填至流量XDR中。（4） 回填功能要求能够实时/准实时，满足回填后的XDR每5分钟上报的要求。（5） 支持对未能正确回填的XDR
26、进行保存及查询功能。6.7 非对称流量归并功能（1） 设备支持在同机房内将同一个会话分布在不同链路上的非对称流量进行正确的识别、统计、控制、还原等功能，并生成该会话完整的XDR。（2） 对于只能采集单方向流量的情况，要求能够对不完整的会话同样进行分析与统计，并生成该会话不完整的XDR，供上层应用进行合成。6.8 数据回放功能设备支持从服务器下载pcap文件，并对下载的pcap文件进行回放。针对回放的文件，能够输出统计报表。回放功能需要能够与对网络中正常流量的DPI检测功能并行实现，并相互独立，包括：1） 回放数据同时能够不影响正常流量的检测，正常流量的XDR中不包括回放数据的XDR；2） 能够
27、对回放数据出单独的统计报表，其中不包括正常流量的信息。Pcap文件下载消息参见节“资源特征库下发消息”，统计报表参见节“业务流量统计”报表。6.9 原始数据留存功能（仅对PS侧场景要求）设备支持对流量的原始数据包进行保留，需要保留的原始数据及留存要求包括：（1） 信令和业务数据原始码流：设备能够经统一封装格式实时输出信令和业务数据原始码流，业务数据去掉Payload部分，将原始数据组成一个数据包，并在给每个数据包打上XDR ID后发给上层系统。具体封装格式及上报方式参考中国移动上网日志留存系统-LTE采集解析设备XDR接口规范“基于XDR的原始码流上报”。（2） 预设条件的全量原始码流数据抓取
28、：支持按照预设条件对全量数据（包括全量的控制面信令和全量用户面数据）进行抓取，支持的预设条件包括： eNodeB、MME的IP（单个或多个IP地址），SGSN、GGSN的IP（单个或多个IP地址）； 用户的IP地址，IMSI，MSISDN； 支持根据业务报文，也就是TCP的关键字（如TCP包头的40个字节内容）进行原始数据的抓取；（可选）一般情况下，设备不对原始数据进行存储，只在两种情况下需要对数据进行存储：（1） 当链路出现故障时，应具备把数据完整地缓存到硬盘的功能，待链路恢复后可由上层系统提取缓存的数据。需要缓存的数据包括：Gn的全量控制面信令，Gn的用户面数据（只保留包头不包括最上层payload数据），S1-U的用户面数据（只保留包头不包括最上层payload数据）。本地数据磁盘容量要求能满足在最高采集速率情况下存储1小时（10Gbps流量
