1、完整word版中国电信移动互联网业务感知测试APP功能规范v20保密等级：公开发放放中国电信集团公司 发布201x-xx-xx实施施201x-xx-xx发布中国电信移动互联网业务感知测试APP功能规范V2.0 QCT xxxx-201x中国电信集团公司技术标准前 言本标准为中国电信首次制定，旨在对移动互联网业务感知测试APP的功能进行统一规范，以支撑中国电信开展移动互联网业务感KQI指标的采集、分析及优化。本规范起草单位：本标准由中国电信集团公司网络运营维护事业部组织制定，中国电信股份有限公司广州研究院起草。本规范主要起草人：姜松、郑忠民、李文云、曹维华、蒋春元、贺晓东等。中国电信移动互联网业
2、务感知测试APP功能要求1 范围本标准规定中国电信移动互联网业务感知测试APP的功能，包括业务测试功能、业务监测功能、辅助诊断功能、数据采集功能、异常事件监测功能、业务行为监测功能、自动升级功能、测试目标选择功能、测试结果数据上传功能、APP控制功能、APP数据预处理、接口功能等要求。本标准适用于中国电信移动互联网业务感知测试APP及分析系统，为移动互联网业务感知分析系统（以下称“分析系统”）开发部署提供技术依据。2 缩略语下列缩略语适用于本标准：HTTP HyperText Transfer Protocol 超文本传输协议ICMPInternet Control Message Proto
3、col，Internet控制报文协议IMSIInternational Mobile Subscriber Identity 国际移动用户识别码MSISDN Mobile Station ISDN Number 移动用户电话薄号码LTELong Term Evolution长期演进URL Uniform Resource Locator 统一资源定位符WAP Wireless Application Protocol 无线应用协议Wi-Fi Wireless Fidelity 无线保真KQIKey Quality Index关键质量指标DPIDeep Packet Inspection深度报文
4、监测3 移动互联网业务感知测试APP在网络中的位置移动互联网业务感知数据的获取主要有两种方式：方式1为测试APP方式，方式2为信令及DPI监测方式。移动互联网业务感知测试APP作为移动互联网网业务感知分析系统的一部分，在网络中的位置如下：测试APP及控制和预处理的逻辑架构如下图所示。它包括以下三个部分：（1）测试APP部分：在智能终端上安装测试APP软件，通过业务监测、业务测试两种工作模式，实现终端业务感知数据的采集，测试数据上传服务器。（2）APP控制部分：对终端的采集进行集中控制，对配置的更新周期、软件版本更新检查周期、数据上传周期、业务配置等进行管理。4 APP功能要求移动网络的日常使用
5、中，通过在手机上模拟真实用户行为的操作或者监测真实用户在手机上的实际业务操作过程或者监测真实用户在手机上的实际业务操作过程可以直观地体现用户感知数据，特别是使用率较高的页面浏览、视频播放和即时通信等业务，可以真实反映出用户业务感知情况。业务感知测试APP应具备对页面浏览类、视频类和即时通讯类业务的端到端测试功能，对相关业务感知KQI指标进行采集，包括当时的无线环境信息、坐标位置信息以及手机信息等，并按照规范要求解析、生成、合并数据信息，向数据平台提供数据结果。4.1 APP工作模式测试APP在不同的应用场景下采用不同的工作模式。工作模式包括两类：业务测试模式和业务监测模式。（1）业务测试模式：
6、APP软件带有操作界面，使用者可以在界面上模拟真实用户行为主动发起业务测试，并由APP软件自动采集被测业务的相关信息。测试采集信息可以由使用者手动触发上传，也可由软件自动完成上传。业务测试模式具备全自动测试模式，通过服务器端每天下发测试参数到手机，在终端上实现一键测试。暂定支持的业务测试包括网页浏览、视频浏览、测速。并可以实现测速参数针对不同省份可调，包括具体测试网址、测试次数。全自动测试模式下，如果出现超时严重（10s），可以启动相关辅助诊断工具进行分析检测。（2）业务监测模式：使用者正常使用终端进行各种业务，在其使用各类业务的过程中，APP的后台进程持续监测用户的业务使用行为，当用户使用了
7、需要监测的特定业务时，由APP的后台进程自动对该用户的业务使用相关信息进行采集，采集信息按照约定的规则自动上传到服务器。在此模式下，用户不需要进行任何额外的操作，数据采集和上传的过程也不能对用户的正常使用产生任何干扰。此模式不要求测试APP具备操作界面。（3）测试任务同步：测试APP上的业务测试内容和业务监测内容应具备远程同步功能，每次启动APP时自动与后台同步最新的测试内容或监测内容，也可手动进行同步。内容同步功能可根据不同省份下发不同的测试内容，具体测试内容在后台进行统一制定。（4）自动化测试功能：业务测试模式除提供界面供用户手动触发任务外，应具备业务自动化测试功能。自动化测试功能是指测试
8、APP根据控制平台的统一任务调度安排，对接收到的测试任务执行测试，测试完成后结果按照要求回传后台。4.2 业务测试与业务监测功能4.2.1 浏览类业务测试与监测功能业务感知测试APP应对主流页面浏览类网站/应用发起端到端的访问测试，通过指定URL和测试次数，在应用层对URL发起HTTP请求，对请求和响应流程各阶段进行时戳捕获，解析后获取以下指标：DNS解析延时、首包延时、页面打开延时、请求地址、请求IP、下载文件大小、下载文件速度、访问成功是否成功、建立连接时延、发送请求时延、接收响应时延； 移动网络页面浏览类业务感知指标主要体现在HTTP请求各阶段的延时，而业务感知KQI评价指标选用首包延时
9、和页面打开延时。a) 服务器首包响应延时：用户发起浏览请求到收到目标服务器响应第一个http 200 ok报文之间的所经历的时长，单位为ms。首包延时体现了用户容易感知到的浏览器对HTTP的响应是否有反应及时长。b) 页面打开延时：用户发起浏览请求到收到整个HTTP页面下载完毕并渲染完成时长，单位为s。页面打开时延反映了用户从访问开始到页面打开所需要等待的时间，影响业务感知。APP在每次启动前进行一次待测试地址的请求，以便于根据不同阶段的测试需求进行调整。浏览类业务感知测试可以一次进行一个站点或者多个站点的访问测试，按照既定顺序线性执行测试并回传测试结果。测试中，APP应显示完整HTTP页面。
10、DNS解析时延：从程序访问开始到完成DNS解析的时延；建立连接时延：DNS解析结束到TCP连接建立完成的时延；发送请求时延：TCP建立完成开始到收到响应的第一个数据包的时延；接收响应时延：从接收到第一个响应数据包开始到响应接收完成的时延；空口建立时延：网页浏览时，如果出现超时情况，应能主动调用辅助诊断工具进行诊断调用。（仅针对专业版）。4.2.2 视频类业务测试与监测功能业务感知测试APP应对在线视频类业务进行播放测试，通过指定要请求的视频地址进行端到端的访问，通过模拟用户在线观看视频的实际业务，在视频访问的过程中，记录视频平均下载速率、峰值速率、卡顿次数等指标。指标计算：用户发起视频播放请求
11、后的10s内，每500ms记录一次该阶段的下载速率，并统计出整个阶段的视频下载的平均速率和峰值速率；APP在启动时需要请求一次最新的视频浏览类测试地址，以便于适应不同阶段的需求而对视频类业务感知KQI指标进行提取。请求的视频文件大小大约在10M左右。对于网络状况较好的情况下，如果不到10s就已经下载完成，应只统计下载期间的速率。4.2.3 即时通信类业务测试与监测功能业务感知测试APP须对即时通信类业务进行消息发送和接收测试，通过在指定某种或某几种即时通信工具上模拟用户的发送消息和接收消息，获取到消息发送/接收的时延、速率及成功率。移动网络的即时通信类业务感知指标主要体现在用户使用此类应用时消
12、息发送和接收的准确情况，业务感知KQI评价指标选用发送/接收成功率：a) 消息发送是否成功：用户在触发消息发送到服务器成功接收消息；b) 消息发送接收时延：用户在触发消息发送到对端用户接收成功所消耗的时间记为消息发送接收时延；c) 消息发送速率：发送速率可以用发送消息的大小/用户在触发消息发送到服务器接收成功所消耗的时间，发送消息可以是文本、图片和视频；d) 消息接收是否成功：发送消息在发送成功后，用户在接收端上接收到相同内容的消息记为接收成功；4.2.4 网络测速功能业务感知测试APP须对网络的吞吐率进行测试，测试过程包括下载速率测试和上传速率测试。网络测速通过HTTP协议进行，测速地址选用
13、目前已有的测速服务器。网络测速采集的指标包括下载平均速率，下载峰值速率，上传平均速率和上传峰值速率：a) 下载平均速率：用户在触发网络测速下载测试时，整个下载过程的平均速率，用下载消耗数据量/下载消耗时长；b) 下载峰值速率：用户在触发网络测速下载测试时，在整个下载过程中每500ms记录一次速率情况，取各次中最快的几位峰值速率；c) 上传平均速率：用户在触发网络测速上传测试时，整个上传过程的平均速率，用上传消耗数据量/上传消耗时长；d) 上传峰值速率：用户在触发网络测速上传测试时，在整个下载过程中每500ms记录一次速率情况，取各次中最快的几位峰值速率；e) 支持多线程测试，针对3G网络只使用
14、单线程测试，针对4G网络开启多线程测试（暂定开4线程）。f) 测速开始前应首先发起Ping测试，确保测速服务器能正常访问。如果Ping超时，应提示用户测速服务器不可用。g) 本项功能应实现为一键测试，无需用户做更多操作。h) 测速网址应按归属省份下发不同网址。但对于漫游用户上报的测试数据应在做统计时剔除掉（后台进行操作）。测速所用文件为100MB以上，测速时间为10s。4.2.5 全自动测试业务感知测试APP（专业版）应具备一键式全自动测试功能。在测试中，根据服务器所下发的配置参数完成网页、视频、测速测试。在测试中，应对目标网址依次进行测试，并在APP上显示测试结果（非后台处理方式）。APP具
15、备在网络出现异常情况导致超时的情况下，能启动辅助诊断工具进行对目标网址进行分析检测，并且将诊断结果呈现在APP上的功能。如果有网站访问出现异常，可以即时在后台调用辅助诊断工具。待测试结束后再把辅助诊断工具的测试结果呈现在APP上。4.2.6 业务监测数据采集在用户无感知的前提下，以被动静默监测的方式进行相关数据采集，主要包括以下两个方面的采集。A 业务行为信息采集功能业务感知测试APP应在不干扰用户正常使用网络和业务的前提下，在用户使用手机进行各种数据业务的过程中，对手机上发生的业务感知信息进行采集，并同时记录业务发生时的无线环境信息。具体记录信息包括：业务使用开始时间、APP名称、IMSI、
16、MEID、地市、网络制式、使用APP业务的时长、上行流量、下行流量、上行速率、下行速率。上下行速率指标获取应剔除无数据流量的时间段。B 数据连接信息采集功能主要KPI指标包括：建立数据连接成功率和建立时延。在用户使用手机APP进行数据业务使用时，记录手机由无数据连接状态转换为进入数据连接状态的成功率和所用时间。记录以下信息：业务使用开始时间、IMEI、IMSI、建立数据连接是否成功、建立数据连接时延、网络制式、CDMA（SID、NID、BSID、信号强度）/LTE(Ci、Pci、TAC、ENBID、RSRP、 RSRQ和SINR)。C 诊断信息采集功能公众版做被动式监测时可以在业务访问出现问题
17、时调用辅助诊断工具进行诊断测试，并上报测试结果。4.3 辅助诊断功能业务感知测试APP应提供诊断网络问题的辅助工具，当在测试时出现指标异常情况时，通过网络诊断工具进行初步的现场问题诊断，诊断结果可以在本地进行浏览并支持将测试结果上传服务器。测试网址通过服务器下发，客户端应能对测试网址进行修改，包括增、删、修改。4.3.1 DNS监测工具功能DNS监测工具用来检测DNS服务器是否能对目标网址进行正常解析。DNS监测通过配置自动选择DNS服务器以及指定DNS服务器等方式，对DNS异常信息进行捕获。测试结果以文件形式保存在本地，可以选择某次的测试结果上传至后台服务器共后续的分析研究。4.3.2 Pi
18、ng测试工具功能Ping工具用来检测目标地址的访问时延，当在业务测试时访问异常或时延指标值很大时，可使用Ping工具用来辅助检测网络是否通畅。默认Ping包大小为64字节，超时时间为3秒，发送包个数为5个，各参数可按照实际需要进行配置。测试结果以文件的形式保存在本地，可以选择某次测试结果回传至服务器侧供后续的分析研究。4.3.3 Traceroute测试工具功能Traceroute工具用来检测从测试发起端到业务目标地址端数据包在IP网络经过的路由器的IP地址以及各路由节点延时的情况。当业务测试时访问异常或者时延指标值很大时，可使用Traceroute工具用来辅助监测网络中的哪一段出现异常导致业
19、务感知情况下降。Traceroute测试默认使用TTL为30，每次发包的等待超时时间为3秒，可按照实际测试需要进行配置。测试结果以文件的形式保存在本地，可以选择某次测试结果回传至服务器侧供后续的分析研究。4.3.4 无线数据采集功能无线数据采集功能应对LTE信号指标，CDMA信号指标数据进行室外/室内采集，指标内容应涵盖CDMA基站SID/NID/BSID以及信号强度信息，LTE基站TAC/CI/PCI指标以及信号的RSRP/SINR/RSRQ信息，在信号采集的同时对位置信息进行同步采集。采集的结果可以通过测试APP中以折线图和表格进行同步展示(部分)，室外无线数据采集可以在GIS上进行实时展
20、示。完整的测试结果以文件形式保存在本地，并回传服务器侧用于平台化展示和后续分析研究。4.4 网络异常监测功能业务感知测试APP应对手机上发生的网络异常事件进行捕捉，以用户无感知的形式对网络无法连接、数据网络连接异常、网络频繁切换、弱覆盖、回落等网络异常事件的数据进行捕捉和记录，同时记录网络异常发生时的位置信息（经纬度）和无线环境信息。a) 网络无法连接：手机处于无信号的状态；b) 数据网络连接异常：手机处于在网状态但是无法进行数据连接；c) 网络频繁切换：在5分钟内超过3次在某几个网络(LTE/eHRPD/CDMA 1X)中进行切换；d) 数据网络连接异常（数据掉线）； 手机处于正常数据连接时
21、，非人为原因导致的数据连接断开；e) 弱覆盖：信号强度低于某一门限值并且持续一段时间（4G弱覆盖（-105）、3G弱覆盖（-95）、2G弱覆盖（-95）持续5秒）；f) 制式回落：手机网络主制式由高制式变化为低制式（4G回落3G、4G回落2G、3G回落2G），排除接打电话时发生的4G和2G之间的制式切换。4.5 数据采集功能在业务感知测试APP采集KQI指标的同时，应对其他类型的数据进行采集，便于业务感知分析系统开展业务感知质差定界/定位。在提供主动采集的基础上，应提供基于被动静默监测的方式进行数据采集。4.5.1 无线环境信息采集功能业务感知测试APP是针对移动网络中用户的使用感知情况的测试
22、，测试任务执行时所处的无线网络环境信息对于定位影响业务感知的网络原因有很重要的意义，同时此类数据对网络的运营优化提供数据支撑。无线环境信息包含：a) CDMA基站的SID、NID、BSID和信号强度；b) LTE基站的Ci、Pci、TAC、RSRP和SINR指标；c) WiFi联网下的SSID、MAC地址和频道（channel，一般wifi为113）；4.5.2 坐标位置信息采集功能业务感知测试APP应具备坐标位置信息的记录，在业务测试和辅助诊断过程中，添加测试任务执行的坐标位置信息，便于系统侧对业务测试结果进行统计归类。坐标位置信息包含：GPS经纬度(未加干扰的GPS结果)、省份名称、地址地
23、市名称和街道信息；无GPS信号情况下，如果用户使用了wifi网络或数据网络连接，通过通用的第三方接口进行网络辅助定位；以上方式均无法定位的情况下，定位到服务小区所在基站的经纬度。坐标位置信息可以在GIS上对移动网络的使用热点区域和异常区域进行标注，同时可以用于描述热门或重点区域/路线的整体网络业务感知情况。是否是热点区域还是异常区域由服务器端判定，同时将相关信息反馈给APP。4.5.3 手机相关信息采集功能业务感知测试APP应具备对手机相关信息的采集，在业务测试中添加机型、OS版本、手机内存、CPU用量等信息。由于手机本身的情况对用户感知也有很大影响，此类信息便于对业务测试结果进行统计归类和挖
24、掘用户感知中较突出的结果中导致用户感知数据较好及较差的真实原因。手机相关信息包含：IMSI、MEID/IMEI、手机机型、OS版本、基带版本、内核版本(如有则提供)、内部版本(如有则提供)、手机内存占用率(如有则提供)、手机CPU使用率(如有则提供)、耗电量。4.6 手机客户端的自动升级功能业务感知测试APP应具备自动升级功能，在用户进入应用时或者定时请求新版本应用，如存在新版本则下载安装包进行自动升级。测试APP升级后，应保留原有未上传的测试数据并且不影响原有测试任务计划。4.7 测试目标的选择功能4.7.1 对重点业务目标进行测试统计分析，用户使用新闻/门户网页浏览类、视频类和即时通信类应
25、用消耗应用流量和使用时长占比超过80%。而每种类型的业务，被访问的目标应用呈现较明显的长尾效应，综合分析后选定各类应用的TOP N重点业务进行测试。业务类型初步选定TOP N页面浏览类网易、新浪、搜狐、人民网、凤凰、微博、苹果、腾讯、XX、淘宝视频类优酷、土豆、爱奇艺、搜狐视频、腾讯即时通信类微信、易信、手机QQ测试APP测试目标的选择支持按照业务需要动态变更（包含增加、减少、修改）的功能。4.7.2 对模拟业务目标进行测试在业务感知测试中，选取TOP N重点目标可以对用户真实的使用情况进行模拟测试，测试结果反映用户的使用情况。但由于测试目标的服务器的运行情况和电信网络外的网络质量均为不可控因
26、素，而此类问题导致的业务感知指标下降为网运外因素。为了更好的分析定位问题，各省应建设模拟信源作为测试目标，在网内进行页面浏览、视频下载业务和网络测速等业务测试，测试结果用于对比重点业务目标的结果。模拟信源可选用现有设备利旧。4.8 不同版本的功能从APP搭载功能的角度分析，全面的网络指标及网络诊断工具对大多数公众用户并不适用。推广运营和设备维护等因素也对业务感知测试APP的版本丰富程度提出了要求，业务感知测试APP应针对不同用户群提供具备不同功能的版本。在专业版测试APP的基础上，需提供大众版、内部插件版以及第三方插件版等多种形式。各版本均应具备业务测试和数据采集功能，专业版和公众测试版应具备
27、测试结果的本地查看，而第三方插件则应以用户无感知的形式进行业务测试及数据采集，各版本测试APP均须对结果进行稳定上传。4.8.1 专业测试版业务感知测试APP的专业版须提供业务测试、辅助诊断工具、业务行为监测、网络异常监测、数据采集功能和手机客户端自动升级的全部功能，测试结果应包含全部指标数据，支持测试结果实时上传和在手机中展示。专业版功能应贴近专业人员，提供及时发现网络中的故障和问题功能，更好地提升用户感知情况。4.8.2 公众测试版业务感知测试APP公众测试版本应提供大部分业务测试、全部的业务监测、业务行为监测、网络异常监测、数据采集和自动升级等功能。测试结果和网络类信号指标等结果，提供评
28、价结果展现，让用户对测试结果在感知层面有较好的理解。相关的数据应根据用户需求自行定制上传信息，以便整体分析研究。4.8.3 电信内合作插件版电信内合作版插件将以插件形式嵌入到电信用户大量安装的应用中，如“掌上营业厅”、“天翼客服”、“天翼WiFi”等。此类插件作为专业版和公众版的补充，应具备业务监测、业务行为监测、网络异常监测、无线环境信息、手机相关信息、坐标位置信息的数据采集等功能，特别是网络异常信息和无线环境等信息，可以从贴近用户层面获取到真实的感知数据。插件版不提供内容展示界面，测试结果及相关数据需在一定网络条件下回传至后台服务器进行后续分析研究。插件的启动和运行不需要用户进行任何操作。
29、4.8.4 电信外合作插件版电信外合作版插件同样以嵌入插件形式与第三方应用进行合作，第三方应用须具备覆盖全国的装机用户。由于第三方应用的装载机型会涉及异网用户，此类插件应具备功耗优化，在用户无感知的情形下进行被动式自动监测测试和用户感知数据的记录，并在有条件的情况下定期回传测试结果。插件的启动和运行不需要用户进行任何操作。4.8.5 各版本APP实现功能差异一览表功能 版本专业测试版公众测试版电信内合作插件版电信外合作插件版浏览类业务测试功能首包延时、页面打开延时、请求地址、请求IP、下载文件大小、下载文件速度、访问成功与否DNS解析延时、建立连接时延、发送请求时延、接收响应时延视频类业务测试
30、功能即时通信类业务测试功能浏览类业务监测功能：首包延时、页面打开延时、请求地址、请求IP、下载文件大小、下载文件速度、访问成功与否视频类业务监测功能即时通信类业务监测功能网络测速功能辅助诊断功能业务行为监测功能网络异常监测功能数据采集功能手机客户端的自动升级功能测试和监测目标的选择功能对重点业务目标进行测试APP测试和监测目标的选择支持按照业务需要动态变更对模拟业务目标进行测试5 APP控制功能要求APP控制功能主要为控制数据采集上传、终端软件版本升级、终端配置和终端管理，通过统一控制，便于不同APP版本的管理。5.1 终端软件版本升级管理1) 系统支持不同终端软件版本的升级控制管理，2) 不
31、同软件版本采用不同升级策略；3) 专业测试版和公众测试版由终端APP周期性向远程控制端发起查询，如果有新版本，则自动完成下载更新；4) 合作插件版由第三方应用将新版本插件集成，跟随第三方应用升级而升级；5.2 终端配置管理配置内容包括业务配置和基本配置参数。下发的业务配置参数包括以下内容：a) 测试URL（HTTP、VIDEO），该网址缺省情况下还将用于NSLOOKUP、Ping和TraceRoute等辅助诊断工具。b) 测速URLc) Ping测试包的大小、Ping次数d) TraceRoute业务：测试TTL对专业版和公众版APP应下发基本配置参数,包括：a) 配置的更新周期、软件版本更新检查周期、数据上传模式（单次上传或打包上传及打包上传周
