1、略1.6测试阶段系统测试1.7参考资料XX需求和设计说明书 XX数据字典XX后台管理系统测试计划XX后台管理系统测试用例XX项目计划2测试概要XX后台管理系统测试从2007年7月2日开始到2007年8月10日结束，共持续39天，测试功能点174个，执行2385个测试用例，平均每个功能点执行测试用例13.7个，测试共发现427个bug，其中严重级别的bug68个，无效bug44个，平均每个测试功能点2.2个bug。XX总共发布11个测试版本，其中B1B5为计划内迭代开发版本（针对项目计划的基线标识），B6B8为回归测试版本。计划内测试版本，B1B4测试进度依照项目计划时间准时完成测试并提交报告，
2、其中B4版本推迟一天发布版本，测试通过增加一个人日，准时完成测试。B5版本推迟发布2天，测试增加2个人日，准时完成测试。B6B11为计划外回归测试版本，测试增加5个工作人日的资源，准时完成测试。XX测试通过Bugzilla缺陷管理工具进行缺陷跟踪管理，B1B4测试阶段都有详细的bug分析表和阶段测试报告。2.1进度安排版本/时间计划开始时间实际开始时间计划完成时间实际完成时间加班增加资源B12007.7.22007.7.5否B22007.7.162007.7.19B32007.7.232007.7.252007.7.242个人日B42007.7.282007.7.292007.7.311个人1
3、天1个人2天B52007.8.12007.8.22007.8.62007.8.3B62007.8.42个人1天B72007.8.51个人1天1个人日B8B92007.8.92007.8.10B10合计1个人6天11个人日2.2测试执行此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略，在测试执行中都有体现，在测试执行过程中，依据测试计划和测试用例，对系统进行了完整的测试2.3测试用例2.3.1功能性系统实现的主要功能，包括查询，添加，修改，删除。系统实现的次要功能，包括为用户分配酒店，为用户分配权限，渠道酒店绑定，渠道RATE绑定，权限控
4、制菜单按钮。需求规定的输入输出字段，以及需求规定的输入限制2.3.2易用性 操作按钮提示信息正确性，一致性，可理解性 限制条件提示信息正确性，一致性，可理解性必填项标识输入方式可理解性中文界面下数据语言与界面语言的一致性3测试环境3.1.1软硬件环境硬件环境应用服务器数据库服务器客户端硬件配置CPU：Intel（R） Celeron（R） CPU 2.40GHz stepping 01Memory： 1048256kHD：ST380817AS 80G SATA软件配置OS：CentOS 4.2JDK 1.5.0_06Apache 2.2.0Tomcat 5.5.15MySQL 5.0.17 L
5、inuxWindow 2000 Professional （SP2）IE6.0.2900.2180.xpsp_sp2网络环境10M LAN3.1.2网络拓扑4测试结果4.1Bug趋势图 此次黑盒测试总共发布10个版本，V1.0.1-V1.0.5为计划内迭代开发版本（针对项目计划的基线标识），V1.1.1-V1.2.2为进行的回归测试版本，所有版本一共发现bug 1306个。bug版本趋势图如下图所示： 由Bug的版本分布图可以看出，V1.0.1-V1.0.5版本质量非常不稳定，bug数量最高达到189个，V1.0.1作为第一个版本bug数量为58个。在版本V1.0.3验证了前面发现的所有bug
6、的基础上遗留bug数量在123个质量表现也不够稳定，在V1.1.1新增了批量制证、数据恢复、数据备份、数据清除等功能所以bug数目骤增为232个。随着版本的迭代在版本V1.2.2 bug数量逐渐将为0。4.2Bug优先级分布 测试发现的bug主要集中在未完善功能级别major，属于一般性的功能缺陷，但是测试的时候，出现了163个涉及到程序崩溃、程序启动不了、不能完成正常制证、不能完成正常印刷等严重级别的bug，出现严重级别的bug主要表现在以下几个方面：系统的主要功能没有实现本地数据库数据量比较大的时候出现程序崩溃死机系统主要功能逻辑混乱导致意外bug后台进程在程序关闭后没有相应停止导致程序不
7、能启动WebAPI接口调用错误导致核心功能不可实现4.3问题类型分布 系统的问题类型主要分布于测试过程和维护过程发现影响系统运行的缺陷bug和对现有系统功能的改进improvement。Bug占所有问题类型的百分比为：97%，improvement占所有问题类型的百分比为：3%。图上结果说明系统在需求采集、程序设计工作过程中考虑十分全面极少存在功能设计遗漏问题。4.4Bug模块分布图 由上图可以看出，bug主要分布模块是CerDesk印刷端（405个）和CerDesk制证端（534个）两个工作台，占到了全部bug的2/3以上。而CerWeb服务器端（260个）的bug分布相对来说比较少占总体百
8、分比为7%。CerDesk运维端（107个）的bug量最少主要原因是功能比较简单。4.5最近提交缺陷图由上图可以看出，在统计的十个周bug提交和解决状况比较理想，当前提交的bug都能够在很快的时间得到修复，并且随着版本的稳定解决bug数量为全部解决新增bug数量逐渐降为0，整个过程属于正常的软件版本迭代过程。4.6Bug状态分布由bug状态图可以看出，打开的bug有0个，重新打开的bug有0个。已解决bug有2个，主要是版本V1.2.2中提交的界面易用性bug，而其他的1304个都是已验证修复并关闭的bug。系统整体的遗留bug数量达到测试结束标准。5测试结论5.1功能性系统正确实现了通过数据
9、字典管理基础数据的功能，实现了数据内容的多语言功能，实现了中英文界面。实现了基础数据管理，酒店集团管理，酒店基础信息管理，渠道管理，代理管理，用户管理的查询，添加，修改，删除的功能，系统还实现了将权限控制细化到菜单按钮的功能。系统在实现用户管理下的权限管理功能时，存在重大的缺陷，权限控制不严密，权限设计有遗漏。5.2易用性 现有系统实现了如下易用性：查询，添加，删除，修改操作相关提示信息的一致性，可理解性输入限制的正确性输入限制提示信息的正确性，可理解性，一致性现有系统存在如下易用性缺陷：界面排版不美观输入，输出字段的可理解性差输入缺少解释性说明中英文对应的正确性中英文混排5.3可靠性现有系统
10、的可靠性控制不够严密，很多控制是通过页面控制实现的，如果页面控制失效，可以向数据库插入数据，引发错误。现有系统的容错性不高，如果系统出现错误，返回错误类型为找不到页面错误，无法回复到出错前的状态5.4兼容性现有系统支持window下的IE浏览器和傲游浏览器，支持linux系统下的IE浏览器和火狐浏览器。现有系统未进行其他兼容性测试5.5安全性现有系统控制了以下安全性问题：把某一个登录后的页面保存下来，不能单独对其进行操作不进行登录直接输入某一页面的Url能否打开页面并进行操作不应该允许。现有系统未控制以下安全性问题：用户名和密码应对大小写敏感登陆错误次数限制6分析摘要6.1覆盖率此次测试，所有
11、测试用例都是在中文界面下执行，未在英文界面下执行，测试不包括英文界面下的测试，也不包括正对英文翻译的测试。此次测试，部分页面需求描述无明确的定义，对输入限制无详细定义，无明确的测试依据，在测试过程中，测试是根据输入字段含义，测试人员理解，以及和项目经理，开发人员沟通获得测试依据，无法保证测试依据的正确性和完整性，因此，没有进行完整的，正确的无效数据的测试，测试覆盖率不够，无法保证测试的有效性和正确性下面为此次测试测试用例覆盖率分析图：6.2遗留缺陷的影响 1 缺陷描述：酒店娱乐项添加页面， “距离”字段无单位，建议增加单位缺陷影响：距离字段无单位说明，无衡量标准，用户易用性不好推迟原因：需求定
12、义无单位定义，统一在升级版本中解决2 缺陷描述：酒店基础信息管理模块，默认语言设置不一致。用中文查询酒店，进入酒店基础信息模块后，如下模块，语言显示为“请选择”列表页面添加页面取消政策停留政策担保政策机场参照点会议室详情打包促销服务Rate而其他模块语言显示“中文语言”相同功能模块默认语言设置不一致，一致性不好默认语言设置，目前无统一标准，升级版本中统一3 缺陷描述：tomcat日志有乱码，日志无项目名称，查看不方便其他项目日志都有项目名称，日志无项目名称，查看不方便目前的日志为了调试方便，显示了很多其它信息，在项目正式发布时会统一处理的。4 缺陷描述：取消政策管理要么，取消时间“天/小时”缺
13、少单位补充字段该处因为是两个不同的单位时间，需要有另外一个单位补充字段补充所所填写内容的单位该缺陷单位补充字段本来存在，翻译不够准确，不能理解为补充单位的字段，需要等翻译完毕后再确认。5 缺陷描述：数据字典种类修改，默认值设置后，在调用该数据字典种类的数据字典，默认值无显示数据字典种类的默认值设置后，不能显示设置的默认值，相当于数据字典种类默认值设置功能未实现该功能暂时不好实现，需要和和系统的默认语种一起处理。6 缺陷描述：担保政策管理页面，“Edposit Due”缺少解释行输入描述信息缺少解释性输入描述信息，用户不理解应该输入什么内容需求没有描述，需要解释性说明文字由项目经理整理后，在升级
14、版本中添加7 缺陷描述：多媒体添加，文件上传功能未实现文件上传功能未实现该功能暂时不好完成，在下个版本中完成8 缺陷描述：参照点添加权限和修改权限单独控制出现权限异常错误用户执行添加，修改时，出现权限异常，无法完成任务B9版本发现该权限，B10版本未通过验证，目前该模块开发人员调休，无法修改bug，9 缺陷描述：酒店渠道绑定关系权限控制出现权限异常错误a权限控制易用性不好，会引起用户误操作;b权限控制错误B9版本发现该权限，B10版本未通过验证。该模块后台无insert权限,只有Update权限，与其他模块不同，需要重新设置权限控制方式。10缺陷描述：酒店Rate绑定关系权限控制出现权限异常错
15、误11缺陷描述：新建业务管理员权限用户，进入打包促销页面出现权限异常错误除系统管理员外，其他用户无法进行打包促销操作B10版本发现该bug，目前该模块开发人员调休，无法修改bug6.3建议在项目开始的时候应该制定编码标准，数据库标准，需求变更标准，开发和测试人员都严格按照标准进行，可以在后期减少因为开发，测试不一致而导致的问题，同时也可以降低沟通成本。发布版本的时候，正确布置测试环境，减少因为测试环境，测试数据库数据的问题而出现的无效bug。开发人员解决bug的时候，填写bug原因以及解决方式，方便bug的跟踪。开发人员在开发版本上发现bug，可以通知测试人员，因为开发人员发现的bug很有可能
16、在测试版本上出现，而测试人员和开发人员的思路不同，有可能测试人员没有发现该bug，而且，这样可以保证发现的bug都能够被跟踪。7度量7.1资源消耗测试时间2007年7月2日至2007年8月6日共35天测试人力1人7天1人35天42人天硬件资源服务器：PC 2台客户端：7.2缺陷密度8典型缺陷引入原因分析测试过程中发现的缺陷主要有以下几个方面： 1 需求定义不明确需求文档中，存在功能定义错误，输入输出字段描述错误，输入输出字段限制定义错误，输入输出限制定义缺失这几种类型的缺陷。使得开发人员根据需求进行设计时，没有考虑相关功能的关联性，以及需求错误的地方，在测试过程中，需求相关的问题表现出来。需求
17、做改正，设计必须跟着做改动，浪费时间和影响开发人员的积极性，降低开发人员对需求的信任，可能会导致开发人员不按照需求进行设计而根据自己的经验来进行设计。2功能性错误功能没有实现，导致无法进行需求规定的功能的测试。主要是无法进入酒店设施管理，会议室管理页面，酒店安全项管理无法保存信息，地区，房型删除功能缺失。功能实现错误，实现了需求未定义的功能，执行需求定义的功能时系统出现错误。主要是角色拥有不属于自己的权限，酒店联系人删除页面跳转错误等。 3页面设计和需求不一致页面设计没有根据需求进行，输入，输出字段文字错误，用户无法理解字段含义。页面设计没有完成需求规定的输入限制验证，导致用户可以输入错误的或
18、者无效的数据，这些数据有可能会引起功能性错误。4多语言数据问题系统中很多输入字段是通过调用数据字典的方式输入，但是现有系统中，很多数据字典的多语言信息没有完成，导致使用多语言的时候，显示空白字段。系统中很多地方使用多语言，由于多语言编码不统一导致页面设计和数据设计使用语言编码不一致，由此引起的多语言数据无法显示的缺陷。5页面设计易用性缺陷页面设计不友好，系统中很多页面的输入字段无明确的输入提示，用户无法理解何种输入是正确的，但是用户输入错误后，系统提示出错，增加用户负担。提示信息错误，不同模块相同结果的提示信息不一致，用户操作后，相应的提示信息不明确，引起用户误解。提示信息一致性，用户在不同页面执行相同的操作，提示信息不同。6 开发人员疏忽引起的缺陷因为开发人员的疏忽，导致系统需要验证的地方，调用了错误的验证，系统需要进行输入控制的地方没有进行相应的控制。
