1、1平台整合 综合数据库建设通过ETL系统，完成了对散布在各业务部门信息资源整合，形成数据仓库 统一门户平台提供了对公安已建，正在建设，待建业务系统系统级和页面级整合，实现了公安业务信息汇总和统计，各类业务信息发布和个性化门户功能2整合应用 在业务系统和信息资源整合基础上，提供各类整合应用，实现公安信息资源最大化共享和利用、具体实现如下功能： 公安情报信息综合应用平台，包括： 查踪布控体系智能搜索系统，网上布控系统 自动化报警体系比对报警系统，报警台 情报研判分析体系领导辅助决策系统，情报研判分析系统，信息指导系统3支撑平台 ETL系统 系统管理平台第二章 体系架构2.1 总体架构整个警务综合平
2、台总体架构如下图所示：整个架构从应用层次上可以包括数据采集层、数据存储层、平台整合层、和整合应用层四部分内容 数据采集层：包括公安各类应用业务信息系统（网上办案系统，派出所综合信息系统，协同办公系统等）是公安基础数据采集来源、 数据存储层：包括从数据采集层获得各类业务数据，信息数据，人工采集数据，社会信息资源数据，非结构化数据等、 平台整合层：构成警务综合平台基础架构，通过ETL系统集成数据存储层各类信息，以情报研判业务模型、OLAP多维分析和数据挖掘为目标构建数据仓库；通过统一门户平台实现系统级和业务模块级整合，实现功能有统一登录，统一门户，统一业务办理菜单，个性化门户和信息发布；通过业务集
3、成平台实现各业务系统业务集成，通过部门间信息共享平台实现各业务系统之间业务协同和数据复用、 整合应用层：在平台整合基础上开发上层公共应用实现功能有：公安情报信息综合应用平台，包括查踪布控体系（智能搜索系统，网上布控系统）.自动化报警体系（比对报警系统，报警台），情报研判综合分析平台（领导辅助决策系统、情报研判分析系统、信息指导系统）；警用地理信息基础应用平台，为各单位提供应用服务、应用支撑平台是整体架构技术支撑平台和系统管理服务平台，包括： ETL系统：通过数据抽取，清洗，和加载完成了综合数据库构建、 系统管理平台：提供了对业务系统后台配置管理，包括组织、用户、登录权限，页面菜单，页面栏目管理
4、等 运行维护平台：提供了对运行服务器和网络设备运行监控 数据备份平台：提供了对数据库服务器数据实时或定时增量备份，同时提供了应用系统热切换和恢复 安全服务平台：提供了所有系统安全保障，提供软硬件方面安全保证，比如防火墙、安全审计、网闸、内外网安全接入平台，CA服务器、PKI/PMI系统等、2.2 数据分析2.2.1 服务器性能分析 按500万人口，5年数据增长分析.以数据记录数为分析样本常住人口表最大数据记录数：（人口基数+人口基数*年增长率*年数）*冗余倍数=（500+500*20%*5）*2=2000万、 暂住人口最大记录数（预估）：500万、案事件最大记录数：表每天最大增长量*天数*年数
5、*冗余倍数=1500*365*5*2=547万、 派出所综合（预估）： 旅馆业治安管理系统（预估）： 其它业务系统（预估）：根据以上分析服务器性能选形应以最大记录数2000万为依据2.2.2 存储容量配置分析按500万人口，5年数据增长分析.以数据字节数为分析样本数据量基本计算公式为： =*1*其中为数据量，为单位数，1为单位长度，为冗余倍数、数据增量基本计算公式为： Ca=Ca*Rca* 其中，Ca为数据增量，Ca为数据量，Rca为某一时间段内变化率，为冗余倍数、计算每年需要数据量（）=XX（）*YY（1）=ZZ（GB）预计每年增长率为AA%则每年增长率（Ca）=ZZ（GB）（Ca）*AA%
6、（Rca）=BB（GB）根据以上数据计算公式进行各项业务分析：常口：（每条人口字节数*人口基数+每条人口字节数*人口基数*年增长率*年数）* 冗余倍数=（50K*500万+50K*500万*20%*5）*2=1000G. 案事件：每案件容量*（每天案件数*365）*年数=3M*（150*365）*5=800GB. 其它（预估） ：200GB.根据以上分析服务器存储容量选形应以2000G为依据2.3 系统软硬件配置以400万人口以上（包括400万），5年发展需求配置如下：项目配置详细补充说明作用数量数据库服务器IBM P550也可选用其他厂商提供同档次机器、1综合数据仓库服务器 1CPU4*1.
7、65GRAM16G存储设备磁盘阵列.存储量2TB硬盘2个100G镜象应用服务器PC Server用作市级应用服务器1平台类系统3台3比对报警系统1台4智能搜索系统2台62*1.65G4GBOracle9i企业版无限用户数支持双CPU Websphere 5.1支持双CPU应用中间件2.4 信息标准2.4.1 业务标准1. 公安机关办理刑事案件程序规定2. 公安机关办理行政案件程序规定3. 中华人民共和国人民警察法4. 中华人民共和国刑事诉讼法5. 中华人民共和国刑法6. 中华人民共和国行政诉讼法7. 刑事技术现场勘查规范2004版本2.4.2 数据标准为了保证数据在不同层次业务系统、不同种类业
8、务系统之间顺利流动，必须制定一个统一数据接口标准、统一数据接口标准包括：1. 标准数据库结构设计标准数据库结构标准包括统一数据库库和数据表命名规则、统一数据字段命名规则，统一数据字段定义规则、各类业务数据库设计必须严格按照公安部制定有关数据库标准设计、2. 统一数据传输通讯协议所有业务系统之间信息交换遵循统一数据传输通讯协议，以保证数据传输正确性和兼容性，减少数据传输误码率、3. 统一编码体系遵循国家和公安部等制订信息编码标准，遵照国家经济信息系统设计与应用标准化规范和标准化工作原则信息分类编码规定等标准化文件，按照“国际/国家标准行业标准企业标准”序列，建立起全系统信息分类编码标准、对未形成
9、统一标准，应从编码科学性、扩充性、有效性和规范性出发，制订出管理信息系统信息编码、2.4.3 技术标准1. 数据库必须支持SQL92标准、2. 被整合应用系统必须是B/S模式、且没有系统登录限制第三章 综合数据库建设经过多年信息化建设，地市公安局已经拥有比较完善综合库资源，但随着公安业务发展，原有综合库已经无法满足目前公安应用整合需要，所以必须在原有综合库基础上增加信息来源如：公安业务数据、非结构化数据、社会化数据（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），对数据进行抽取、清洗、和加载形成基础数据库；通过深层次挖掘公安业务信息，根据不同情报研判和领导辅助决策主题分析模
10、型需求，最终建立数据仓库，实现情报研判和领导辅助决策自动化、公安业务涉及数据种类多、数据量大，分类科学性，存储、组织和关联合理性将直接影响应用功能实现和维护效果、数据设计是整个警务综合应用系统建设基础部分、依据方案总体目标、体系结构，在综合考虑业务需求、管理特点、数据特性、系统建设要求基础上，必须明确综合库数据来源、数据标准、数据抽取和数据存储等三个方面内容、3.1 数据来源为了满足信息共享和交换需求，便于数据管理，有效地组织数据，有必要对数据进行合理分类、根据数据特点以及综合库建设要求，建立数据来源数据分类体系、 按数据来源分类综合库数据由各基层单位采集，按其来源大体分为：业务系统数据：公安
11、案事件、人口、旅馆业、重大刑事案件信息、禁毒信息、被装管理信息、经济案件信息、重点人口、出租房屋以及其他需纳入综合库业务信息、非结构化数据：公安网页数据，互连网数据（需安全接入平台，系统留有接口）社会数据：政府网：企业信用、医疗社保数据等；互联网：上网人员数据、电子邮件数据、通信数据、电信数据、典当物品、二手车辆数据、二手手机数据等；未联网系统：银行开户资料、电话号码数据等（需安全接入平台和其他部门协调，系统留有接口）、上述分类数据为按不同方式进行数据采集、传输提供设计依据、3.2 数据标准化设计数据标准化对于指导综合库建设具有重要意义、在综合应用系统建设过程中，无论采用何种方式构建综合库，必
12、须保证共享数据种类、数据项目以及交换格式规范和统一，才能保证单位之间、部门之间信息共享顺利实现、数据标准化工作需要各单位、各部门紧密配合，同时需要完善标准化管理机制、3.3 数据存储和数据抽取考虑数据在网上存放原则时，首先要保证数据安全性和一致性，其次要能够满足数据高效使用和信息共享目、从数据管理角度将数据集中存放便于数据维护和管理，可以提高数据共享程度，保证数据完整性和一致性，同时提高查询效率、综合库存放数据主要为各单位、各部门提供共享查询和交换信息、综合库是各单位、各部门共建、共用数据库、为便于管理和维护，在网络带宽以及管理条件允许情况下，综合库存放在市公安局信息中心，由市公安局信息中心负
13、责综合库运行保障工作、综合库数据包含了各业务部门提供共享数据、各业务部门既是数据使用者，同时也是数据提供者、综合库建设是一项系统化数据工程，综合库初始数据由各单位、各部门部门按照接口标准一次性提供；业务应用系统通过数据交换平台维护综合库、数据抽取原则如下：1. 小数据量、常用数据采用物理数据及时增量集中模式；对大数据量数据采用空闲定时执行模式、2. 加载初始化、大数据量数据采用一次性初始化方式，减少网络速度对数据初始化影响，并增强初始化数据准确性、可靠性、3. 增量业务数据信息抽取、 业务数据库信息抽取方法、有以下几种模式： 通过数据库标示信息来抽取数据：对于规范数据库结构，可以通过数据库表字
14、段来标示信息是否已被抽取，从而达到获取增量数据目，此方法适用于数据集成厂商同应用开发商为同一家公司情况，本方法简单、不影响业务系统运行速度、 触发器模式抽取数据：对于结构已经固定并且没有抽取信息字段标示信息数据，可采用本方法抽取增量数据、 数据库日志同步模式抽取数据：对于同种兼容数据库，可采用本方法实现增量数据获取、 数据时间戳方式抽取数据：对于有时间段标示增量数据，通过记录数据抽取日志，定时按时间段增量抽取数据4. 网页及其他媒介信息抽取、搜索引擎产品自带“网络爬虫“可以不间断获得可访问网络通路上任何资源，并动态更新资源快照以缓存资源、3.4 综合库建设具备数据分析与辅助决策功能，是综合应用
15、设计目标之一、它与一般统计功能区别在以下几方面：综合应用系统分析与决策功能，是为高层领导和指挥决策人员服务、它能在大量数据中，发现规律，找出问题，从而为打击、预防犯罪以及提高部门管理水平提供有力辅助手段、一般统计功能往往只能输出预先定义好报表，而决策与分析系统则是针对特定主题，从宏观，历史角度对信息进行分析挖掘，从而得出结论一个过程、决策与分析系统需要在具有大量参考数据和高性能数据库系统基础之上，利用专用数据分析与挖掘工具软件实现辅助决策功能、以下将对能够实现数据分析与挖掘功能综合库解决方案进行简要概述、3.4.1 建设内容3.4.1.1 体系架构 综合库建设体系架构包括三层架构，第一层为数据
16、存储层，是所有数据来源地，包括所有公安业务数据库，公安部数据库，社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），网页等非结构化数据，信息采集平台采集人工采集数据，第二层为数据整合层，完成对数据存储层数据整合，第三层为整合以后生成综合库，包括全文检索库，基础业务库和数据仓库3.4.1.2 综合库内容综合库包括以下几个数据库：1全文检索数据库 新增全文检索库，主要提供对非结构化数据存储和全文检索功能，信息包括： 公安网上各级网站信息，包括：公安部、各省公安厅、地市公安局门户网站信息，情报研判信息网信息，最新发案情况信息，高危人群信息，典型案例信息等 公安局各业务
17、系统业务信息，包括：案事件系统、派出所综合系统、刑侦综合系统，人口系统，交管系统，旅馆业系统，出入境系统，禁毒系统，经侦系统，人事系统，被装系统，民爆系统，违法犯罪人员系统，重大刑事案件系统，消防系统等，同时还包括公安部级数据库（八大资源库）和社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调获得，系统留有接口）、2基础业务数据库 基础业务数据库是在现有综合库基础上通过增加信息来源而产生，信息包括 现有综合库已经包括业务系统中尚未抽取数据 现有综合库尚未包括业务系统 信息采集平台产生综合应用必需而业务系统无法覆盖手工采集数据 社会信息数据库（需要安装安全接入平台，同时还需要与其他部
18、门协调获得，系统留有接口）3数据仓库新增数据仓库建设，数据仓库是在基础业务数据库基础上，数据结构以公安部五要素分类为基础，并在上层综合系统要求下进行一定扩充，数据将以利于整合信息逻辑、能优化检索速度格式存储，通过深层次挖掘公安业务信息，按照不同分析主题（OLAP多维分析）、数据挖掘和情报研判模型，建立模型库、主题库和知识库，应用一定推理逻辑，实现情报研判和公安宏观分析自动化，为领导和一线民警提供辅助决策和侦察破案服务、 数据仓库分析主题库建设可以包括治安专题、户籍专题、消防专题、旅客专题、监管专题和民警专题，以下以治安专题为例描述各分析对象分析维度： 接警分析：分析维度：报警方式.事别.报警发
19、生和发现时间年、月、日 处警分析：处警单位，处警事别，处警意向，处警时间（时间年、月、日），时间段（06；612；1218；1824） 刑事案件分析：案件阶段：受理、立案、破案、不立案、侦查终结；案件受理时间：年、月、日；办案单位：分局、派出所、民警；案件类别：大案别、二级案别、小案别 行政案件分析：受理、裁决处罚、处罚执行、行政复议、行政诉讼； 多发性案件分析：在特定时间范围内各种事别占总案件数百分比，具体分析每天各时间段（06；1824）案发率 多犯罪人员综合分析：犯罪人员年龄，性别，婚姻状况，文化程度，所属行政区划，籍贯，所犯罪别，职业 社会治安综合分析：发案率环比，同比，辖区管辖人口发
20、案率3.4.1.3 综合库数据整合过程1全文检索库生成：网页等非结构化数据、各数据库数据通过搜索引擎产品自带“网络爬虫“可以不间断获得可访问网络通路上任何资源，并动态更新资源快照以缓存资源、通过对数据字段抽取生成全文检索库2基础业务数据库生成：公安业务数据库（包括市局各业务部门数据库和区县各业务部门数据库），公安部级数据库（八大资源库），社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口）通过ETL工具完成数据抽取、清洗，转换，装载到基础业务数据库，ETL工具运行描述如下： 标准库建立：首先根据公安部标准，国家标准建立公安业务数据标准，并建立标准库，包括数据字段类
21、型，长度，可选数值和标准代码库 数据抽取：以标准库为基础，建立业务库与基础业务数据库数据映射规则，即数据抽取规则，然后根据数据抽取规则抽取业务库数据到转储数据库中，数据抽取遵循原则参照3.3 数据清洗：对转储业务数据，根据定义数据清洗规则进行清洗，对于有问题数据则存储到问题数据库中 数据转换：以标准库为基础定义数据转换规则，包括字符集转换，格式转换，代码转换，值转换，根据数据转换规则对经过第一步清洗数据，进行数据转换 数据校验：对完成整合综合数据通过校验器按定义好校验规则进行数据校验，找出第二批问题数据，使得数据质量进一步提高 数据装载：把完成前面步骤数据装载到基础业务数据库中，产生数据是经过
22、整合基础业务数据库3.4.2 平台工具3.4.2.1 ETL工具ETL工具完成定期把公安各个业务系统中数据按照新主题模型加载到数据仓库中去任务，随着业务需求发展，有更多业务系统如人口系统数据源将通过ETL过程集中并转换到数据仓库中去，目前我们ETL工具完全可以满足市级公安每天100万条业务新增数据量、同时我们在选择ETL工具时必须考虑了以下几点性能：1、对平台支持2、对数据源支持3、数据转换功能4、管理和调度功能5、集成和开放管理6、对元数据管理3.4.2.2 数据仓库存储我们以公安目前需要TB级以上数据需求来看，我们在建设数据库仓库从以下几点来保证系统性能：3、数据建模功能，能方便建立客户商
23、业模型5、提供对服务进度、资源等项目管理、6、与其它数据仓库数据迁移功能3.4.2.3 前端展现工具为了满足目前公安系统对计算性能需求，以及开发人员开发速度和系统低维护成本要求，在前端工具选择上我们从以下几点来保证性能：1、易于使用2、易于设置3、灵活地展现数据仓库结构，将数据仓库设计翻译成业务术语、4、能弥补SQL限制，增加如running totals、跨聚合级别比较数据、排名次等功能、便于最终用户使用，无须编程、5、使用查询和报表同一工具必须也提供分析能力，这样不需要另外培训学习，而且也不需要IT人员帮助将数据从一个工具转换到另一个工具中、6、允许在一个报表中溶入多个数据源数据、这些数据
24、源可以包括任何异构关系数据库、OLAP Server和本地数据文件3.4.3 开发方法针对公安系统业务发展特点，以及采用基于数据仓库技术系统架构，我们在项目实施上采用CRISP-DM方法论来规范、指导开发实施人员工作，我们在开发系统中发现数据仓库项目不单是数据组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验完整过程、我们在系统建设中包括以下六个阶段（如下图所示）：业务理解，数据理解，数据准备，建模，评估和发布、图 系统建设的六个阶段在项目具体实施过程中我们将严格按照以下开发流程、3.4.3.1 业务理解1. 找问题确定分析业务目标2. 对现有数据评估3. 确定问题是否能够通过数据分析来解决4. 确定数据分析目标5. 制定数据分析计划3.4.3.2 数据理解1. 确定数据分析所需要数据2. 对数据进行描述3. 数据初步探索4. 检查数据质量3.4.3.3 数据准备1. 选择数据2. 清理数据3. 对数据进行重建4. 调整数据格式使之适合建模3.4.3.4 建立模型1. 对各个模型进行评价2. 选择数据分析模型3. 建立模型3.4.3.5 模型评估1. 评估数据分析结果2. 对整个数据分析过程前面步骤进行评估3. 确定下一步怎么办？是发布模型？还是对数据分析过程进行进一步调整，产生新模型3.4.3.6 模型发布
