1、视频云存储系统设计视频云存储系统设计1.1.1.1系统概述结合目前视频存储系统技术发展的主要方向，本次视频存储系统的建设需要达成以下 目标：采用目前技术领先的视频云存储方式， 新建视频云存储系统，有效解决海量高清视频图像数据的存储和管理需求，实现分布式存储，虚拟化集中管理。为充分利旧，将原有的视频存储系统改造融入视频云存储系统， 实现全县范围内可利用视频资源的统一存储、统一管理、统一调阅，避免重复投资。视频云存储系统提供高速数据接口， 为应用平台提供视频数据高效检索、快速调取等服务功能，为公安业务应用提供有力支撑。视频云存储系统提供标准的运维接口，维护便捷，实现高效实用的管理及使用机制。1.1
2、.1.2存储技术选择视频监控数据的存储系统历经了多个阶段的发展，传统的视频存储技术主要有 DVF存储、IPSAN存储等存储模式。而新兴的视频云存储模式基于云架构开发，采用面向用户业 务应用的设计思路，融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术， 可将网络中大量各种不同类型的存储设备，通过专业应用软件集合起来协同工作，共同对 外提供高性能、高可靠、不间断的视频、图片数据存储和业务访问服务。总的来说，相比于传统的存储模式，云存储模式具有以下优势：视频监控云存储与传统存储对比表项目传统视频监控存储视频监控云存储可管理性单设备独立存储或多设备堆叠存储；管理维护相对麻烦。统一管理，虚拟化
3、集群服务，基于统一的 管理平台，对多设备状态、资源、报警、 升级、扩展进行集中管控。可靠性RAID技术、部件级冗余系统级+设备级+部件级冗余，RAID技术性能基设备局部性能优化并发性能提升，智能性能负载，文件系统优化，集群协调工作节能RAID级节能技术设备级+RAID级节能技术服务任务不可分割存储任务和分析任务分割可扩充性设备级配置，过程复杂系统级在线配置、容量/性能扩充方便数据安全备份、容灾N+m设备冗余，远程容灾，关键数据多个 副本可用性掌握IP/FC存储技术对用户完全透明成本综合成本高综合成本低，可节省大量录像服务器投入因此，根据项目实际情况，基于视频监控应用对存储系统的要求，着眼于技术
4、的先进性和用户使用的便捷性，视频存储系统的建设推荐采用新型监控云存储技术来实现。1.1.1.3存储系统架构1.1.1.3.1 视频云存储技术架构视频云存储系统采用分层结构，整个系统从逻辑上分为五层，分别为设备层、存储层、 管理层、接口层、应用层。系统技术架构如下：视频云存储技术架构图1） 设备层设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是 SAN架构下的FC光纤通道存 储设备或 iSCSI 协议下的 IP 存储设备。2） 存储层将存储设备透明化管理，统一资源虚拟化管理，并设计视频流式文件系统，实现存储
5、传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图片、附属 流）和设备层存储设备之间的通信连接，完成数据高效的写入、读取和调用等服务。同时存储层实现视频流数据的块级离散存储，支持数据的高效存储和快速提取 （ 回放、 下载、查询 ）；实现图片流数据的存储，支持按车道时间段和 http 协议提取；实现附属流 数据的存储，支持视频流分析的结构化数据存储。3） 管理层在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理 等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计 划的主动下发、以及硬件设备的状态监控和故障维护等。可实现整个存
6、储系统的虚拟化的 统一管理，实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。4) 接口层应用接口层是云存储最灵活多变的部分， 面向用户应用提供完善以及统一的访问接口。 接口类型可分为 Web Service接口、API接口、Mibs接口，可以根据实际业务类型，开发 不同的应用服务接口，提供不同的应用服务。实现和应用平台、融合平台、运维平台的对 接、实现和智能分析处理系统之间的对接，可实现视频数据的存储、检索、回放、浏览转 发等操作，实现关键视频数据的远程容灾、实现设备以及服务的监控和运维等。5) 应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在云存储
7、系统中，为了将云存储系统与视频监控系统的建设和应用更加紧密的结合，更加符合用户 的业务需求，我们将应用层纳入了整个系统架构中，从根本上提高云存储系统的针对性。可将共享平台通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及 信令的交互。共享平台可对云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录 像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。1.1.1.3.2 视频云存储逻辑架构视频云存储系统采用前端摄像机直写存储设备的方式，使用集群方案解决单节点失效 问题，并利用负载均衡技术充分利用各存储节点的性能；采用统一接口与平台对接，降低 平台维护和用户管理的
8、复杂度。平台管理中心仅和云存储系统中的云存储管理集群完成各种具体业务的信令交互工 作，其他数据存储和读取工作直接由存储节点完成。采用信令和视频数据的完全分离，降低整个系统的网络压力，提高整体性能。视频云存储逻辑架构图1.1.133 视频云存储部署架构当项目中的前端摄像机通道数量超过 1024路时可采用管理服务器集群模式。集群部署 可以保持规模与性能的线性增长，三台管理服务器集群可以支撑4000路以内的摄像机通道 规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如 5台管理服务器可支撑6000路、7台管理服务器可支撑8000路。管理服务器的数量必须为奇 数。无论集群内有多
9、少台服务器，对外呈现为唯一的 IP地址。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三 台以上奇数台服务器组成，安装视频云存储管理软件并运行集群工作模式，形成视频云存 储管理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了视 频云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项 目首选的部署方式。集群部署物理拓扑如下图所示：管理节点集群部署方式管理节点集群部署内容设备名称数量安装软件备注服务器N视频云存储管理软件（CVM服务器数量为N3的奇数存储设备M视频云存储软件（CVS视频云接入软件（CVA本次项目设计在县
10、局总控中心机房采用两台服务器部署视频云存储管理后台软件进行双机热备管理，保证系统的安全性和可靠性，实现全县所有监控点的视频云存储管理。前端各类监控点根据实际情况接入到就近的汇聚设备，由各汇聚设备将前端监控点通 过全千兆光纤网络上连到县局，统一到视频云存储管理软件注册。1.1.1.4存储系统设计为解决传统视频存储系统遇到的问题，本次将在县中心机房建设基于视频云技术的视 频存储系统，由中心平台统一管理，实现接入视频全天 24小时存储、采用25帧率录像保存30天；同时将原有存储系统改造为视频云存储子系统，并进行系统和数据的迁移，组建 完整的视频监控云存储系统。1.1.141 软件设计海康威视视频云存
11、储系统主要由四大部件组成：云存储管理软件（ CVM，云存储软件（CVS，云存储接入软件（CVA以及云存储异构软件（ASS。下面分别介绍四大软件内 部结构及功能。1）视频云存储管理软件CVM视频云存储管理软件：CVM( Cloud Video Man age整套软件，主要功能包括视频云存 储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理模块、计划管理模块、资源管理模块、辅助管理模块，整体软件架构如下图所示：CVM软件架构索引管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、插入、修 改和删除
12、操作情况，提供一体化、高并发、快响应的索引服务。同时，索引管理模块提供视频索引、标注索引服务，支持以通道号、时间段、录像类 型和锁定状态为条件的视频信息检索服务，支持以通道号和时间段为条件插入、修改、删 除和检索标注的功能，以及根据标注关键字检索视频的特色功能。调度管理模块调度管理模块根据集群中设备的负载状况，灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法， 提供资源分配调度、分散策略调度、循环覆盖调度、录像计划调度等服务。集群管理模块集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。它负责管 理节点之间关键信息的实时同步，保
13、证集群中不同管理节点信息的一致性，无差异化的对 外提供服务。同时也负责管理存储节点，将存储节点加入到集群中作为存储资源的一部分， 集群管理模块维护集群中设备节点的实时状态信息，对外提供设备状态查询接口便于管理 和了解集群的整体运行状态信息。计划管理模块计划管理模块负责录像计划的管理、下发、切换，保存监控平台下发的录像计划，调 度系统中的录像计划并执行录像计划，当接入服务器异常时负责动态切换录像计划到其它 接入服务器。资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进行统一管理，根据入网存储设 备上报的资源信息计算出集群存储总容量和空闲容量，负责创建、删除录像池，为存储业 务分配合适的
14、存储资源。同时能动态的调整录像池的大小，弹性的对录像池进行扩容或者 缩减，将集群存储空间切分成细小独立的存储单元，再根据用户需要，将很多个存储单元 有机组合后虚拟化成录像池对外提供存储服务。辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能，日志管理为其他模块提供 日志打印服务，对外具备日志查询和日志文件下载功能，包含调试日志、事件提示日志、 错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口，供运维 平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本视频云 存储系统中保存的功能。2）视频云存储软件CVS视频云存储软件：CVS（ Cloud
15、 Video Storage ）是视频云存储系统中的重要模块，主 要负责执行具体的视频数据读写操作。 CVS集成在视频云存储节点（CVSN 上，每一台存 储设备上都必须装载该软件模块。视频云存储软件（CVS接受视频云存储管理软件（CVM的管理，从视频云接入软件 （CVA接收海量视频数据，高效无误的存放在本机指定的数据块中。在一套视频云存储系 统中，视频云存储存储管理软件（CVM会均衡分配多台视频云存储软件（CVS的业务负 载量，使整个系统的读写性能达到最佳。视频云存储软件按照功能模块化设计，整体软件架构如下图所示：CVS软件架构通信模块本模块主要是负责和CVA及 CVM4行数据信息的交互，采用
16、多线程并发接收和发送数 据的方式，高效完成跨机器的数据交互。运维管理本模块主要是负责和视频云运维软件进行交互，采集系统数据及程序运行数据，并按 照特定协议格式发送给视频云运维部件，方便平台对整个云存储系统运行状态进行实时监 控，如有故障出现，及时报警提醒相关人员进行处理。视频接入本模块主要是负责处理从CVA专输进来的视频数据，并按分类进行一定的逻辑处理。采用多线程的处理方式，可同时支持数百路的视频数据接入日志管理本模块主要是负责对CVS勺日志进行统一管理，记录一些重要事件，方便事件回溯， 对外提供日志查询和日志下载功能。视频文件系统本模块根据视频的特性，定义流式存储结构，主要是负责视频数据的高
17、效读、写。数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存，可以方 便的以SQL接口提供插入和查询，简化数据存放和获取的机制。3）视频云存储接入软件CVA视频云接入软件CVA（ Cloud Video Access ）也是整个云存储系统的重要组成部分， 主要包括录像任务管理、录像服务、设备状态管理和部分流媒体转发服务等功能。视频云接入软件支持定时录像、移动侦测录像和事件录像（如：手动录像），其中事 件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录 像计划任务信息表，当接入软件检测到有通道需要执行录像任务时，接入软件首先通知流 媒体服务
18、从前端设备读取视频数据，然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计，软件包括六大功能模块：录像任务管理、流媒 体服务、设备状态管理、负载信息管理、录像服务、视频帧分析。整体软件架构如下图所 示：CVA软件架构1、录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管理等功能。 定时录像和移动侦测录像是用户设置的计划录像，事件录像是用户计划外的录像。录像管 理功能需要按照用户的需求从前端设备获取视频数据、执行录像、停止录像和停止从前端 设备取流等操作。移动侦测录像，录像管理功能首先需要对前端设备布防， 并监控前端设备的报警状 态，同时还可以根据用户的需
19、求提前从前端设备获取视频数据，通过预先获取数据流保证 了视频的完整性，当接入软件收到前端设备的移动侦测报警命令后，立即执行录像。事件录像，录像管理功能接收到事件录像命令， 首先检索当前通道是否有定时录像 或移动侦测录像，如果没有上述两种录像，立即执行录像，事件录像的优先级要高于移动 侦测录像和定时录像。2、流媒体服务流媒体服务主要包括流媒体转发模块和流控制管理模块，流媒体服务具有稳定和高效 等特点，整个系统提供持续的视频数据支持。流媒体服务传输视频数据支持 RTSP TCP和UDP协议，可以根据不同环境选择合适当前网络性能的传输方式。流媒体服务视频流转发功能：流媒体服务从前端设备获取到视频流后
20、可以根据用户的 需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设备的压力，节省了 网络带宽，极大的提高了系统性能。3、设备状态管理设备状态管理是云存储接入软件的基础功能，它主要包括监控前端设备状态、布防状 态和取视频数据流的状态。前端设备状态监控：状态管理功能实时获取前端设备的状态， 当检测到前端设备异 常，接入软件会及时上报。设备布防状态监控：状态管理功能实时监控前端设备的布防状态， 当前端设备布防失败，接入软件会及时上报。读取视频流状态监控：状态管理功能实时监控流媒体服务的工作状态、如果流媒体 服务取视频流时发生异常，接入软件会及时上报。4、 负载信息管理负载信息管理功能主要
21、是接入软件实时监控当前服务器的内存和 CPU使用情况，并定 时上报当前资源使用信息，云存储管理软件（CVM根据上报的资源使用信息均衡分配录像 计划到云存储接入软件（CVA 。5、 录像服务录像服务包括取流管理模块和执行录像服务模块两个部分。录像服务接收录像任务管理模块下发的录像信令，当录像服务接收到录像任务管理模 块开启录像信令后，首先通过取流模块向流媒体服务发送取流信令，然后将流媒体转发的 视频数据发送到云视频存储软件为一次录像的开始。当录像服务接收到录像任务管理模块 下发的停止录像信令，录像服务首先向流媒体服务发送停止取流的信令，然后通知云视频 存储软件停止录像为一次录像的结束。6、视频帧
22、分析帧分析模块主要是对流媒体服务读取的视频数据进行帧分析，从视频数据中分析出关 键帧等信息，为系统提供关键帧查询和关键帧回放提供技术支持。4) 视频云存储异构软件 ASS异构存储软件 AS(S Asynchronous Storage Service )主要负责接入第三方 iSCSI/FC 标准存储设备，软件集成安装在 ASSN节点内，具体负责接入第三方iSCSI/FC存储设备的工 作。软件主要由三个模块实现，分别为识别模块、挂载模块和管理模块；主要和 CVS交互。通过识别模块和挂载模块实现对第三方标准存储设备的兼容工作。通过管理模块与存储设 备以及上层CVS之间进行交互。整体软件架构如下图所
23、示：ASS软件架构7、 识别模块探测到异构设备后获取其相关系统信息，将其视作为存储设备，在设备目录中添加相 应节点。8、 挂载模块将新加的设备节点转化为通用存储设备节点，并挂载到软件系统中以备 CVS使用。9、 管理模块本模块的功能是：将本机内存储设备和异构设备统一管理，实现设备的加入和退出， 以及相关状态的保存和记录除上述三项软件外，在云存储系统内部实现了运维信息的收集与告警机制。该机制负责对云储存系统内的设备和资源的运行情况进行统一监控， 以标准的SNM协议与将机器运行状态以及产品特性运行指标反馈给运维系统。实现对设备状态实时检测，对异常状态实 时报警，如：硬盘丢失、CPU内存使用率过高、
24、存储空间不足、设备温度过高、管理服务 器运行异常、设备下线等。1.1.1.4.2 硬件设计海康威视视频云存储系统由存储管理服务器（存储管理节点 CVM）N 、存储设备（存储节点CVSN及异构服务器（第三方存储服务节点 ASSN组成。1） 视频云存储管理节点 CVMN视频云存储管理节点： CVM（N Cloud Video Manage Node ）在云存储标配服务器上集成安装视频云管理软件 CVM（ Cloud Video Manger ），其主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控 等。根据视频云存储系统的规模情况和可靠性要求管理节点部署可分为： HA
25、部署和集群部署两种模式。其中HA部署模式适用于1024路以内监控前端视频读写规模，通过两台服务 器做双机热备；集群部署模式适用于较大型的视频云存储系统，可以进行三台或三台以上 配备，集群部署的服务器台数必须是奇数增加。集群部署的优势在于通过视频云存储管理 节点内部集群功能将协调各节点设备资源，将用户配置、数据库信息、策略计划进行统一 进行调度，整体性能呈现线性增长。同时也增加了系统的可靠性，多台设备的故障不会影 响到系统的运行无论是HA部署模式还是集群部署模式，视频云存储都使用唯一的虚拟 IP地址对外提供服务。2)视频云存储节点CVSN视频云存储节点：CVSN( Cloud Video Sto
26、rage Node )在存储设备上集成安装视频云存储软件 CVS( Cloud Video Storage )和视频云接入软件 CVA(Cloud Video Access )作为存储节点。主要是响应视频云存储管理节点(CVMN和应用层的录像、查询、下载等操作申请，以及管理物理存储设备和空间，视频云存储节点模块具有以下功能：负责根据接收云存储管理节点下发的录像计划，并根据录像计划向对应的前端摄像 头进行取流操作。负责将接收到的录像数据写入到存储底层或从存储底层读取数据， 通过协议接口主要向API提供录像、查询、回放及下载服务。提供存储设备的状态检测和信息上报功能。存储底层：使用Raid技术来保
27、证数据安全，支持节能的磁盘休眠功能。3)第三方存储服务节点ASSN第三方存储服务节点： ASSN( Asynchron ous Storage Service Node )在服务器上集成安装异构存储软件 ASS( Asy nchron ous Storage Service )、视频云 存储软件 CVS(Cloud Video Storage )、视频云接入软件 CVA(Cloud Video Access )的接入第三方存储服务节点其主要功能是通过安装异构软件（ASS完成对第三方iSCSI/FC标准存储设备的接入， 实现对项目已有资源的兼容性利用。 使得第三方存储设备通过 ASSN勺整合后，
28、具备与CVSN 同样的功能。1.1.1.5存储系统功能海康威视视频云存储系统面向视频、图片应用定制化开发，提供了丰富的功能接口供 上层视频监控平台调用，主要功能如下图所示：视频云存储系统具有以下几个方面的功能：视频云存储系统功能设计表功能项功能说明集群管理索引集群管理视频录像索引米用集群方式，无单点故障，保证索引数据的安全性。集群米用一级索引管理，能根据用户的各种查询条件（录像类型、锁定类型、 报警类型、时间段等）进行快速定位。负载均衡管理集群前端米用虚拟IP技术，对外提供统一的入口 IP形式，将集群的访问 在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当
29、单台存储节点压力过大时能根据智能 算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持将整个存储端统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。对用户重要数据，通过虚拟块之间的相互复制技术，达到多份备份目的。使用户数据处于长期在线状态自动精简管理集群内部将不同类型存储设备接入，对外提供统一接口控制。分散存储管理将前端数据通过特定算法，平滑分散至各个存储几点，从而降低大量回放 对单台存储节点的压力。分布式数据库索引服务器米用分布式数据库，保证索引数据的安全性。视频功能视频录像系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、 录像头由用户指定，存储
30、开启相关的资源。补录：断网等条件下，前端设备能够将本地保存的数据补录到系统中。动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像 的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上 得到反映。周期覆盖：系统保存的历史录像数据可以按照指定的循环覆盖策略进行删 除。视频检索用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录 像数据。视频回放支持根据编码器名称以及时间段、录像类型对录像数据进行回放。支持根据编码器名称以及时间段对录像数据进行回放时间定位。支持快放、慢放。支持倒序回放。支持1帧回放。支持手动停止回放。视频卜载支持根据编码器名称以及时间段对录像数
31、据进行下载。支持断点续传。视频锁定支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。视频删除支持根据监控点编号、录像时间、录像类型删除视频录像。周期存储按策略支持按周期、容量进行录像数据的周期覆盖式存储。图片功能图片写入支持按照用户制定的计划保存前端设备采集的图片数据图片下载支持按时间段下载图片。支持http的URL方式下载图片。图片压缩支持图片大小压缩和尺寸缩放。图片锁定支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。图片删除支持单张图片URL方式删除。支持按照时间段删除图片。周期覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。http访问支持用户使用浏览器直接查看图片。运维管理系统信息获取支持系统信息：版本、CPU内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障（CPU内存等超过
