1、数字多媒体技术国家重点实验室数字多媒体技术国家重点实验室2014年度开放课题指南（草 案）重点实验室-智能所课题一：自然场景下实时多人头跟踪和计数算法研究【课题研究目标】研究自然场景下实时进行人头检测，跟踪和各个方向人流计数的算法。自然场景包含两层意思：第一环境条件为自然地生活条件；第二人流是自然流动，移动速度有快有慢，人头检测、跟踪和计数都在被动状态下，不能主动配合。解决基本的多人头检测、跟踪和计数之后，进一步解决交叉，轻度遮挡情况下的人头跟踪问题。【基本要求】 1） 实现实时单人头检测和跟踪的算法及demo； 2） 实现实时多人头检测、跟踪和各个方向进出计数算法及demo； 3） 实现轻度
2、遮挡和人流交叉情况下准确进行多人头的检测、跟踪和各个方向计数算法及demo； 4） 提交算法模块的源代码和相关技术文档； 5） 提交4项发明专利。【课题支持年限】 1年【开放基金支持额度】 10万元课题二：基于单张人脸图像三维模型重建的人脸识别技术研究【课题研究目标】利用机器学习和图像处理的方式，根据单张人脸图像，重建图像中人脸的三维模型并估计人脸朝向与空间三个坐标轴的夹角。在普通640*480分辨率的摄像头和主流CPU下能够实时的输出三维模型文件和角度信息。依据所获取的三维信息完成基于人脸的身份识别。【基本要求】 1） 研究并改进基于单张图像的三维重建技术； 2） 研究并改进基于单张图像的人
3、脸角度估计技术；3） 编程实现基于单张图像的三维重建和人脸角度估计算法；实现基于三维信息的人脸识别算法。 4） 提交算法模块的源代码和相关技术文档； 5） 提交2项发明专利。【课题支持年限】 1-2年【开放基金支持额度】 20万元课题三：基于海量互联网语料的自然语言生成技术【课题研究目标】 收集现有自然语言生成技术，分析各技术的优缺点，并根据中文自然语言的特点，针对移动设备和智能家电类产品中的查询，控制，反馈场景下的应答和询问功能，设计中文自然语言自动生成的实现算法。最终实现根据输入中文信息和收集海量互联网语料，自动生成与输入信息具备一定关联度的应答式中文自然语言生成系统。【基本要求】 1）收
4、集现有自然语言自动生成技术，并结合中文自然语言特点对其进行详细分析，生成分析报告； 2）针对中文自然语言特点，设计和开发符合移动设备和智能家电类设备中的查询，控制，反馈场景下的应答和询问功能的自然语言生成系统； 3）实现基于海量互联网语料的中文对话自然语言生成技术的研究和系统开发； 4）提交系统实现源代码和相关技术文档； 5）提交2项发明专利。【课题支持年限】1-2年【开放基金支持额度】20万元课题四：基于海量互联网语料的本体语义网络自动构建技术【课题研究目标】 研究现有本体语义网络的特点、发展方向和基本构建方式，研究基于本体论的语义网络应该具备哪些特点，适用领域以及对目前中文自然语言处理和语
5、义理解有哪些促进作用。在此基础之上，基于中文自然语言处理和语义理解的需要，设计和开发一套通过互联网语料构建专有领域本体语义网络的算法和技术。【基本要求】 1）分析和研究本体论和语义网络的发展现状，结合中文语义理解的困难点对本体论在中文语义理解、语义网络构建过程中起到的作用进行详细分析，生成分析报告； 2）设计一种具备一定扩展能力的基于本体论的语义网络； 3）实现基于海量互联网语料的本体、关系自动挖掘机制，形成一定的知识挖掘和汇集机制； 4）提交系统实现源代码和相关技术文档； 5）提交2项发明专利。【课题支持年限】1-2年【开放基金支持额度】20万元课题五：多维度大数据环境下的用户建模【课题研究
6、目标】在智能家电生态圈里，用户的各种白电、黑电的数据都可以被搜集起来，针对多维度数据对用户建模的条件已经成熟。通过分析各产品数据之间的关联，不仅可以对用户进行更精准的建模，还可以实现基于场景的上下文感知。基于多维度的用户模型和当前的上下文感知，可以实现对用户基于场景的精准个性化推荐。例如目前可以根据用户的电视观看数据、用户的冰箱、空调数据可以推测出在当前用户的喜好、当前生活状态、当前的环境舒适度等等，融合多维度达到更精准的个性化推荐效果。【基本要求】1) 分析各类产品的数据特点和数据之间的关联，主要包括电视数据、冰箱数据、空调、洗衣机、移动终端数据的等等，研究这些数据对用户建模的贡献；2) 进
7、行多维度用户建模，实现对用户基于上下文场景感知的精准推荐；3) 在部分数据缺失的情况下进行预测，如根据用户观看视频的数据推荐用户喜欢购买的商品等；4) 提交2项发明专利。【可评价指标】 1) 具有上下文感知的算法，根据多维度数据分析当前场景，并根据当前场景环境下的个性化推荐各有不同，预期基于场景的推荐要比普通推荐转化率高10%。2) 搭建通用的推荐算法框架，适应于异构的产品数据输入和异构的预测输出，可实现跨产品的个性化推荐算法，在某产品数据缺失的情况下对该产品进行个性化推荐，转化率预期达到5%。【课题支持年限】 1年【开放基金支持额度】 20 万元课题六：大数据环境下的实时异常行为建模【课题研
8、究目标】大数据环境下的实时异常行为发现是大数据系统中的一项非常重要的关键技术。实时异常行为发现在大数据应用中具有很高的商业价值，是发现恶意攻击、恶意刷单、恶意抽奖等等行为的有效手段。该课题主要解决如何在大数据环境下实时处理方法和异常行为自学习建模的问题。通过研究实时计算方法满足大数据实时计算的要求，研究一种在大数据流中实时处理数据的方法；通过研究数据之间的细微差异，研究异常行为自学习建模的方法，挖掘出数据中的异常行为。【基本要求】1) 分析当前技术的实现方式，技术难点，和未来发展趋势；2) 研究实时大数据处理方法，其主要目的在于异常行为发现；3) 研究异常行为的自学习建模方法，可自主有效发现异
9、常行为；4) 提交2项发明专利。【可评价指标】 1) 实时大数据处理方法可以处理每天约1T的数据，每分钟约1G数据；2) 自主学习发现异常行为命中率大于50%；3) 非自主学习的异常行为发现时间小于5分钟，自主学习的异常行为发现时间小于2小时；【课题支持年限】 1年【开放基金支持额度】 20 万元重点实验室-医疗所医疗影像技术专题一、指南说明数字医学影像是数字医学的一个重要组成部分，与传统医学影像类似，它帮助医生“看到”藏匿于人体组织深处的病灶，并且发展了传统医学影像，从单一的辅助诊断工具到关键医疗仪器，在临床的各个环节都发挥着重要的电视的用户界面为三维 (3D)界面作用。要将数字信息准确地、
10、直观地呈现给医生，需要借助于计算机图形学和数字图像处理技术。本专题针对医疗电子和医疗影像技术的发展趋势，围绕医学影像三维重建引擎和算法、光线追踪渲染、高动态范围医学图像压扩技术、高精度非刚性三维配准、基于超声心动图的心脏疾病定量分析技术等若干方向，力争在医疗影像领域取得关键技术突破，推动相关产品的开发与应用。二、指南内容课题1：医学图像三维重建渲染的光线追踪（Ray Tracing）研究【课题研究目标】本课题将研究三维重建模型的渲染技术，并着重研究基于光线追踪 (Ray Tracing) 模型的三维渲染。研究核心是在不失准确性的前提下，有效地再现三维空间的光影效果，使医生方便地想象脏器内部的三
11、维构造，从而做出诊断，以及模拟手术。【基本要求】研究目标包括3维渲染算法实现与应用探索两部分：算法实现：1. 光线追踪算法依据基本的几何光学定律，模拟光线传播中的反射、折射、吸收等过程，计算屏幕像素渲染颜色。其概念简单、优雅而且非常有效。本课题要进行光线追踪算法软件实现，并探索更加契合的自然光源传播-计算资源的映射。2. 从GPU架构入手，实现实时光线追踪算法对医学三维重建影像渲染。目的是通过计算机图像技术，使得脏器内部结构超真实（Surrealistic）地展现在医生面前。参考Nvidia OptiX框架。3. 研究基于移动处理器的异质架构对于光线追踪技术的有效实现。异质SoC可以有效的利用
12、各种处理单元的优势，实现性能、功耗、体积、可配置性、可扩展性、开发效率（硬件&软件）、一次性工程费用（NRE budget）等等因素的优化配置，成为当前的发展趋势。4. 研究光线追踪算法专用IP核的开发。应用探索：1. 依据光线追踪算法所提供的精确三维位置关系，探索医生新的应用场景，并期望推动三维渲染算法本身的发展。2. 三维渲染与三维打印是三维模型显示两个方向。三维打印优势在于实物真实感与操作的直观性。在三维渲染中研究如何有效组织三维深度信息，实现密度可知（density-aware）重建，提高三维交互体验。参考：1 光线追踪渲染算法 K. Suffern, “Ray Tracing fro
13、m Ground Up”, 2007.【可评价指标】 1. 渲染效果，要超真实地显示脏器与内部组织的空间关系。（医生评估）2. 渲染性能。能否实时渲染，交互功能是否可行？3. 渲染专用硬件架构，原型评估。应完成光线追踪渲染专用硬件的架构评估（性能，成本等）。【课题支持年限】1年【开放基金支持额度】10万元课题2：高精度混合三维人机交互引擎研究【课题研究目标】 主要研究基于医学图像重建算法处理后的结果，如何混合面绘制和体绘制两种三维重建方式和LOD虚拟现实渲染技术，生成一个高精度、高识别度、精细渲染的混合三维图形，形成一个满足医生需要，专业化，人性化的手术模拟操作引擎。【基本要求】1) 混合引擎
14、能够利用面绘制和体绘制两种三维重建方式和LOD虚拟现实渲染技术，分别高精度、高识别度的重建和高精细渲染的显示不同的器官组织，并集成在一个三维结果中；2) 在该引擎上建立相关测量和定量、定性的数学模型；3) 该引擎对于计算机辅助手术系统的各种手术模拟操作进行针对性研究；4）申报2项发明专利。【可评价指标】 1）混合引擎能够正确进行器官的重建和手术的模拟操作，经过临床手术检验，结果准确；2) 经过临床手术检验，组织器官的测量和定量、定性结果正确；3）有医生评价使用心得，功能满足医生需要，操作人性化。【课题支持年限】12年【开放基金支持额度】20万元课题3：高精度非刚性三维配准算法研究【课题研究目标
15、】 主要研究基于不同时期的同一器官组织的系列医学图像，研究非刚性三维配准算法，得到这些图像的空间位移和形变参数，将这些不同时期的同一器官组织配准到同一坐标系中。【基本要求】1)研究多种非刚性三维配准算法，得到算法性能对比结果；2)针对医学图像特点，开发和优化一种满足系统精度和时间性能要求的非刚性三维配准算法；3）申报2项发明专利。【可评价指标】 1）利用配准结果对重建后的器官组织进行位置修正后，与临床结果相符，肿瘤和血管空间位置与实际相符，满足医生模拟手术的要求并经过临床手术检验合格；2) 经过临床手术检验，配准校正后的组织器官的测量和定量、定性结果正确；3）算法处理时间基本满足实时性。【课题
16、支持年限】1-2年【开放基金支持额度】20万元课题4：高动态范围医学图像压扩技术【课题研究目标】 主要研究高动态范围医学图像的压缩与扩展技术中的关键算法,在保留生物组织显示对比度的基础上，将高灰阶的医学图像高效的、低噪声压缩为低灰阶图像，并结合显示技术进一步设计，保证显示图像的效果。【基本要求】1) 对适用于医学图像的高动态范围压扩算法进行针对性的研究；2) 完成这种新型算法的开发；3) 对新型算法与显示动态背光技术的结合进行针对性的研究；4) 完成适用于医用专业显示器的图像压扩的改进算法；5）申报2项发明专利。【可评价指标】 1）开发的算法对腹腔CT图像处理后的结果，针对肺、肝脏、骨骼、软组
17、织等不同组织的显示能够与原始CT图像在各组织窗口下的显示完全一致，并且能够在大量、各异的病例中实现该效果；2）开发的算法的计算时间能够保证实时显示处理结果；3）配合动态背光技术，进一步改善的医学图像压扩技术能够实现在医用专业显示器的显示效果，满足各科医生诊断要求的压缩图像。【课题支持年限】12年【开放基金支持额度】20万元课题5：基于超声心动图的心脏疾病定量分析技术研究【课题研究目标】冠心病等心脏疾病已成为目前人类疾病死亡的主要原因之一，为医生提供诊断、治疗该类疾病的定量分析技术手段也成为当前国内外相关学科领域的研究热点。本课题围绕临床应用广泛的超声心动图，如二维/三维超声心动图、多普勒超声心
18、动图等，研究并实现先进的医学超声信号/图像处理方法，精确重建心肌组织的实时运动和形变，定性和定量地显示心肌组织的运动速度、位移、应变和应变率、以及心脏的空间扭转角度和扭转力矩等，为研究心脏整体和局部的生物力学特性提供技术手段，为医生对心脏疾病的诊治提供定量依据。【基本要求】1）研究并实现新的医学超声信号/图像处理算法，围绕临床应用广泛的超声心动图，完成心肌组织的运动速度、位移、应变和应变率、以及心脏的空间扭转角度和扭转力矩等生物力学参数的准确测量，提供临床可参考数据。2）提供算法实现（可以与相关产品集成的软件包）。 3）申请至少2项国家/国际发明专利。 4）研究团队至少有1名高级职称的临床医学
19、专家。【可评价指标】 1）在至少1家国内知名三级甲等大型综合医院，对新算法开展临床应用试验（包括动物实验，以及不少于10例患者的临床应用实验）；且试验结果获得国、内外权威临床医学专家的认可。2）新算法的分析结果准确度、实时性、自动化程度及临床易用性等指标，明显优于国内外相关行业内的同类产品。【课题支持年限】12年【开放基金支持额度】20万元=重点实验室- 网络所课题1: 基于家庭智能网关的个性化内容精准推送【课题研究目标】随着家庭环境中智能手机、平板电脑等终端产品的增加，各种多媒体数据的丰富，家庭智能网关逐渐成为了家庭网络控制中心。用户如何从大量内容资源中快速、精准的获取自己真正感兴趣的内容是
20、一个难题。 现有的个性化信息推送模型都是针对获取互联网内容的电脑用户，如何在家庭网关上建立个性化信息推送模型也成为一个难点。本项目拟在家庭智能网关上针对接入用户的不同进行个性化精准信息推送, 实现家庭网关上的个性化信息精准推送技术，以提高网络和设备的智能化水平，提升用户体验，增强产品竞争力。【基本要求】（1） 在充分研究用户兴趣模型构建技术的基础上，在家庭智能网关上收集用户访问行为等信息，基于统计、神经网络、机器学习等方法对收集到的数据进行用户兴趣学习，从而建立反映用户行为、特点的用户兴趣模型和数据库.（2） 研究个性化推送技术及推送方式，采用基于用户兴趣模型的个性化推送技术，实现智能网关对家
21、庭环境中的智能手机、pad及PC等的精准内容推送，保障智能网关连接用户可以智能化、高效性、主动性、个性化获取多媒体数据资源。 （3） 提交相关的软件源码，完成相关设计文档.(4) 提交3项发明专利【进度安排】:1)第一阶段：2014年6月-2014年9月，在智能网关上抓取用户数据，查阅相关文献资料，建立用户兴趣模型。2)第二阶段：2014年10月-2015年1月深入研究个性化信息推送技术和方式，形成基于智能网关的个性化精准内容推送系统构架方案；3)第三阶段：2015年2月-2015年6月编码实现相关功能；4)第四阶段：2015年7月-2015年9月对已开发系统和算法进行测试和整体项目评估。【预
22、期成果】1）在家庭网关上建立的用户兴趣模型；2）基于智能网关的个性化精准内容推送系统；3）在Linux系统之上实现上述结果【可评价指标】a) 形成基于C/C+语言的算法模块，可在linux系统以及嵌入式平台上实现。b) 形成基于智能网关的个性化精准内容推送系统构架方案，构建个性化精准内容推送系统。具有较高匹配率。c) 算法满足家庭环境下的系统适应性和稳定性。d) 个性化匹配率90%。【课题支持年限】 1-2年【开放基金支持额度】 20 万元=海信信芯科技多媒体芯片技术一、专题指南说明本专题针对多媒体芯片、视频处理及物联网的发展趋势，围绕关键算法设计、关键IP核等若干方向，力争在芯片领域取得关键
23、技术突破，为数字多媒体重点实验室以及海信芯片公司的产品研发提供前沿关键技术支撑。二、指南内容课题1：高速DDR3 PHY技术研究【课题研究目标】提供TSMC 40nmLP工艺的DDR3 PHY设计。【基本要求】1. 规格及性能指标达相关标准2. 功耗、面积、性能（达到1600MByte/s带宽)符合海信芯片要求3. 完成原理图设计、Layout设计4. 建立有效的验证、测试平台，完成仿真及验证5. 试流片将规划到海信相关IP一起做（有海信流片）6. 提供完善的原理图、设计文档、接口文档7. 提供完善相关代码8. 提交1项发明专利（专利归海信所有）。【课题支持年限】1年【开放基金支持额度】20万
24、元课题2：Gigabit Ethernet PHY技术研究【课题研究目标】提供TSMC 40nmLP工艺的Gigabit Ethernet PHY IP设计。【基本要求】1. 规格及性能指标达到符合相关标准2. 功耗、面积、性能符合海信芯片要求3. 完成原理图设计、Layout设计4. 建立有效的验证、测试平台，完成仿真及验证5. 试流片将规划到海信相关IP一起做（有海信流片）6. 提供完善的原理图、设计文档、接口文档7. 提供完善相关代码8. 提交1项发明专利（专利归海信所有）。【课题支持年限】1年【开放基金支持额度】20万元课题3：超高清视频HEVC编码器、架构及IP研究【课题研究目标】研
25、究超高清4Kx2K 60Hz视频HEVC编码算法及硬件实现架构。1. 实现相同画质的情况下比当前业界先进的H.264编码器的压缩比提升50%2. IP的综合面积应小于业界的商业IP （以On2 和C&M的HEVC编码器为参照）。【基本要求】1. 实现相同画质的情况下比当前业界先进的H.264编码器的压缩比提升50%2. IP的综合面积应小于业界的商业IP （以On2 和C&M的HEVC编码器为参照）。3. 算法以C源代码实现，并一定点数进行计算，是最终RTL实现的比对golden model。4. 架构的设计优化计算、存储、和带宽等资源5. RTL IP Verilog实现, 且能与C mod
26、el bit-by-bit 匹配。6. 建立完善的验证平台，完成IP设计和验证，7. 实现在FPGA平台上的验证。8. IP的综合面积应小于业界的商业IP （以On2 和C&M的HEVC编码器为参照）。9. 提供完善的算法文档，架构文档、RTL设计文档、及接口文档10. 提供完善的C model代码和Verilog 代码11. 提交4项发明专利（专利归海信所有）。【课题支持年限】1.5年【开放基金支持额度】20万元=海信电器股份课题1：客厅场景主体对象语义识别及其Android应用【课题研究目标】为了深入了解用户观看电视时的场景状态，对客厅主体对象和人体状体进行识别获取其内容语义和位置特征，已
27、经成了主动交互的一个主要方面。本课题将重点研究基于2D低成本USB摄像头的场景识别之房间主体对象识别技术，能够在1-3.5米内识别出房间内的主要客体对象-茶几、遥控器、茶杯、沙发、地毯、墙饰及其相互位置；人体状态，人是坐、站及人手拿的什么东西，并做初步语义分析。同时要求对该系统设计至少一个Android应用。该系统要能够在电视应用场景的背景及灯光等环境下正常工作。【基本要求】1) 分析当前场景识别技术的实现方式和应用方式，技术难点，和未来发展趋势；2) 预测场景识别主体对象识别技术及电视应用的演变趋势，并形成报告，论述各个技术方向的可行性；3) 针对业内领先的关键算法进行仿真实现和比较；4)
28、提交验证平台及其算法模块的源代码，完成设计文档；5) 提交2项发明专利。【可评价指标】 3) 形成基于C/C+语言的算法模块，并可在PC，Android，或嵌入式平台上实现；2) 算法应满足实时识别跟踪的要求。采集更新频率不低于10帧/秒；3) 算法应满足家庭环境下的系统适应性和稳定性； 4) 综合场景识别准确率90%。【课题支持年限】 0.5-1年【开放基金支持额度】 25 万元 图1 客厅主体对象语义示意图图2人体对象状态语义示意图课题2：低成本人体动作体感传感器【课题研究目标】体感交互已经逐渐被认为是电视交互操控的主要方向。本项目主要研究低成本人体动作体感传感器及其体感识别应用。能够在1
29、-4米内，实时识别人体双手及四肢的动作状态和关键点，特别是能提供基本的手势及手指动作特征点，并能获得3D深度场景图。要求该传感器硬件系统功耗低，能长期工作，提高工艺后，具有量产化的可能。要能够在电视应用场景的背景及灯光等环境下正常工作。【基本要求】1) 分析当体感动作传感器的实现方式和应用方式，技术难点，和未来发展趋势；2) 预测体感识别技术及电视应用的演变趋势，并形成报告，论述各个技术方向的可行性；3) 针对业内领先的体感技术进行分析，并选择一进行仿真实现和比较；4) 提交验证平台及传感器硬件系统，提交硬件设计原理图及电路图及其它说明文档；【可评价指标】 1）体感识别实时无延迟；2) 在1-
30、4米内，左右视角40-40内，工作正常； 3）功耗应低，性能应稳定； 4）综合动作识别准确率90%。【课题支持年限】 1-1.5年【开放基金支持额度】 30 万元课题3：人脸表情分析技术及其Android应用【课题研究目标】为了深入了解用户观看电视、手机（及平板，以下“手机”皆同）视频、手机阅读等情境下的情绪状态，需要分析人脸表情；人脸表情分析已经成了智能终端主动交互的一个未来潜在方面。本课题将重点研究基于2D低成本USB摄像头的人脸表情分析技术，能够分别针对电视及手机的使用场景，在适当范围内（电视:1-4米,手机：0.5米），识别出用户观看电视及手机视频时的情绪状态。同时要求对该系统设计至少一个Android应用，并能够在电视、手机正常的应用场景背景及灯光等环境下正常工作。【基本要求】1）分析人脸表情分析的实现方式和应用方式，技术难点，和未来发展趋势；2）预测人脸表情分析技术及电视应用的演变趋势，并形成报告，论述各个技术方向的可行性；3）针对业内领先的关键算法进行仿真实现和比较；4）提交验证平台及其算法模块的源代码，完成设计文档；5）提交2项发明专利。【可评价指标】1）表情分析实时无延迟；2)针对电视，在1-4米内，左右视角30-30内，
