基于DSP的数字视频图像获取与处理技术研究的文献综述.docx
- 文档编号:17128710
- 上传时间:2023-07-22
- 格式:DOCX
- 页数:15
- 大小:264.09KB
基于DSP的数字视频图像获取与处理技术研究的文献综述.docx
《基于DSP的数字视频图像获取与处理技术研究的文献综述.docx》由会员分享,可在线阅读,更多相关《基于DSP的数字视频图像获取与处理技术研究的文献综述.docx(15页珍藏版)》请在冰点文库上搜索。
基于DSP的数字视频图像获取与处理技术研究的文献综述
文献综述
课题名称
基于DSP的数字视频图像获取与处理技术研究
指导教师
学院
信息学院
专业
信号与信息处理
班级
信号4班
学生姓名
学号
要求:
一、说明材料来源情况;二、对课题的研究意义、研究现状等进行准确的分析与归纳并作出简要评述;三、表达自己的观点与主张,阐述该课题的发展动向和趋势。
摘要:
近20年来,半导体技术的发展有力地促进了数字图像处理技术在工业、商业、医学、安防、军事、太空开发、科学研究及消费类电子产品中的广泛应用。
数字图像技术的难点在于其极大的数据量和相应要求的极快的处理速度和极大的存储空间。
当前数字视频图像采集系统的实现方式有的基于嵌入式工控机,有的基于FPGA,有的基于专用压缩芯片,还有的基于DSP[1]。
采用通用DSP的实现方式,灵活性强,能满足特殊视频格式和处理的需要,具有很好的可扩展性、可升级性和易维护性,是目前研究的热点。
本文在研究了当前数字视频图像技术发展的基础上,提出了一种低成本高性能的基于TMS320C6711DSP的数字视频图像获取和处理系统的设计,并在该系统上对基本的数字图像压缩算法JPEG进行了研究。
关键词:
数字视频,DSP,视频解码器,JPEG
一、背景
1.1嵌入式数字视频图像处理技术
数字视频图像的获取就是要把模拟视频信号转换为适合数字设备处理的数字视频信号,这一过程包括摄取图像光电转换及数字化等几个步骤。
嵌入式数字视频图像处理系统的实现方式多种多样,其中采用DSP的实现方式,灵活性强,完全能满足对特殊视频格式和处理的需要,具有很好的可扩展形、可升级性和易维护性,是目前研究的一个热点方向。
1.2课题研究的意义
使用DSP进行图像处理具有以下特点:
(1)运算速度快:
由于采用多级流水线并行执行的方式,使得程序执行速度大大提高,满足实时处理图像的要求。
如C6711工作在150MHz时,运算速度可达900MFLOPS。
(2)支持高速大容量存储器:
在图像处理中往往有大量的数据需要处理,这就要求系统具有大容量的存储器,同时实时处理图像时要求存储器也要有很高的存取速度,在这一点上C6000系列DSP实现了与目前流行的SDRAM、SBSRAM等高速大容量存储器的无缝连接,同时还支持SRAM、ROM、FLASH、FIFO等各种类型的存储器。
(3)DMA功能:
C6000DSP中集成了DMA控制器,可以在没有CPU参与的情况下完成映射存储空间内数据的搬移。
这些数据可以来自片内存储器、片内外设或是外部器件之间。
这项功能使得整块图像数据的搬移十分方便高效。
(4)多通道串口、中断控制、定时器等:
可以灵活方便地与系统其它部分实现通信和交互控制与同步。
(5)软件方面:
可以使用标准C语言、线性汇编或纯汇编编写程序,兼顾性能与效率。
由于DSP具有的这些特点,基于DSP芯片的视频图像处理系统具有很高的性价比,必将在图像处理,尤其是视频图像处理系统中居于主导地位。
一些基于DSP的典型的视频图像处理系统包括:
(1)视频监控系统;
(2)网络摄像机;
(3)IP可视电话(4)扫描仪
除了以上这些典型应用,基于DSP的视频图像处理系统因其灵活的可编程特性和通用性,在科学研究、医疗、商业、消费类电子产品等专业领域也具有广阔的应用前景,新的应用方案正在不断地被研究出来。
因此,研究基于DSP的视频图像获取和处理技术具有巨大的实用价值和市场价值。
2、技术概述
完整的嵌入式数字视频图像处理工程大体上可分为如下几个方面:
图像信息的获取,图像信息的存储,图像信息的传送,图像信息处理,图像信息的输出和显示。
图像信息的获取就是要把图像转换成适合输入计算机或数字设备的数字信号,这一过程主要包括摄取图像、光电转换及数字化等几个步骤。
目前摄取图像可以使用CCD、CMOS、CIS等图像传感器或摄像设备,其中CCD使用最广。
在专业级的数字视频应用中仍以CCD为主。
CCD输出的是模拟视频信号,模拟视频信号的制式早已标准化,所有CCD摄像机都遵循这些标准制式,了解模拟视频信号的制式是系统设计的必要环节,因此也是本课题研究的一个知识点。
模拟视频信号的数字化是由视频解码器(VideoDecoder)完成的,高性能的视频解码器可以接收不同制式的模拟视频信号,并将它们转换为各种格式的数字视频信号。
数字视频格式也已经标准化,因此研究视频解码器的工作原理和使用,以及各种数字视频格式标准是本课题的又一内容。
系统的硬件设计解决了数字视频图像的获取问题。
数字视频数据的数据量巨大,直接进行传输和存储都是不可能的,在不同的应用中对数据还有不同的处理要求,由于DSP的可编程性和强大的处理能力,可以用软件高效地实现对视频图像的压缩、编解码,完成诸如图像增强、图像复原、图像重建、图像识别、图像理解等各种图像处理任务。
这样在一个公共的硬件平台上,通过开发不同的软件就可以构成各种功能的图像处理系统,这种灵活性和低成本特性是基于ASIC芯片等硬件实现方案不可比拟的。
不论何种应用,通常都需要进行视频图像的压缩编码,因此本课题还将重点研究基本的图像压缩算法——JPEG。
2.1模拟视频制式基本理论[2,3]
模拟视频信号涉及一维时间变量的电信号f(t),它是通过对时变图像Scxxt(x1,x2,t)在时间坐标t和垂直分量x2上采样得到的。
周期性地采样过程称之为扫描(scanning)。
而且,如图2-1所示,信号f(t)仅沿着扫描线获取时变图像密度Scxxt(x1,x2,t)它还包括了时序信息和消隐信号(blankingsignal),这些均是正确定位图像所必须的。
图2-1扫描光栅图示
最常用的扫描方法是逐行扫描(progressivescanning)和隔行扫描(interlacedscanning)。
逐行扫描是在每一个∆t时间内对一个完整的图像进行扫描,它被称之为一帧(frame)。
电视行业使用2:
1隔行扫描。
隔行扫描依次对被称为奇数场和偶数场的奇数行和偶数行进行扫描。
图2-1表示的是一个2:
1的隔行扫描光栅,其中实线和虚线分别表示奇数场和偶数场,从D到E、从F到A称之为垂直回扫(verticalretrace)。
图2-2表示一种模拟视频信号f(t)。
在回扫间隔(retraceintervals)内,为了
消除CRT上接收的回扫线而插入消隐脉冲(blankingpulses)。
为了使接收机的水平和垂直扫描电路同步,还要在消隐信号的头部附加同步脉冲,同步脉冲确保了图像起始于CRT的左上角。
当然,逐行扫描和隔行扫描的视频的同步脉冲的时序是不一样的。
图2-2一行完整的视频信号
视频信号的几个重要参数是:
垂直清晰度(verticalresolution),宽高比(aspectratio)以及帧/场率(frame/fieldrate)。
垂直清晰度与每帧的扫描行数有关,宽高比是一帧的宽度与高度之比。
心理视觉(psychovisual)研究表明,如果显示的刷新率大于50次/秒,则人眼就不会感觉到光闪烁变化。
电视系统如采用高的帧率,要维持分辨率就需要一个大的传输带宽,因此电视系统使用了隔行扫描,该方法可以在固定带宽下降低闪烁。
2.2数字视频标准基本理论
在不同的应用和产品之间交换数字视频,就需要数字视频格式标准。
视频数据是
按照压缩的形式来交换,这就导致了压缩标准的出现。
下面将简述主要的数字分量视
频标准CCIR601和CCIR656。
(1)CCIR601[4,5]
CCIR建议60l定义了对应于525行和625行电视系统的电视演播的数字视频标准。
它建立在带有一个亮度(Y)和两个色差(Cr和Cb)信号的分量视频的基础上。
在525行和625行系统中,采样频率均选择水平扫描频率的整数倍。
因而,对亮度分量有:
对色度分量有:
因此Y、Cb、Cr信号的比例关系为4:
2:
2,样点结构如图2-3所示。
图2-3CCIR601标准样点结构
对于CCIR60l格式,其数据速率是165Mbps,这个速率对大多数应用太高,所
以CCITT专家组建议一种新的数字视频格式,它被称为通用中间格式(CIF)。
CIF格
式和CCIR601标准的参数如表2-1所示。
表2-1数字视频通信演播标准
(2)CCIR656[6,7]
CCIR601建议是信号抽样标准而不是接口标准,CCIR656定义了工作在CCIR601建议(部分A)的4:
2:
2级别上的525行和625行电视系统中的数字分量视频信号的接口标准。
接口信号格式如表2-2所示。
表2-2场间隔定义
注1:
信号F和V在数字行的开始时与有效视频定时基准码同步改变状态
8个最高有效比特都是1或都为0的数据字用于标识目的,所以256个8比特字中只有254个(1024个10比特字中的1016个)可以用于表示信号值。
视频数据字是以27MW/S的速率复用传送的,其顺序是:
Cb,Y,Cr,Y,Cb,Y,Cr,……
其中Cb,Y,Cr这三个字指的是同址的亮度和色差信号取样,后面的Y字对应于下一个亮度取样。
有两个定时基准信号,一个在每个视频数据块的开始(StartofActive
Video,SAV),另一个在每个视频数据块的结束(EndofActiveVideo,EAV)。
CCIR656还对在消隐期间以27MW/S的速率同步插入到复用组中的辅助数据做了规定。
辅助数据信号可以以10比特形式只在行消隐期间传送,还可以以8比特形式只在场消隐中的行的有效期间传送。
数据值00.Xh和FF.Xb保留用于标识目的,不能在辅助数据中出现。
在场消隐期间的行有效部分载送的所有辅助数据信号必需加前缀00.XFF.XFF.X。
在数字消隐期间出现不用作定时基准码或辅助数据的数据字,应在复用起来的数据中的适当位置上填入相当于Cb,Y,Cr,Y信号消隐电平的80.0h,
10.0h,80.0h,10.0h等序列。
2.3基于DSP的视频图像采集系统的硬件设计
基于DSP的数字视频采集系统一般采取以下结构设计:
图2-4
基于DSP的数字视频采集系统结构框图
其中CCD摄像机摄取视频图像,输出标准制式的模拟视频信号。
视频解码器(VideoDecoder)接收模拟视频信号,并将其转换为标准格式的数字视频数据流。
高速缓存暂存视频数据,避免数字视频数据流长时间占用DSP外部总线,影响DSP的其它操作。
DSP以间歇突发模式从高速缓存中读取数字视频数据。
很多数字视频数据处理操作都是基于帧来进行的,所以系统必须配置外部高速大容量帧存储器。
采集或处理后的视频数据常常需要输入PC供保存或分析,所以系统还应具有与PC的接口。
逻辑互联模块完成系统各部分的有缝接口的接口逻辑和控制逻辑。
电源模块为系统各部分提供电源。
2.3.1高速缓冲机制的设计
高速缓存担负着连接视频解码器和DSP的重任,设计一种有效的缓冲机制,可以极大地提高系统性能。
目前高速缓冲主要有乒乓切换、双口RAM(Dual-PortSRAM)和FIFO缓冲等几种方案。
在基于DSP的视频图像采集系统中一般使用同步FIFO,采用FIFO的缓冲方案硬件结构最为简单,硬件成本也最低。
FIFO缓冲方案[10,16,18]如图2-5所示。
FIFO即先进先出存储器,也是一种专门用来做总线缓冲的特殊存储器。
FIFO没有地址总线,它由外部通过同步或异步方式驱动内部写指针和读指针循环进行读写。
FIFO也可以同时进行读写操作。
FIFO有同步和异步之分,同步FIFO的读写操作同步到输入时钟信号,当然也就需要输入读写时钟;异步FIFO的读写操作不需要同步到时钟信号,当然也就不需要输入时钟信号。
异步FIFO的使用相对简单一些,但同步FIFO速度更快。
图2-5FIFO缓冲方案
2.3.2视频解码器控制机制的设计
视频解码器通常有丰富的内部寄存器,由外部处理器根据使用环境和需要进行配置以适应各种使用需求。
能否灵活地对视频解码器进行配置决定了系统的通用性和兼容性。
常用视频解码器的配置接口多为I2C或SPI等串行接口,本系统采用的视频解码器SAA7111A为I2C接口。
但TMS320C6000系列DSP没有I2C接口,在目前所见的系统中,为了通过I2C接口对视频解码器进行配置,通常专门在系统中增加一片具有I2C接口的单片机[10,11,18],如图2-6所示。
I2C单片机接收到控制信号以后就对视频解码器进行配置。
图2-6用I2C单片机配置视频解码器
用I2C单片机配置视频解码器的好处是软件编程非常简单。
但这种为了完成单一
功能而增加芯片,增加硬件成本的方法非常不可取。
因为I2C总线的实现在逻辑上并不复杂,所以在本系统决定用DSP的McBSP口模拟I2C接口实现对视频解码器的配置,如图2-7所示。
图2-7用McBSP口模拟I2C接口配置视频解码器
TMS320C6711的通用I/O口资源非常有限,只有McBSP接口可资利用。
在DSP上用McBSP口模拟I2C接口,在硬件和软件上与普通的通用I/O口模拟I2C接口有一些不同。
2.3.3系统其它模块的设计
(1)CCD摄像机
目前的CCD摄像机都是按照视频标准设计制造的,一般都能够输出2.1.2小节所述的标准制式的模拟视频信号,这样的CCD摄像机都可以应用于本系统。
(2)视频解码器(VideoDecoder)
本系统采用Philips公司的视频解码芯片SAA7111A,该芯片使用范围广泛,性价比已经得到了充分证明。
(3)帧存储器
本系统中帧存储器采用SDRAM,这是由DSP的特性决定的。
TMS320C6000DSP具有和SDRAM的无缝接口能力,而SDRAM也具备高速、大容量、成本低的特点,完全适合设计的要求,因此也是设计的首选。
(4)电源模块
电源模块的设计是由系统其它部分的电源要求决定的,因此在系统其它部分芯片
的选型上应该考虑电源的要求,芯片的电压要求应该尽量一致,以简化电源的设计。
本系统所选的芯片电压均为3.3V,因此电源模块只要提供3.3V电压和足够大的电流
即可。
(5)逻辑互联模块
本系统中有些芯片的互联需要有缝接口,这些接口的时序要求都比较严格和苛刻,用分立元件来实现会使系统变得复杂凌乱,因此本系统用一片CPLD完成所有的逻辑互联,通过软件编程和优化满足系统的时序要求。
(6)PC接口
本系统没有专门设计PC接口,而是借助DSP的PC仿真调试接口JTAG完成图像数据到PC的传输。
JTAG是DSP的仿真器接口,是一种串行接口,它的传输速度由仿真器的类型决定,从几十KB/s~2MB/s。
通过以上设计,系统的整体结构如图2-8所示
图2-8基于DSP的数字视频图像获取及处理系统结构图
2.4基于DSP的视频图像采集系统的软件设计
基于DSP的数字视频图像获取及处理系统的软件流程如图2-9所示。
其中有几
个主要模块,即I2C接口模拟模块、EDMA传输模块和视频数据处理模块。
本系统中视频数据处理模块即JPEG压缩编码模块。
图2-9基于DSP的数字视频图像获取及处理系统的软件流程
基于DSP的数字视频图像获取及处理系统中完成图像采集功能的控制软件的设计,重点介绍了I2C接口驱动模块和EDMA传输模块的设计。
I2C接口驱动模块可以将TMS320C6711的McBSP接口用软件模拟为I2C接口,用户在使用时就像在使用一个硬件I2C接口一样方便。
利用I2C接口驱动模块,图像采集程序就可以通过I2C接口配置和控制SAA7111A视频解码器。
EDMA传输模块用EDMA方式完成视频数据的整个帧采集过程,无需CPU
干预,采集速度高达33.3MWord/S,CPU可以在数据传输的同时进行图像处理等其它运算,大大地提高了系统的并行性和整体性能。
2.5JPEG压缩算法基本原理[12,13]
JPEG算法是联合图像专家小组(JointPhotographicExpertsGroup)开发出的一
种连续色调、多级灰度、静止图像的数字图像压缩编码方法。
JPEG算法被确定为JPEG
国际标准,它是一个适用范围广泛的通用标准,不仅适用于静止图像的压缩,也适用
于电视图像序列的帧内图像压缩。
JPEG的压缩模式有下列几种:
顺序式编码(sequentialencoding)——一次将图像由左到有,由上到下顺序处理。
递增式编码(progressiveencoding)——当图像传输的时间较长时,可将图像分数次处理,以较模糊至清晰的方式来传送图像。
无失真编码(losslessencoding)——压缩后再经过还原的图像与原始图像的数据一模一样。
阶梯式编码(hierarchicalencoding)——图像以数种分辨率来压缩,其目的是为了让具有高分辨率的图像也可以在较低分辨率的设备上显示。
在压缩与解压缩的处理过程中,又有以DCT(离散余弦变换)为基准(DCT-based)的有失真(lossy)方式和使用预测器(predictor)的无失真(lossless)方式,而DCT-based方法又分为仅能接受每像素点(pixel)以8位表示图像的基本图像处理(baselineprocess)和接受每个像素以8位或12位表示图像的扩展式处理(extendedprocess)。
本课题所要研究的是基本图像处理(baselineprocess),其压缩过程以8个像素
x8个像素的图像块为数据处理单位(dataunit),压缩流程如图2-10所示
图2-10JPEG压缩流程
首先把原始图像分成8x8的图像块,然后对每个8x8的图像块进行DCT变换,得到一组64个DCT系数,再对这些DCT系数进行量化,最后对量化后的系数进行哈夫曼编码(Huffman,即熵编码),得到压缩数据。
必须注意的是,JPEG算法使用YCbCr
色彩系统,而不是RGB色彩系统,YCbCr色彩系统与RGB色彩系统的转换关系如下:
Y=0.2990R+0.5870G+0.1140B(2.5.1)
Cb=−0.1687R−0.3313G+0.5000B+128(2.5.2)
Cr=0.5000R−0.4187G−0.0813B+128(2.5.3)
R=Y+1.40200(Cr−128)(2.5.4)
G=Y−0.34414(Cb−128)−0.71414(Cr−128)(2.5.5)
B=Y+1.77200(Cb−128)(2.5.6)
在本系统中,视频解码器SAA7111A可以通过配置直接输出YCbCr数据,因此可
以直接用于JPEG压缩。
3.应用
1、DSP在医疗内窥镜系统中的应用
胶囊内窥镜或无线内窥镜系统一般由三部分组成:
微型摄像单元、视频图像数据源记录系统、影像工作站。
其中视频图像数据源记录系统是确保微型摄像单元所拍摄视频图像可靠传输及存储的关键,同时也为影像工作站提供最为兼容的图像数据。
它的可靠性直接影响到整个无线内窥镜系统的功能。
而传统的视频记录仪多采用模拟磁带录像技术,这种方法记录图像质量差、时间短、且由于磁带的磨损而容易产生干扰和噪声等。
系统以TI公司的高性能数字信号处理器TMS320C6211为核心处理器,采用PHILIP公司视频解码器SAA7114H对模拟视频信号进行数据缩放,在复杂可编程逻辑控制电路的控制下,视频图像数据由高速缓存先入先出队列传输到DSP进行静止影像数字压缩通用标准格式(JPEG)压缩,最后将处理后的图像数据存入高密度闪存卡,完成视频图像的及时记录功能。
其中DSP主要用来进行压缩编码和数据传输,我们采用离散余弦算法和DCT系数量化的快速算法加快了DSP的运算速度,减少了DSP的执行代码,同时我们对各种存储类型进行了合理的分配,优化了存储器结构。
在数据传输和处理过程中大量使用扩展的直接存储器访问来加快处理数据的速度并提高了系统的性能。
该系统具有体积小、采样率高、存储容量大、记录时间长及功耗低等特点[14]。
2、DSP在红外图像处理中的应用
随着非致冷红外焦平面阵列探测器的进步,热成像技术越来越广泛地应用于电力、医疗、军事、交通等众多领域。
由于红外图像的形成一般来源于多元探测器的输出信号,而不同的红外探测器单元的响应存在较大差异,从而使红外图像产生空间不均匀。
同时红外图像的信噪比一般比可见光CCD图像低,普遍存在目标与背景对比度较差、边缘模糊、噪声较大等特点,对此类图像需要进行对比度增强,使原来人眼不易识别的目标显现出来。
实时地获取高质量的红外图像已成为红外成像技术领域中的一个重要课题。
一种基于TI公司的高性能数字信号处理器TMS320C6201为核心器件的实时非致冷红外图像处理系统,该系统通过USB2.0接口与PC机通信,由PC机完成图像的伪彩色处理与显示。
提出了一种新的基于Curvelet变换红外图像增强算法,由于Curvelet变换以边缘为基本表示元素,具有完备性,能很好地适合图像的特点,仿真结果表明该方法优于传统地增强方法。
该系统在DSP上实现了所提出的红外图像增强算法及基于两点法的红外图像非均匀校正[15]。
四、总结
近10年来DSP技术获得了飞速发展,DSP芯片的性能不断迈向新高,基于DSP的嵌入式数字图像处理系统因其通用性和高性价比得到了越来越广泛的应用。
本课题针
对这一极具实用性和市场价值的技术进行了深入研究,设计出了一套基于TMS320C6711DSP的数字视频图像获取及处理系统,并在该系统上对基于DSP的数字图像处理技术进行了研究。
课题的主要研究内容和研究成果如下:
(1)深入研究了PAL、NTSC、SECAM模拟视频制式和CCIR601、CCIR656数字视频频标准的基本原理,在此基础上确定了本系统所要遵循的原则和技术要求。
(2)分析比较了当前各种数字视频图像处理系统的结构和软硬件实现方案,在此基础上提出了基于TMS320C6711DSP的数字视频图像获取和处理系统的设计方案。
本方案结构简单,成本低,性价比高,具有一定的先进性。
(3)深入研究了TMS320C6711DSP、SAA7111A视频解码器、SN74V225FIFO、ispMACH4A3CPLD的工作原理和时序逻辑关系,采用VHDL语言完成了CPLD的逻辑设计,基于这些器件完成了系统的硬件设计。
该系统复杂度低,结构简洁,具有很高的可靠性。
(4)深入研究了TMS320C6711DSP的并行编程技术,完成了本系统图像采集软件的设
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 DSP 数字视频 图像 获取 处理 技术研究 文献 综述