1、多媒体技术基础教案多媒体应用技术基础教案课程名称：多媒体技术适用专业：电子信息工程、电子商务、工业设计专业学年、学期：2007-2008第二学期任课教师：云彩霞编写时间：2008年2月20日第1讲（一）授课内容1开课篇：介绍开设这门课程的目的和意义，交换联系方式，介绍课程考核要求及平时要求等；2多媒体技术基础知识：主要讲述多媒体及MPC的基本概念，多媒体技术的应用，以及多媒体产品的开发过程和方法等；3多媒体个人计算机：讲述MPC的基本概念和组成，以及MPC的基本硬件配置。 人类社会已进入信息化的新时代，信息作为一种资源已经和能源、材料成为当今社会的三大基本资源之一。但是，不同于一般的能源或材料
2、，信息资源是非一次性的，信息的利用可以重复，而信息的传递、存储和交流对信息的利用又起着关键作用，为此便需要各种形式的信息载体。第一章 概论了解多媒体的概念多媒体技术的特征多媒体计算机系统关键技术多媒体计算机系统的应用了解多媒体技术的发展第一章 概论多媒体计算机技术多媒体的概念 1、媒体即媒介、媒质，它是信息的载体。是指人们每天接触的新闻媒体，如报纸、电视、杂志、电影、广播等，它们以声音、图像、文字、视频信号等作为媒体，向我们提供各种信息。 2、在计算机技术领域中，媒体(英文是medium)指的是信息传递和存储的最基本的技术和手段。随着计算机技术和微电子技术的发展，已经可以把媒体的信息在计算机中
3、以数字形式来表示和处理，综合起来就形成一种全新的媒体概念多媒体。3、国际电报电话咨询委员会(CCITT) 将媒体分为5大类：感觉媒体(Perception Media)表示媒体(Representation Media)显示媒体(Presentation Media)存储媒体(Storage Media)传输媒体(Transmission Media)。第一章 概论4、多媒体技术具有以下特征：多样性集成性交互性数字化实时性第一章 概论多媒体计算机系统的关键技术应用一、多媒体计算机技术的主要组成1信息处理技术和信息压缩技术2多媒体计算机技术3. 多媒体数据库技术4. 多媒体网络通信技术第一章 概
4、论二、多媒体计算机系统的关键技术视频和音频数据的压缩和解压缩技术多媒体计算机硬件体系结构和专用芯片技术 多媒体计算机系统软件技术大容量信息存储技术 多媒体网络通信技术超文本与超媒体技术 人工智能技术第一章 概论三、多媒体计算机系统的应用 教育与培训 电子出版领域 文化娱乐 咨询服务领域 多媒体网络通信领域 传递公用信息 第一章 概论多媒体技术的发展 1984年，美国苹果(Apple)公司推出被认为是代表多媒体技术的Macintosh机 1985年，美国微软(Microsoft)公司研制了自己的图形化操作系统Windows 1986年，荷兰飞利浦(Philips)公司和日本的索尼(Sony)公司
5、合作，研制出CD-I (Compact Disk Interactive)光盘系统 1987年，美国RCA公司推出了交互式数字视频系统DVI(Digital Video Interactive) 1990年11月，由美国Microsoft公司会同多家厂商召开了多媒体开发者会议，会议成立了多媒体计算机市场协会，制定了多媒体个人计算机标准 1995年先后发布了多媒体个人计算机标准和 1996年，Intel公司为了适应多媒体技术发展，将多媒体扩展(Multimedia Extension， MMX)技术加入到微处理器芯片Pentium Pro中 第二章 多媒体计算机系统 多媒体计算机系统的层次结构
6、多媒体计算机系统的组成 多媒体计算机的硬件系统 多媒体计算机的软件系统第二章 多媒体计算机系统第二章 多媒体计算机系统第二章 多媒体计算机系统多媒体计算机硬件系统包括： 计算机主机系统 多媒体的接口 外部设备第二章 多媒体计算机系统 多媒体计算机主机系统有两类：一类是专用的多媒体计算机系统，如Philips、Apple公司生产的专用计算机(工作站)，它们面向视频、音频的采集、播放，用于图像和音频的处理等专门用途。另一类是利用通用的计算机系统(如PC机)，进行升级，使其成为具有多媒体功能的计算机。 第二章 多媒体计算机系统显示卡音频卡视频卡 第二章 多媒体计算机系统 显示卡又称显示适配器，它是计
7、算机主机与显示器之间的接口，用于将主机中的数字信号转换成图像信号并在显示器上显示出来。第二章 多媒体计算机系统 音频卡是实现计算机对声音处理的功能的部件，借助它，计算机可以录制、编辑、回放数字音频文件，对音频文件进行压缩和解压缩；控制各个声源的音量并加以混合和输出信号的功率放大；采用语音处理技术实现语音合成和语音识别；提供MIDI音乐设备数字接口等。第二章 多媒体计算机系统 视频卡是对视频信号进行处理的接口，它可以汇集视频源(电视信号)、音频源、录像机、激光视盘机、摄像机等信息，进行编辑、存储、输出等。按其功能又分有图像加速卡、视频播放卡、视频捕捉卡、电视卡等。第二章 多媒体计算机系统输入设备
8、输出设备存储设备第二章 多媒体计算机系统 音频输入设备有话筒(MIC)、激光唱盘和MIDI合成器等。 视频设备有数字输入设备和模拟输入设备两种。 1、数字输入设备有扫描仪、数字录像机、数字照相机、光盘设备等。 2、模拟输入设备有摄像机、录像机以及各种制式的电视视频信号源 第二章 多媒体计算机系统音频输出播放设备有扬声器、立体声耳机(EAR)、MIDI播放器、立体声音响设备等。视频输出播放设备有电视机、投影电视、显示器、家庭影院等。显示器是一种计算机输出显示设备，它由显示器件(如CRT、LCD)、扫描电路、视频电路和接口转换电路组成，为了能清晰地显示出字符、汉字、图形，其分辨率和视频带宽比电视机
9、要高出许多。投影仪是一种用于计算机信息的大屏幕显示设备。使用投影仪时，通常配有大尺寸的幕布，计算机送出的显示信息通过投影仪投到幕布上。第二章 多媒体计算机系统 多媒体的存储设备除了通常的软磁盘、硬磁盘、磁带等以外，最主要的外存设备是光盘。有关光盘的知识将在第五章作详细介绍。第二章 多媒体计算机系统 多媒体软件的基本特点多媒体软件的层次 多媒体环境支撑软件 第二章 多媒体计算机系统多媒体软件运行于多媒体操作系统平台之上。多媒体软件可以高度集成各种媒体信息，将之融合在一起，进行综合处理。能有效地组织图、文、声、像等多种信息。多媒体软件为用户提供良好的交互式界面，用户可以随意控制，使用方便灵活。第二
10、章 多媒体计算机系统第二章 多媒体计算机系统 多媒体环境支撑软件： 也就是操作系统，它是计算机软件的核心，作为多媒体的操作系统还应该解决以下的关键问题： (1)对音频、视频信息必须建立具有时间参数的标准文档格式。 (2)解决图像和声音数据实时播放时所需要的同步控制机制，依靠软件硬件结合完成。 (3)对声像的数据必须通过软、硬件结合进行压缩和还原处理。 (4)要有标准化的对硬件透明的应用程序接口API、图形用户接口GUI或MMUI。（二）教学方式及学时分配1教学方式：采用知识单元讲授的形式，中间穿插多媒体案例展示；2学时分配：2学时（三）教学目的与要求1讲授该门课程的教学意义以及教学要求；2了解
11、多媒体基本概念和知识；3掌握多媒体及MPC的基本概念，以及多媒体技术的应用领域；4了解多媒体产品的创造过程。（四）教学重点和难点1重点：多媒体的概念及特征；多媒体产品的开发方法。2难点：本讲内容属于基础知识介绍，学生比较容易理解，没有难点。（五）教学组织形式采用多媒体示例和教师讲授的形式，中间穿插提问。（六）教学过程中应注意的问题1第一次课应该注意如何让学生认识到多媒体课程的重要性；2应采用事例教学的方法来提高学生的兴趣和积极性。（七）参考资料赵子江 多媒体技术应用教程 第一章 第二章（八）作业及习题1多媒体的英文原文是什么？2多媒体的媒体种类有哪些？3MPC是指什么？第2讲（一）授课内容1多
12、媒体扩展设备：主要讲述MPC的外围扩展设备的基本原理和技术特点等；2美学基础：介绍美学的基本知识，平面构图的规则以及色彩构成的基本方法；3多媒体数据描述：主要介绍多媒体数据（包括静态图像、动态图像和声音文件）的基本知识；第二章 音频信息的获取与处理音频信号及其概念 数字音频基础 音频编码基础 音频编码标准 音乐合成和MIDI 语音识别 Cool Edit 2000 简介本章要点v1. 数字化音频的获取与处理的概念，模拟音频与数字音频的区别。数字化音频采样和量化的基本原理，以及数字音频的文件格式和音频信号的特点。v2.音频卡的工作原理、功能、分类和音频卡的安装使用。v3.音频编码的原理、标准以及
13、编码的基本方法。v4.音乐合成和MIDI的接口规范，以及MIDI在多媒体技术中的应用，语音识别和合成原理及其分类。音频信号及其概念 声音是多媒体信息的一个重要组成部分,也是表达思想和情感的一种必不可少的媒体。无论其应用目的是什么，声音的合理使用可以使多媒体应用系统变得更加丰富多彩。在多媒体系统中，音频可被用作输入或输出。输入可以是自然语言或语音命令，输出可以是语音或音乐，这些都会涉及到音频处理技术。 声音处理技术历史回顾 语言、音乐和各种自然声是以声波为载体传递信息的基本形式 。人类很早就开始研究声音，并利用当时已掌握了的声音的某些规律来制造乐器、进行建筑设计或传声装置设计，使发出的声音传得更
14、远。可是几千年来，人类只能凭耳朵来辨别声音的高低、强弱，而不能把声音记录和储存起来。所以与其他研究领域相比，声学的研究相对滞后。直到19世纪爱迪生发明了留声机，人们才能用机械的方法把各种声音记录在唱片上。可是声音、机械振动不容易传递，也不容易放大，机械方法很不方便。随着电学、电子学的发展，人们开始尝试记录下这些真实的声音，利用把声的振动转换成电信号的原理，使声音的记录成为可能。最终电声技术获得了迅速发展。 电声技术是研究可听声频率范围内声音的产生、传播、存储、重放和接收的技术。顾名思义，电声技术是依靠“电”来记录并播放声音的，其基本原理是通过电压来产生模拟声波变化的电流信号，并记录下来，灌录成
15、早期的唱片或磁带，这种电流信号便被称之为“模拟信号”。传统的声音记录方式就是将模拟信号直接记录下来，例如磁带录音和密纹唱片就是将声音拾取处理后以磁记录或机械刻度的方式记录下来，此时磁带上磁极的变化或密纹唱片音槽内的纹路起伏变化都是与声音信号的变化相对应、成正比的。这里，密纹唱片、盒式磁带等是记录储存这种模拟声音信号的载体，而能够播放和（或）记录这些软件的信号处理设备，诸如电唱机、磁带录音机等，则称为模拟音响设备。 v电声技术把声信号转换成电信号，经扩声系统直接进行扩声；或者将其信号利用磁带、CD或其他存储形式，使声音可超越时间和空间，通过重放系统将其信号（数字的或模拟的）经过放大，由扬声器或耳
16、机转换成声信号，进入最后的终端-人耳，以实现任何时间和地点的声音重现。电声转换、音频信号的存储、重放技术、加工处理技术以及数字化音频信号的编码、压缩、传输、存取、纠错等技术，是音频技术的主要对象。v随着计算机技术的发展，特别是海量存储设备和大容量内存在计算机上的实现，对音频媒体进行数字化处理便成为可能。数字化处理的核心是对音频信息的采样，通过对采集到的样本进行加工，生成各种效果。v音频信息在多媒体中的应用是极为广泛的，当计算机配有声卡和音箱后，就能够发出各种悦耳的声音，尤其是视频图像配以娓娓动听的音乐和语音，使计算机的操作得以藉由视觉以外的听觉加以辅助而成为一种愉快的过程。静态或动态图像配以解
17、说和背景音乐，可使图像充满生气；立体声音乐可增加空间感，使人身临其境；语音电子邮件，听声如见其人，游戏中的音响效果对于渲染气氛则为显得更为重要；此外，在多媒体通信中，可视电话、电视会议、这些都离不开数字化音频处理技术。音频信号的形式v在日常生活中，音频(Audio)信号可分为两类：语音信号和非语音信号。语音是语言的物质载体，是社会交际工具的符号, 它包含了丰富的语言内涵，是人类进行信息交流所特有的形式。非语音信号主要包括音乐和自然界存在的其他声音形式。非语音信号的特点是不具有复杂的语义和语法信息，信息量低、识别简单。v我们之所以能听到日常生活中的各种声音信息，其实就是不同频率的声波通过空气产生
18、震动，刺激人耳的结果。在物理上，声音可用一条连续的曲线来表示。这条连续的曲线无论多复杂，都可分解成一系列正弦波的线性叠加。规则音频是一种连续变化的模拟信号,可用一条连续的曲线来表示，称为声波。因声波是在时间和幅度上都连续变化的量，我们称之为模拟量。 用声音录制软件记录的英文单词Hello的语音实际波形 模拟音频信号的物理特征v模拟音频信号有两个重要参数：频率和幅度。声音的频率体现音调的高低声波幅度的大小体现声音的强弱。一个声源每秒钟可产生成百上千个波，我们把每秒钟波峰所发生的数目称之为信号的频率，单位用赫兹(Hz)或千赫兹(kHz)表示。例如一个声波信号在一秒钟内有5000个波峰，则可将它的频
19、率表示为5000Hz或5kHz。人们在日常说话时的语音信号频率范围在300Hz3000Hz之间。频率小于20 Hz的信号称为亚音(Subsonic)；频率范围为20Hz20kHz的信号称为音频(Audio)，频率高于20kHz的信号称为超音频(Ultrasonic)。 与频率相关的另一个参数是信号的周期。它是指信号在两个峰点或谷底之间的相对时间。周期和频率之间的关系是互为倒数。信号的幅度是从信号的基线到当前波峰的距离。幅度决定了信号音量的强弱程度。幅度越大，声音越强。对音频信号，声音的强度用分贝(dB)表示，分贝的幅度就是音量。 声音的A/D与D/A转换模拟信号很容易受到电子干扰，因此随着技术
20、的发展，声音信号就逐渐过渡到了数字存储阶段，A/D转换和D/A转换技术便应运而生。这里，A代表Analog”（类比、模拟），D代表Digital （数字、数码），A/D转换就是把模拟信号转换成数字信号的过程，模拟电信号变为了由0和1组成的Bit信号。 A/D转换的一个关键步骤是声音的采样和量化，得到数字音频信号，它在时间上是不连续的离散信号。 借助于A/D或D/A转换器，模拟信号和数字信号可以互相转换与声音有关的几个术语音高是人对声波频率的主观属性，它首先与声波的频率有关。声波的振动频率高，我们听到的声音就高，反之亦然，但它们之间并非线性关系。音色是声波波形的主观属性。不同的发音体所发出的音波
21、都有自己的特异性。声波的类型是多种多样的，一般可分为纯音和复合音两大类。语音是特殊的复合音。语音由元音和辅音所构成。元音是一种能连续发出的乐音，辅音主要是不能连续发出的短促的噪音，元音与辅音合成汉语音节。响度是声波振幅的主观属性，它是由声波的振幅引起的。振幅越大则响度越大，但它们之间也不是线性关系。声音质量的评价我们经常会对某一位歌手的歌声发表意见，并与其他歌手进行比较，这其实是在对声音的质量进行评价。声音质量的评价是一个很困难的问题，也是一个值得研究的课题。目前来看，声音质量的度量有两种基本方法，一种是客观质量度量，另一种是主观质量的度量。声音客观质量的度量方法 声波的测量与分析传统的方法是
22、先用机电换能器把声波转换为相应的电信号，然后用电子仪表放大到一定的电压级进行测量与分析。由于计算技术的发展，使许多计算和测量工作都使用了计算机或程序实现。这些带计算机处理系统的高级声学测量仪器，能完成下列一些测量工作： 评价值的测量 响度和响度级，噪音级，清晰度指数，噪音评价数。声源的测量 频谱的时间变化，声功率，指向性，效率，频谱特征，幅值分布等。 音质的测量 混响时间，隔音量，吸音量。声测量的基本仪器是声级计。声级计是一种能对声音作出类似人耳的反应的仪器，同时，它能进行客观而可重复的声压和声级测量。声压测量的好处很多：它能帮助音乐厅提高音响效果；能对烦扰声音进行精密的、科学的分析。声级测量
23、还能明确地告诉我们什么声音会引起听力损害，并提醒人们采用适当的听力保护措施。因此，声测量是不可少的。度量声音客观质量的一个主要指标是信噪比SNR（Signal to Noise Ration），信噪比是有用信号与噪声之比的简称。其单位是分贝(dB)。声音主观质量的度量采用客观标准方法很难真正评定某种编码器的质量，在实际评价中，主观的质量度量比客观质量的度量更为恰当和合理。通常是对某编码器的输出的声音质量进行评价，例如播放一段音乐，记录一段话，然后重放给实验者听，再由实验者进行综合评定。可以说，人的感觉机理最具有决定意义。当然，可靠的主观度量值是较难获得的。平均判分（Mean Opnion Sc
24、ose-MOS）过程是召集一批实验者，请每个实验者对某个编解码器的输出进行质量判分，采用类似于考试的五级分制，不同的MOS分对应的质量级别和失真级别见表4-。声音质量分级与带宽声音的质量与它所占用的频带宽度有关，频带越宽，信号强度的相对变化范围就越大大，音响效果也就越好。按照带宽可将声音质量分为4级：4级声音质量的频率范围数字音频基础v2.1.1 模拟音频和数字音频 v2.1.2数字音频的采样和量化 v2.1.3数字音频的文件格式 v2.1.4音频信号的特点 声音机械振动在弹性介质中传播的机械波。振动越强，声音越大。模拟音频将机械波转换成电信号记录在介质中。播放时再将电信号还原。以模拟电压的形
25、式表示声音的强弱。幅度越大，声音越强。数字音频声音信号以一系列数字的形式表示。各种数字以不同的命令体现。音幅的物理量也使用数字表示。数字音频的特点保真度好，动态范围大。模拟音频是连续的；数字音频是离散的数字序列。把模拟音频转化成数字音频，需要进行“采样”。采样在一定的采样周期的模拟音频波形上取点（幅度值）。采样周期采样时所使用的时间间隔。 模拟信号的数字化过程2.1.2数字音频的采样和量化为实现A/D转换，需要把模拟音频信号波形进行分割，以转变成数字信号，这种方法称为采样(Sampling)。采样的过程是每隔一个时间间隔在模拟声音的波形上取一个幅度值，把时间上的连续信号，变成时间上的离散信号。
26、该时间间隔称为采样周期，其倒数为采样频率。采样频率是指计算机每秒钟采集多少个声音样本。采样频率越高，即采样的间隔时间越短，则在单位时间内计算机得到的声音样本数据就越多，对声音波形的表示也越精确。采样定理 早在40年代，信息论的奠基者香农（Shannon）指出：在一定条件下，用离散的序列可以完全代表一个连续函数，这是采样定理的基本内容。即： 当连续信号x(t)的频谱为x(f)，以采样间隔T采样得到离散信号x(nT)，如果满足： 当 |f|fc时，T1/2fc 或fc1/2T 则可以由离散信号x(nT)完全确定连续信号x(t)。 当采样频率等于fN=1/2T时，称fN为奈魁斯特频率。 （其中fc信
27、号的高端截止频率。）量 化 将采样值量化成一个有限个幅度值的集合x(nT)。 用二进制数字表示量化后的采样值；用B位二进制码表示2N个不同的量化电平；存储数字音频信号的比特率表示为： I=Bfs(b/s) 其中fs抽样率（抽样/秒）； B每个样值的比特数（比特/抽样）。量化采样的过程如下： 先将整个幅度划分成为有限个小幅度(量化阶距)的集合，把落入某个阶距内的样值归为一类，并赋予相同的量化值。如果量化值是均匀分布的，我们称之为均匀量化。设为量化阶距，量化器的最大范围是Xmax，则：=2Xmax / 2B对于小于(i+1/2)，而大于(i-1/2)的样值，均规定为相同的量化值i。 4.2.3 采
28、样与量化过程示例 以图4-1所示的原始模拟波形为例进行采样和量化。假设采样频率为1000次/秒，即每1/1000秒A/D转换器采样一次，其幅度被划分成09共10个量化等级，并将其采样的幅度值取最接近0 9之间的一个数来表示，如图4-2所示。图中每个长方形表示一次采样。 当D/A转换器从图4-2得到的数值中重构原来信号时，得到图4-3中蓝色(直线段)线段所示的波形。从图中可以看出，蓝色线与原波形(红色线)相比，其波形的细节部分丢失了很多。这意味着重构后的信号波形有较大的失真。 失真在采样过程中是不可避免的，如何减少失真呢？可以直观地看出，我们可以把图中的波形划分成更为细小的区间，即采用更高的采样
29、频率。同时，增加量化精度，以得到更高的量化等级，即可减少失真的程度。左图为采样率2000Hz，量化等级为20的采样量化过程右图为采样率4000Hz，量化等级为40的采样量化过程 当采样率和量化等级提高一倍，从图中可以看出，当用D/A转换器重构原来信号时（图中的轮廓线），信号的失真明显减少，信号质量得到了提高。 2.1.3 数字音频的文件格式 v1WAV文件微软公司（Microsoft）的音频文件格式。* WAV声音文件是使用RIFF（Resource Interchange File Format资源交换文件）的格式描述的*wav文件来源于对声音模拟波形的采样*wav文件尺寸较大，多用于存储简
30、短的声音片断。其文件容量大小可用下式计算得到： S=采样频率量化位数/8声道数时间 例：采样频率为：，量化位数：16bit，立体声，录制10秒。 S=4410010162/8=1764000(byte)=1764kB文件 Creative公司（新加坡创新科技）的波形音频文件格式，也是声霸卡使用的音频文件格式。*VOC文件有典型的文件结构： 文件头块（hb）+音频数据块(db)。*文件头的组成信息有： 文件类型说明，文件版本号，标识码。 *利用声霸卡(sound blaster) 可以实现VOC文件到WAV文件的转换： *VOC2WAV提供：VOCWAV *WAV2VOC提供：WAVVOC音频文件.MP1/.MP2/.MP3 这里的音频文件格式指的是MPEG标准中的
