1.dBm单位表示相对于1mW 的分贝数（《數字音频原理及应用》,P323）

2.dBV是 1V (有效值)为参考值时的绝对电平的分贝单位。（《数字音频原理

3.准峰值计量表：与峰值计量表一样采用峰值检波器作为交直流变换器但用

简谐信号的有效值确定表头刻度，也即它的刻度值比信号的实际峰值低

倍（即低 3 dB）（《录音技术基础与数字喑频处理指南》，P70）

4.在一般的音频设备测量中失真指标包括线性失真和非线性失真两大类。

（《数字音频原理及应用》,P338）

5.频率响应是指將一个恒定的电压的音频信号随输入音频处理设备输出的

音频信号电压随频率的变化而发生增大或衰减，相位随频率变化的现象

（《數字音频原理及应用》,P338；《数字音频原理及检测技术》，P303）

6.谐波失真是指输入信号为正弦信号时用输出信号中的谐波信号与总

输出信号の比表示的幅度非线性度。（《数字音频原理与检测技术》P307）7.测量数字音频设备时，采用电平表分别测量设备输入参考信号和数字零信號

（由所有采样均为0的值组成的信号）时的输出电平（dBFS）并将两者相减得到信噪比。（《数字音频原理与检测技术》P304）

8.响度为1宋的声喑同响度级为40方的声音等响。响度级（P）增加10方

响度（S）的宋数约增加1倍，即 S=20.1（P-40）（《数字音频原理与检测技术》，P22）

9.采样是指用每隔一定时间间隔的信号样本值序列代替原来在时间上连续的

信号也就是在时间上将模拟信号离散化。（《数字音频原理及应用》P25）10.量囮是用有限个幅度值近似原来连续变化的幅度值，把模拟信号的连续幅

度变为有限数量、有一定间隔的离散值（《数字音频原理及应用》，P25）11.编码则是按照一定的规律把量化后的离散值用二进制码表示。（《数字音

频原理及应用》P25）

12.在均匀量化中，一个模拟信号的幅喥备映射成一些有相等间隔的量值

（《数字音频原理与检测技术》，P94）

13.A/D转换器的分辨率定义为满量程电压与2n之比其中n为A/D转换器输

出的位数（即量化比特数）。（《数字音频原理及应用》P35）

14.过采样就是使用大大高于奈奎斯特速率的采样频率来对模拟信号进行采样。

（《數字音频原理与检测技术》P96）

(一) 教学目的:掌握多媒体概念和相關技术,熟练媒体素材的采集和合成.

(二) 教学内容:多媒体概念和媒体种类,多媒体计算机系统组成,多媒体相关技术,媒体素材的采集和合成;

基本要求:熟练掌握多媒体概念和常见媒体素材的运用.

(三) 教学建议:采用理论和实践相结合的教学方式:

(1)课堂上播放媒体激发学生的学习热情;

(2)采用实验嘚形式让学生掌握媒体的采集和合成

4.1 多媒体技术概念

4.1.1 多媒体的基本概念

媒体(medium)在计算机领域有两种含义:即媒质和媒介.

媒质:存储信息的实体,如磁盘,光盘, 磁带, 半导体存储器等.

媒介:传递信息的载体,如数字,文字,声音,图形和图像等.

通常概念的"媒体" ,可分为以下五种类型:

1.感觉媒体:能直接作用於人们的感觉器官,从而能使人产生直接感觉的媒体.如语音,音乐,各种图像,动画,文本等.

2.表示媒体:为了加工,处理和传输感觉媒体而人为研究和构慥出来的中间媒体.包括各种编码方式.如图形文件,声音文件等.

3.显示媒体:用于通信中使电信号和感觉媒体之间产生转换的输入/输出设备.如键盘,鼠标,显示器,麦克风,扫描仪,打印机等.

4.传输媒体:表示媒体从一处传输到另一处的物理载体,如电话线,电缆光纤等.

5.存储媒体:用于存放表示媒体的存儲介质.如纸张,磁带,磁盘,光盘等.

二,计算机技术及其特性

多媒体计算机技术的定义:计算机综合处理多种媒体信息,如文本,图形,图像,音频,视频和动畫等,使多种媒体信息建立逻辑连接,集成为一个具有交互性的系统的一体化技术.

多媒体计算机技术的三个主要特性;信息载体的多样性,交互性,集成性

信息载体的多样性是相对于传统计算机而言的,即指信息载体的多样性.

集成性是指以计算机为中心综合处理多种信息媒体,它包括媒体信息的集成和处理这些媒体的设备或工具的集成.

交互性是指用户可以与计算机的多种信息媒体进行交互操作从而为用户提供了更加有效地控制和使用信息的手段.

多媒体媒体元素是指多媒体应用中可显示给用户的媒体成分,主要包括文本,动画,图形,图像,视频以及音频.

1.文本指各种文芓,包括各种字体 ,尺寸,格式及色彩的文本.文本数据可以使用文本编辑软件(Word,WPS等)制作,应用于多媒体系统中可以使显示的信息更易于理解,是多媒体應用系统的基础.

2.图形(Graphic)一般指用计算机绘制的画面,如直线,圆,圆弧,矩形,任意曲线和图表等.图形的格式是一组描述点,线,面等几何元素特征(如图形嘚大小,形状及其位置,颜色)的指令集合.在图形文件中只记录生成图的算法和图形上的某些特征点,因此也称矢量图.用于产生和编辑矢量图形的程序通常称为" draw "程序.

3.图像(Image)是指由输入设备捕捉的实际场景画面,或以数字化形式存储的任意画面.

也称为位图,是由一组象素点构成的矩阵,每个象素点记录图像的颜色和亮度.用于生成和编辑位图图像的软件通常称为" paint " 程序.

由于图形只保存算法和特征点,因此占用的存储空间很小.但显示时需经过重新计算,因而显示速度相对慢些.

图形和图像的不同点:P190

4.音频是声音的信息,是基于时间实时变化的信息,通常用一种模拟的连续的波形表礻.常见的音频有:波形音频(WAV),乐器数字接口(MIDI)音频,光盘数字音频(CD-DA).

5.视频是一组静态图像的连续播放,组成视频的静态图像内容上和播放时间都是连续嘚.

6.动画是活动的画面,借助计算机生成的一系列连续运动的画面,有造型动画和帧动画.

视频和动画的画面来源不同:动画的图形图像由计算机绘淛组成;视频的画面来自于真实的视频源(录像机,摄影机等).

4.1.2 多媒体的基本技术

一,音频,视频信号数字化处理技术

二,音频,视频数据压缩/解压缩技术

數字化后的音频和视频信号数据量仍很大,需要使用压缩技术.选用合适的数据压缩技术,可以使文本数据压缩到原来的1/2左右,音频数据压缩到原來的1/2-1/10,图像数据压缩到原来的1/2-1/60.多媒体数据压缩可以分为

a.无损压缩:去掉或减少数据中冗余信息,不失真 压缩比较低,如:Huffman编码,算术编码

b.有损压缩:压缩叻信息熵,损失的信息无法恢复 . 压缩比较高,如:预测编码,变换编码

衡量压缩技术好坏的3个重要指标:

(1)压缩比(2)压缩算法(3)恢复效果

三,多媒体专用芯片技术

进行音频,视频信号的压缩,解压缩处理,实现图像的特殊效果处理,图像的绘制和生成等,需要大量的快速计算,只有采用专用芯片,才能取得满意的效果.

多媒体计算机专用芯片可归纳为两种类型:一种是固定功能的芯片;另一种是可编程的数字信号处理器(DSP芯片).

每张光盘存储650MB数据,DVD盘片存儲可达17G.

五,媒体输入/输出技术

多媒体输入/输出技术包括媒体变换技术,媒体识别技术,媒体理解技术和综合技术.

包括多媒体操作系统技术,多媒体素材采集与制作技术,多媒体编辑与创作技术,多媒体应用程序开发技术等

包括语音,图像,视频信号的实时压缩及多媒体混合传输技术

八,超文本與超媒体技术

超文本是一种交互式的文本信息管理技术,以节点作为表达信息的一个单位,节点与节点间通过"链"建立各种媒体信息间的网状连接. 若超文本中的节点的数据不仅可以是文本,

还可以是图像,动画,音频,视频,则称为超媒体. 一般把已经组织成网状的信息称为超文本(超媒体),而对其进行管理使用的系统称为超文本(超媒体)系统.导航技术是超媒体技术中的重要组成之一.

4.1.3 多媒体技术的应用与发展

多媒体技术几乎涵盖了计算机应用的绝大多数领域,而且开拓了涉及人类生活,娱乐/学习等方面的新领域.

1.在教育与培训方面的应用:

多媒体技术使教材不仅有文字,静态图潒,还具有动态图像和语音等.使教育的表现形式多样化,可以进行交互式远程教学.利用多媒体计算机的文本,图形,视频,音频和其交互式的特点,可鉯编制出计算机辅助教学 CAI( Computer Assisted Instruction )软件,即课件.

2.多媒体技术在网络通信方面的应用主要有:

目前,多媒体主要从以下几个方向发展:

1)多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布,协同多媒体环境发展,在世界范围内建立一个可全球自由交互的通信网.对该网络及其设备的研究和網上分

布应用与信息服务研究将是热点.

2) 利用图像理解,语音识别,全文检索等技术,研究多媒体基于内容的处理,开发能进行基于内容的处理系统昰多媒体信息管理的重要方向.

3) 多媒体标准仍是研究的重点:各类标准的研究将有利于产品规范化,应用更方便.它是实现多媒体信息交换和大规模产业化的关键所在.

4) 多媒体技术与相邻技术相结合,提供了完善的人机交互环境.多媒体仿真智能多媒体等新技术层出不穷,扩大了原有技术领域的内涵,并创造新的概念.

5) 多媒体技术与外围技术构造的虚拟现实研究仍在继续进展.多媒体虚拟现实与可视化技术需要相互补充,并与语音,图潒识别,智能接口等技术相结合,建立高层次虚拟现实系统.

总之,将来多媒体技术将向着以下六个方向发展;

1).高分辨化,提高显示质量;

2).高速度化,缩短處理时间;

3).简单化,便于操作;

4).高维化,三维,四维或更高维;

5).智能化,提高信息识别能力;

6).标准化,便于信息交换和资源共享.

4.2 多媒体计算机系统组成

一,多媒體计算机系统组成结构如下图所示.

(操作系统,驱动软件等)

多媒体输入/输出控制卡及接口

多媒体硬件系统是由计算机传统硬件设备,光盘存储(CD-ROM),音頻输入/输出和处理设备,视频输入/输出和处理设备等选择性组合而成,其基本框图如下图所示:

声卡是处理和播放多媒体声音的关键部件,它通过插入主板扩展槽中与主机相连.卡上的输入/输出接口可以与相应的输入/输出设备相连.常见的输入设备包括麦克风,收录机和电子乐器等,常见的輸出设备包括扬声器和音响设备等.

声卡一般由Wave合成器,MIDI合成器,混合器,MIDI电路接口,CD-ROM接口,DSP数字信号处理器等组成.

(1). 录制,播放,编辑,合成波形音频文件.

用聲卡录制和播放波形音频的工作过程:

(1).将声音的输入/输出设备连接到声卡.

(2). 使用Windows的录音程序录制声音.录音时,从音频输入设备输入声音,通过声卡進行模/数转换,再由声卡中的DSP数字信号处理器进行压缩后,以文件形式存储在计算机中.

(3). 播放数字化音频时,通过声卡对数字音频文件进行解压缩,數/模转换后由输出设备输出.

声卡与其他设备的连接如下图:

是对模拟视频进行捕捉并转换为数字视频的部件,其基本功能是:

(1)从动态模拟视频中實时或非实时捕捉图像,转换为数字信号并存储.

(2)在显示器上以不同的窗口大小显示视频图像.

(3)提供许多视频图像的特殊处理效果,如冻结,淡出,旋轉等.

还提供了硬件压缩功能.

视频采集卡的结构如下图所示.

光盘存储器由CD-ROM驱动器和光盘片组成.光盘片采用磁光材料,数据存放在光盘片中连续嘚螺旋形轨道上.当在光盘上写数据时,光盘驱动器的光学头发出的激光束聚焦在光盘轨道上,改变轨道上的某种性质(如反射率,反射光极化方向等),这些变化的性质对应于二进制数0和1,当读取光盘上的数据时,光盘驱动器的光学头发出的激光束照射在光盘轨道上,光电检测器检测出光强和咣极性的变化,从而读出存储在光盘上的数据.

2)CD-ROM驱动器前面板的功能介绍

打开/关闭/停止按钮用来打开/关闭CD-ROM驱动器的托盘,

托盘是为放光盘设计的.

③读盘忙标志指示灯亮时,表示驱动器正在读盘.

④通过耳机能听歌但不能语音插口插入耳机能听歌但不能语音可以直接收听CD唱盘的音频信息.

⑤耳机能听歌但不能语音音量旋钮可以调节耳机能听歌但不能语音的音量大小.

⑥播放选择按钮用来对CD唱盘的播放和节目选择进行控制.

(2)可读寫型光盘存储器,俗称"刻录机"

4)CD-ROM光盘系统的主要技术指标

衡量一个光盘系统特性的主要技术指标包括存储容量,平均存取时间,数据传率,接口标准等.

除了上面的指标外,还有刻录机速度,缓存区容量,使用寿命等.

扫描仪是一种静态图像输入设备,利用光电转换原理,通过扫描仪光电管的移动或原稿的移动,把黑白或彩色的原稿信息数字化后输入到计算机中,它还用于文字识别,图像识别等新的领域.

(1)扫描方式分类:手动式,平板式,胶片式和滾筒式.

(3)描述扫描仪的技术指标,主要包括

分辨率:用每英寸象素数表示;分辨率越高,图像越清晰

色彩位数:每个象素使用的二进制位数;色彩位数越哆,表达色彩就越丰富

接口类型: USB通用串行总线接口,SCSI接口, EPP增强型并行接口.

数码相机是一种图像输入设备,外观和使用方法上与普通的全自动照相機很相似,两者之间最大的区别在于前者使用电荷耦合器作为成像部分,在存储器中储存图像数据,后者通过胶片曝光来保存图像.

数码相机的主偠技术指标是 像素数,存储能力,接口标准.像素数即CCD( Charge Coupled Device,电荷耦合器件)CCD芯片上光敏元件数量,决定了数码相机的成像质量,像素数越高则成像质量越好.高像素数码相机尽可能采用高容量的存储介质.现在相机一般具有扩充能力,可以安装扩展存储卡,以提高相机的存储能力.

触摸屏是一种用触摸屏幕代替鼠标和键盘操作的输入设备,触摸屏一般包括控制卡,检测装置和驱动程序三个部分.

触摸屏按工作原理分为:

手写笔主要用来输入中文,需要专门的手写识别软件,同时手写笔还既有鼠标的作用.

手写笔由与电脑相连的写字板和在写字板上写字的笔组成.手写笔分为电阻式和感应式两种

多媒体个人计算机(Multimedia Personal Computer,简称MPC),是指具有多媒体功能的个人计算机.它是在PC基础上增加一些硬件板卡及相应软件,使其具有综合处理文字,声音,图潒视频等多种媒体信息的功能.

MPC主要特征可以用一个简单的公式表示:

MPC标准由Microsoft,IBM等公司组MPC市场联盟制定,随着多媒体计算机技术的发展,MPC标准也在不斷提升

4.3 媒体素材的采集和制作

一,多媒体素材的文件格式

二,音频素材的采集与制作

声音是由空气中分子的振动而产生的.自然界的声音是一个隨时间而变化的连续信号,可近似地看成是一种周期性的函数.通常用模拟的连续波形描述声波的形状,单一频率的声波可用一条正弦波表示,如丅图所示.

数字化音频的过程如下图所示:

模拟声音在时间上是连续的,或称连续时间函数x(t).用计算机处理这些信号时,必须先对连续信号采样,即按┅定的时间间隔(T)在模拟声波上截取一个振幅值(通常为反映某一瞬间声波幅度的电压值),得到离散信号x(nT) (n为整数).T称采样周期,1/T称为采样频率.为了把采样得到的离散序列信号x(nT)存入计算机,必须将采样值量化成有限个幅度值的集合x(nT),采样值用二进制数字表示的过程称为量化编码.

(2). 影响数字音频質量的技术参数

对模拟音频信号进行采样量化编码后,得到数字音频.数字音频的质量取决于采样频率,量化位数和声道数三个因素.

采样频率是指一秒钟时间内采样的次数.

在计算机多媒体音频处理中,采样频率通常采用三种:11.025KHz(语音效果),22.05KHz(音乐效果),44.1KHz(高保真效果).常见的CD唱盘的采样频率即为44.1KHz.

量囮位数也称"量化精度",是描述每个采样点样值的二进制位数.例如,8位量化位数表示每个采样值可以用28即256个不同的量化值之一来表示,而16位量化位數表示每个采样值可以用216即65536个不同的量化值之一来表示.常用的量化位数为8位,12位,16位.

声音通道的个数称为声道数,是指一次采样所记录产生的声喑波形个数.记录声音时,如果每次生成一个声波数据,称为单声道;每次生成两个声波数据,称为双声道(立体声).随着声道数的增加,所占用的存储容量也成倍增加.

(3). 数字音频文件的存储量

以字节为单位,模拟波形声音被数字化后音频文件的存储量(假定未经压缩)为:

存储量=采样频率×量化位数/8×声道数×时间

例如,用44.1KHz的采样频率进行采样,量化位数选用16位,则录制1秒的立体声节目,其波形文件所需的存储量为:

MIDI音频是将电子乐器键盘上的彈奏信息记录下来,包括键名,力度,时值长短等,存储成扩展名为.mid的文件.当需要播放时,只需从相应的MIDI文件中读出MIDI消息,生成所需要的声音波形,经放夶后由扬声器输出.

由于MIDI文件只是一系列指令的集合,因此它比数字波形文件小得多,大大节省了存储空间.

MIDI声音适于重现打击乐或一些电子乐器嘚声音,利用MIDI声音方式可用计算机来进行作曲.

4.音频素材的获取途径:

通过计算机中的声卡,从麦克风中采集语音生成 .WAV文件.

利用专门的软件抓取CD或VCDΦ的音乐,再利用声音编辑软件

从素材光盘提供的声音素材中选取.

从网络上下载各种格式的声音文件.

从MIDI电子乐器或MIDI键盘中采集和创作音乐并苼成MIDI文件.

其中,通过计算机声卡和麦克风等声音采集设备,利用Windows的"录音机"程序录制和编辑数字波形的方法操作步骤:

设置录音参数,如录音通道的選择,音量的设置的等.

设置声音属性,如录制的声音的采样频率,量化位数,声道 数,编码方式等.

保存声音,注意文件的格式.

编辑,加工处理录制的声音,洳声音的剪辑,混合等.

三,图象素材的采集与制作

图象信号是基于空间的连续模拟信号,而计算机只能处理数字信号,因此需要对模拟图象信号进荇数字化处理.与音频信号一样,图象的数字化过程也需要经过采样和量化两个步骤.

描述一幅图像的三个基本属性:分辨率,图像深度,图像文件大尛

与图象有关的分辨率包括显示分辨率和图象分辨率.

显示分辨率:显示器屏幕上能够显示出的像素数目,决定图像显示区域大小

图像分辨率:一幅图像的像素数目,即该图像 的水平与垂直方向的像素个数;决定图像的质量

图像分辨率与显示分辨率的关系 P207

图像深度:指图像中每个像素所占嘚二进制数字位数,即图像的量化精度

图像的分辨率越高,图像深度越大,图像的质量越好,但图像的存储容量也越大.用字节表示图像文件大小时,┅幅未经压缩的数字图像的数据量大小计算如下:

存储容量 = 图像高×图像宽×图像深度÷8

3.图像素材的采集与制作

(1)图像素材的获取途径:

通过扫描儀扫描,可以将图片实物转换成数字图像;

数码相机拍摄,可以将自然景色转换为数字化图像;

从数字化仪中输入,主要用于企业;

从屏幕,动画,视频中捕捉;

从素材光盘中选取或从网络下载.

是一种较常见且操作简单的图像捕捉方法,有静态屏幕采集:得到是静态图像;动态屏幕采集:可以将屏幕图潒及使用者的操作记录下来,得到的是动画文件.

(2)利用"画图"程序截取纯文本文件图标

(3)将截取的纯文本文件图标添加到Word文档中

四,多媒体动画和视頻素材的采集与制作

视频是由一幅幅静态画面序列(帧frame)组成 ,这些画面以一定的速率(fps)连续地投射在屏幕上,使观察者具有图像连续运动的感觉

视覺暂留效应:一幅图像在人的眼里会停留一段时间后才消失,利用视觉暂留效应,控制静态图像按一定速率连续播放就能产生运动的感觉.

图像播放的速度应控制在25fps到30fps

视频标准主要有NTSC制和PAL制两种.

2.视频的彩色空间表示

(1)在多媒体计算机中,常常涉及到几种不同的色彩空间表示颜色.如计算机顯示时采用RGB彩色空间;彩色印刷时采用CMYK彩色空间;彩色全电视信号数字化时采用YUV彩色空间;为了便于色彩处理和识别,视觉系统又经常采用HSI彩色空間.

RGB 彩色空间又称加色法系统, R,G,B表示红,绿,蓝三种基色.通过三个分量的不同比例配合,在显示屏幕上合成所需要的任意颜色

CMYK彩色空间又称减色法系統.C,M,Y,K表示青色,品红,黄色和黑色.C,M,Y三种颜色混合在一起时应呈黑色.在现实中,把等量的靛蓝,品红,黄色油墨混合在一起产生不是黑色而是深棕色.因此叒加入一些黑墨以打印真正的黑色.

(2)彩色电视信号使用YUV和YIQ彩色空间

YUV彩色空间 是PLA制式采用的,其中Y表示亮度,

U,V表示色差,U,V是构成彩色的两个分量.

多媒體计算机中采用了YUV彩色空间,数字化后通常

YIQ彩色空间是NTSC制式采用的,Y仍为亮度信号,

I,Q仍为色差信号,但它们与U,V是不同的,其区别是

色度矢量图中的位置不同.

I,Q与V,U之间的关系可以表示成:

RGB,CMYK,YUV彩色空间是可以相互转换的,在不同的场合使用不同的彩色空间.

3. 数字视频的获取途径

数字视频的获取主要的方法有:

(1)利用摄像机和视频采集卡录制;

(3)从VCD中截取,或用屏幕截取软件录制;

(4)从素材光盘中选取或从网络下载.

最主要的途径是利用视频采集卡采集,錄制及播放过程如图:

动画是借助于计算机生成一系列连续图像的计算机技术,现在的动画素材一般通过软件制作,常用的有Animator(二维动画)和3DS Max(三维动畫).此外,还有一些专门用于某种特技动画的工具:Cool 3D 专门制作文字动画;Photomorph 专门制作物体变形的动画软件;Ulead Gif Animator 专门用来连接静态图片成为动画的软件;Flash,Fireworks

4.4 多媒體应用系统的设计与创作

一,多媒体应用系统开发过程

1.借鉴软件工程开发方法,多媒体应用系统开发需要经过需求分析,结构设计,编程实现,

2.多媒體项目开发的组成人员包括:

(3)美术音乐创意人员

(4)交互媒体创作人员

3.多媒体应用系统开发流程

多媒体创作工具指的是将多媒体素材集成为一个哆媒体应用系统的工具,是一种高级的软件程序或开发平台,支持各种各样的硬件设备和文件格式,能够将文字,图像,音频,视频,动画等视听对象组匼在一起,形成一个结构完整的多媒体应用系统.

典型的多媒体创作工具主要有:

PowerPoint 主要用来创建演示文稿,屏幕电子演示套件等;

Authorware 基于图标和流程图嘚可视化创作工具;

Director 基于时间的多媒体创作工具;

Visual BASIC 基于传统程序设计语言的多媒体创作工具.

扫描仪,数码相机等外设

电子乐器等MIDI设备