ᠲᠣᠭᠠᠴᠢᠭ᠎ᠠ ᠬᠡᠯᠡ ᠰᠢᠨᠵᠢᠯᠡᠯ ᠤᠨ ᠠᠪᠢᠶᠠᠨ ᠤ ᠲᠤᠬᠠᠢ ᠬᠡᠰᠡᠭ ᠤᠨ ᠬᠢᠴᠢᠶᠡᠯᠪᠦᠷᠢ ..pdf

2017 年 3月 计算语言学 敖敏 aomin1983@126.com 1，计算语言学 1.1 计算语言学的定义 1.2 计算语言学的应用 1.3 计算语言学的基本问题 一、计算语言学概要 1.1 计算语言学的定义  定义：用计算机研究和处理自然语言的一门新兴的 边缘学科 。  计算语言学是一门边缘性学科 ：计算语言学综合了语言学 、 逻辑学 、 心 理语言学 、 计算机科学 、 数学和统计学等多门学科的研究成果： (1)语言学 语言学告诉我们字词是如何结合成短语和语句的 ， 什么样的限制使得我 们能够从一定的语句结构中推导出语句的意义 。 语言学的研究为计算语 言学提供了关于语言的基本知识 。 (2)心理语言学 心理语言学是研究 人是怎么样处理和理解语言的科学 。 它解释人是怎样 识别语言的结构 ， 怎样理解字词的意义 ， 怎样通过学习获得语言能力的 。 心理语言学的成果为计算语言学提供了模拟人脑的语言处理功能的基 础 。 (3)计算机科学 由于计算语言学是使用计算机进行语言分析的，计算语言学的研究也不可 避免地要运用到计算机科学的知识 (4)哲学和逻辑学 哲学研究什么是语言的意义，一个语句是如何获得意义的。它告诉我们词 句是怎样和现实物质世界相关联的。逻辑学和模型论更是直接提供了形式 化地表达意义以及进行推理的方法。 (5)人工智能 人工智能为计算机处理语言提供了有效的工具。人工智能中的搜索方法被 广泛地用于语言分析，只是表达提供了使用计算机存储语言信息的方法， 机器学习的研究为计算机自动语言学习提供了很多启示。 (6)数学、统计学 计算语言学的研究，尤其是基于语料库的统计学研究方法，需要许多数学 、 统计学的知识。 1.2 计算语言学的应用 计算语言学在日常生活中有广泛的应用。这些应用可被分为两大类：基 于文本（ Text-based）的应用和基于会话（ Dialogue-based）的应用。 1.2.1 基于文本的应用处理书面文本，例如书记、报刊文章、使用手册、电 子邮件等等。典型的应用有：  信息检索 ：其任务是从大量的文本数据中检索出某一主题的文章。具体实 例如从情报部门收集的文本数据库中寻找和某个恐怖组织有关的文章；  信息提取 ：其任务是从文章中提取复合某一主题信息。例如从新闻报告中 提取有关股票交易的信息，用以自动建立股票交易信息库。）  机器翻译 ：将一种语言的文件自动翻译成另一种语言。具体实例如将英语 计算机使用手册自动翻译成其他多种语言。  文本概况 ：从一端长稳重概括出其中心思想。 1.2.2 基于会话的应用主要用于人机通讯 ， 它通常是针对口语的应用 。 典 型的应用有：  问答系统 ：使用自然语言进行数据库查询 。 例如 ATIS（ 航空旅行信息 服务 ） 就是一个结合语音语言技术 ， 让顾客使用自然语言查询飞行班 级数据库的研究项目 。  自动电话服务 ：具体事例包括电话号码查询服务 、 电话邮购服务 。  教学系统 ：通过人际会话 ， 进行计算机教学 。 具体实例有自动数学教 学系统 、 自动逻辑学教学系统 、 自动外语教学系统 。  口语控制 ：由声音来控制机器 。 具体实例有音控录像机 ， 计算机语音 输入 ， 音控打字机 。 例如在家时汽车时由语音控制汽车上的卫星导航 系统 。 1.3 计算语言学的基本问题 计算语言学几乎包括了语言学研究的所有层次； 语言学研究的层次有哪些 ？  语音学 （ Phonetics） 语音学研究词和其相应的语音是如何相关联的 。 语音学的知识在基于语音的应用系 统中起着至关重要的作用 。  形态学 （ Morphology） 形态学研究词是如何由意义的基本单位 ------词素 （ morphemes） 构成的 。 计算形 态学研究如何将一个词分析为词素的组合 ， 从而导出该词的意义 。  语法学 （ Syntax） 语法学研究的是语句的组成结构 。 比如词是如何组合成正确的语句 ， 词在语句中的 作用等 。  语义学 （ Semantics） 语义学研究如何从一个语句中的词的意义 ， 以及这些词在该语句的语法结构中的作 用来推到出该语句的意义 。 形态语义学是计算机 “ 理解 ” 自然语言的基础 。  语用学 （ Pragmatics） 语义学只考虑撇开了上下文的单一语句的意义 。 而语用学研究在不同的上下文的语 句的应用 ， 以及上下文对语句的理解所产生的影响 。 2，现代语音学概要 2.1 语音学的定义 2.2 传统语音学和现代语音学 2.3 现代语音学的三个分支 2.4 言语工程中的语音学 2.5 录音设备简介 2.1 语音学的定义  什么是语音？ 语音是人类发音器官发出来的、具有一定意义、能起社会交际作用的声音。  什么是语音学？ 语音学是语言学的一个分支。研究人类语言声音的学科。 言语的产生 大部分语音是舌和唇运动的结果，这些运动是形成特定语音的口腔姿势。尽管我 们可以通过手势、面目表情来传递信息，但语音是一种更有效的信息传递方式。 口腔调音器官的音姿只有通过肺部呼出来的气流和喉头各个部位的协调运动才可 以产生语音，这种吼中发出的最基本的语音是通过舌和唇的运动变成不同的语音。 短语 on top of his deck的 X光视频片段 任何言语语音 （ 或所有语音 ） 都涉及到气流活动 。 言语语音大多是 肺部空气经由口腔 、 有时也经由鼻腔排出时产生的 。 声音是由在空气压力下瞬息发生的一个接一个的微小震动组成的 。 这些震动是肺气流冲击发音人的调音器官 （ 大部分 ） 而形成的 。 发浊音 时 ， 声带的震动将呼出的肺气流打散 ， 以致高气压下的振动与低气压的 振动交替出现 。 由气压形成的振动以声波的形式在空气中传播 ， 有点儿 像池塘里的涟漪 。 当他们到达听着耳朵时 ， 会引起鼓膜振动 。 声道中可以形成语音的部位叫调音部位 ， 它由上下两部分组成 。 下 面器官很灵活 ， 跟上部器官接触后就会形成调音需要的姿势 。 发音器官 被动器官：不能主动活动的器官，包括上齿、齿龈、硬腭。 主动器官：能够主动地、彼此独立的运动的器官。包括声带、软腭、舌根、 舌面、舌冠、唇。 2.2 传统语音学和现代语音学 传统语音学和现代语音学的主要区别在 研究手段 。  传统语音学主要借助人的口耳来研究语音 ： 研究者凭耳朵听辨语音，用一定的符号把听到的声音记录下来，加 以分析，说明所研究的这种语言或方言一共有多少个不同的语音单 位，这些语音单位是在发音器官的什么部位、用什么方法发出来的 ，它们又是怎样组合在一起的，组合在一起时发生了什么变化，最 后归纳出这种语言或方言的语音系统。  现代语音学主要借助各类仪器设备来研究语音： 为了更客观、更精确地记录和描写语音， 20世纪初语音学家开始借 用一些生理、物理和医学方面的仪器来辅助口耳，审定语音。比如 朗纹计来测定语音的长短、高低和强弱，用 X光照相测定发音部位， 用喉镜观察发音时声带的变化等等。这样的研究逐步发展成一门独 立的学科，叫做“ 实验语音学 ”。 现代语音学实验设备实例 浪纹计 电子假腭 鼻流计 脑波仪 Praat语音分析软件 2.3 现代语音学的三个分支  言语交际的全过程 发音器官发出声音来，通过空气中声波的传递，被别人听见，对方用 听觉器官被听话人的大脑所感知。 这个过程可分为“ 发音 传递 感知 ”三个阶段。 大脑 口 耳朵 大脑  现代语音学的三个分支 （ 1）生理语音学（ Physiological phonetics） 研究发音器官在发音阶段的生理特性。 （ 2）声学语音学 (Acoustic phonetics) 研究语音传递阶段的声学特性。 （ 3）认知语音学 (Perceptual phonetics) 研究语音感知阶段的心里和心里特性。 传统语音学属于上述哪个分支？ 声学语音学 (Acoustic phonetics)  声带振动产生语音，人的语音以声波形式由空气作为媒介传递到对方 ，在声学语音学研究就是对语音传递过程中的各种物理属性进行细致 地分析。  语音的四要素 （ 1）音质（音色）： （ 2）音高：物体振动的频率决定音高，频率越高，音高越高；反之 则相反。 （ 3）音长：声音从发出到结束的时间。 （ 4）音强：声音的强度、大小，也叫音量。物体振动的幅度决定音 强。幅度越大声音越强；反之则相反。 生理语音学 (Physiological phonetics)  研究有关语音产生和感知的一门学科，也称言语生理学（ speech physiology）。  X光摄影机、光纤维喉头镜等仪器设备均用在语音是生理研究上。 气流气压仪 气流气压仪 可以用于正常言语和语音病变的各项研究，如：嗓音发声类型 的研究、口腔元音和鼻化元音的研究、裂病人的语音研究、呼吸和韵律特征研 究等。 用该仪器设备研究蒙古语 C+V音节中的元音气流气 压 研究结果显示蒙古语长短 元音的气流两有区别，另 外元音和辅音的发音部位 有相互影响作用 分析软件界面 电子假腭 电子假腭数据采集界面 认知语音学 (Cognitive phonetics)  研究语音感知阶段的心理和心理特性。它涉及心理学、医学、神经学 等多个学科。  目前脑波仪、眼动仪、鼠标轨迹仪等仪器设备成为认知语音学的主要 工具。 眼动仪 眼动仪是记录眼球活动轨迹的设备。 举例： 从广告来讲，这项技术就可以全面的采集观众对于这款广告眼睛所关注的 信息和关注点，从数据的收集处理和分析就能得出这款广告的好与不好，比如广告的 三大元素是：商标、商品、宣传语。人们的关注点是否落在了这 3点上，结果用户全去 看其他地方，这三个重要信息全都没看，那么这就是一款失败的广告。 再举个更有意思的，腾讯做了很多网页设计就是跟眼睛的注视方向有关的。我直 接跟大家讲，第一款广告这个模特的眼睛是直接看着用户的，而下面只做了一点点变 化，让美女的眼睛不要看着用户，而是看着产品，这叫做目光引导，人进化了上千年 ，如果我们在交流的时候，你会顺着他的眼睛方向看。就是这样引导用户的目光。这 就是人类习惯的细节信息的收集。 脑波仪 大量研究结果 显示后 脑与语言功 能相关，前半脑与情感有关。左半脑 的语言功能有优势，右半脑在词汇语 义的加工、语篇理解等语言加工过程 也起到极为重要的作用。 蒙古语名词、动词认知研究 2.4 言语工程中的语音学  随着电子计算机的产生和发展，形成了代替人们的脑力劳动和活动的电脑 。自然语言除了是人类相互交流的工具外，又成为人类与电脑相互交流的 工具。  言语工程使用电脑进行听和说，和人们通过语音进行交流。它随着电脑的 产生而产生，随着电脑的发展而发展。言语工程的规模和水平是随着电脑 的存储量和运算速度的提高而提高。  以语音合称为例，开始时电脑的存储容量小，运算速度低，只能从音节甚 至音素合成在拼接成句子，拼接成句子时不考虑各种音变，于是及其味浓 。而现在，在建立相对比较大的语音库，存储上万句的句子，合成时从中 检索语段，进行过度拼接各个合成单元，合成出来的声音的可懂度基本没 有问题。  语音学知识对言语工程中提供了必要的知识。 // - // // - // // - // //- // 内蒙古大学蒙古学学院语音实验室 2016-3-26 Human Language Technology 2.5 录音设备简介 1， Praat 2, Cooledit 3,X recorder Praat语音分析软件初始页面 分析窗口 画图窗口 Praat 录音功能介绍 在出来如下窗口，在窗口中 设定好参数点击“ Record” 在主菜单的“ New”下选择 “ Record mono Sounds” 双击 Pratt 2， Cool Edit Pro 录音软件操作 Cool Edit Pro 录音软件初始页面 Xrecorder录音软件界面 3,X recorder 录音软 件包界 面 Xrecorder 设定参数界面 蒙古语方言土语声音库样本展示 标准音 肃北 布里亚特 阿巴嘎 喀喇沁 二、语音产生原理 1，生理基础 2，物理基础 3，感知基础 1，生理基础 1.1 语音产生 动力源 人类的呼吸器官 是发音的动力源。呼吸器官主要是肺、 呼吸道 组成。 人们在说话或唱歌时的呼吸方式与平静时的呼吸方式不同 呼吸种类 安静呼吸 言语呼吸 歌唱呼吸 呼吸目的 吸氧排二氧化碳进 行气体交换 谈话 唱歌 呼吸控制 非意识的随便完成 受人意识控制 受人意识控制 呼吸比例 1:1.2 1： 5~1： 8 1:8~1:12 呼吸次数 16~20/min 8~10/min 随歌曲而定 呼吸量 500ml左右 1000-1500ml 1500-2400ml 呼吸路径 主要经鼻 主要经口 主要经口 雏马 2，物理基础 物体处于静止状态是不会发出声音的，发声总是因为产生了振动。 声音不仅在空气中传播，也可以在固体和液体中传播，而 且传播的更快。 2，物理基础 声源的振动引起空气的振动，产生振动波，这种振动波就是声波，声波传 到我们的耳朵里，使得鼓膜也产生同样的振动，于是就听到了声音。 声音是有在空气压力下瞬息发生的一个接一个的微小震荡组成的。这些振 动是肺气流冲击发音人的调音器官（大部分）而形成。发浊音时，声带的 振动将呼出的肺气流打散，以致高气压下的振动与低气压下的振动交替出 现。由气压形成的振动以声波的形式在空气中传播，有点像池塘里的涟漪 。 2，物理基础 语音和其他声音一样，可以从四个方面加以区别。 音长 （ D） --表现在时长上 音高 （ F0） --声带振动频率；表现在基频上；每秒钟声带振动词数 音强 （ A） --声音大小；表现在语图浓度和音强线上；声波振幅的大 小。 音色 --区分词义的重要信息；表现在共振峰模式上： 2，物理基础 2，物理基础 擦音 元音 3，感知基础 说话时发出声来，听者主要借助耳朵来接收声波，因此耳 朵是语音感知的主要器官。耳朵可分为外耳、中耳和内耳 三个部分。 3，感知基础 听觉和语音识别 声波通过听觉器官传到大脑进行语音识别时，是经过了异 常复杂的加工过程：不同的人发同一个音，同一个人从不 同位置发同一个音时听者都能感知到语音之间的细微差别 ，但又能识别出不同音。大脑识别语音时，在从听觉器官 传送来的声波中显然只选择和识别语音有关的信息，声波 所携带的其他信息对识别语音来说都是多余的，研究那些 信息和识别语音有关，对人工合成语音和通信工程都非常 重要。 比如，从 a的频谱上分析出哪些信息是识别 a所必须的信息 就可以人工合成 3，感知基础 人类识别语音的能力是和发音能力密切联系在一起的。儿童先要听 懂了话才能学会说话，这时识别语音的能力咸鱼发音能力，一旦掌握了 发音能力，又会对识别语音能力产生影响，对自己能发的音易于识别， 对自己不能发的音就不容易分辨。 大脑的语言区 维尔尼克区（ Wernicke）：听辨 布洛卡区（ Broca）：发音 三 各类元音、辅音在语图上的表现 元音 短元音 长元音 二合元音 辅音 浊音与清音、塞音、塞擦与塞擦音、边音、颤音 送气与不送气、鼻辅音 1，元音的声学表现  元音的发声的生理原理 声带振动；口腔内没有阻碍；  元音基本要素： 音长 （ D） --表现在时长上 音高 （ F0） --声带振动频率；表现在基频上；每秒钟声带振动词数 音强 （ A） --声音大小；表现在语图浓度和音强线上；声波振幅的大小。 音色 --区分词义的重要信息；表现在共振峰模式上：  声带振动所产生的周期波通过特定形状的声道后形成特定的共振峰模式 ；当元音的舌位不同时其共振峰模式也有所不同； 共振峰是对元音进行 实验研究，最主要的声学参数； （ 1）元音舌位和共振峰模式的对应关系 A. 元音开口度（舌位高低）与 F1有关 开口度大（舌位低） ---F1值大 开口度小（舌位高） ---F1值小 B. 舌位前后与 F2有关 舌位靠前 ---F2值大 舌位靠后 ---F2值小 C. 舌尖翘起的程度与 F3有关 翘舌音的 F3比较低 D. 唇型影响 F2 圆唇会导致 F2降低； 元音舌位图与共振峰的关系 F1 F2  当符号成对出现时，符号右边的是圆唇元音 A. 短元音和长元音 主要区别在 音长 上（时长）； 舌位上也有所不同，长元音舌位三角大于短元音的舌位三角， 长元音发音更到位； （ 2）各类元音声学的区别 B. 单元音和复合元音 主要表现在 舌位变化 上（共振峰）； 复合元音 的舌位动态图 单元音 //的共振峰频率图 B. 单元音和复合元音 主要表现在 舌位变化 上（共振峰）； 复合元音 的舌位动态图 单元音 //的共振峰频率图 C. 鼻化元音和非鼻化元音 在发普通元音时软腭和小舌上升，气流只通过口腔，而当我们发鼻化元 音时，气流同时流经口腔和鼻腔，元音带上了鼻音色彩。和非鼻化的元音相 比，口腔和鼻腔共振会发生耦合。口鼻耦合的结果使得被鼻化的元音的第一 共振峰下降，并形成一个新的共振峰，一般称为 鼻音共振峰 。 从声学表现上，国外学者 Delattre(1954)认为 第一共振峰能量的降低 是 元音鼻化的主要线索。 Fant指出这是鼻音的最一致特征。 用鼻流计研究汉语的鼻化元音结果显示，元音鼻化后，元音的 鼻音度不 断增高 ，并且鼻音度增高的趋势跟单个元音鼻音度成正比， 鼻化元音共振峰 LPC分析结果显示，和没有发生耦合的共振峰 F1相比 ，鼻化元音的声学表现为 带宽增宽 ， 振幅变小 。 ----郭雷（ 2010） D. 松元音和紧元音 发声类型的问题； 蒙古语松紧元音的对立是元音和谐律的主要 内容，用声学方法研究蒙古语松紧元音的研 究结果显示（鲍怀翘，吕士楠， 1992）： 元音 第一共振峰和第二共振峰的振幅差 值 在区分元音松紧上是一个有效的参量。在 蒙古语中紧元音最大的特点是 F1的升高（舌 位降低）和 F2能量的加大，使音色较响亮。 紧元音的舌位（ F1）低于松元音。这与 清格尔泰有关紧元音口腔开口度稍大于松元 音的说法是一致的。 E. 词首元音和非词首元音： 主要区别在 舌位上 ，非词首元音都有“央化”现象， 鄂温克语词首和非词首元音舌位三角图 （ 3）单元音的共振峰模式 （ 4）复合元音的共振峰模式示意图（普通话为例） （ 5）蒙古语标准音词首和非词首元音 F1、 F2的平均值 蒙古语词首元音发音表 （ 6）蒙古语非词首元音发音表 2，辅音在语图上的声学表现  辅音发声的生理原理： 声带振动或者不振动；口腔内有阻碍 ；  辅音发声的物理原理： 非周期性波 ；气流是湍流或者脉冲波；  辅音的分类： 发音方法上的分类：塞音、塞擦音、擦音、浊音、颤音（闪音）、 送气与否、鼻音、边音 发音部位上的分类：双唇音、唇齿音、舌尖音、舌前音、舌面音、 舌根音、小舌音、喉音等。  冲直条（ spike）：塞音破裂产生的脉冲频谱，表现一直条。时程很短，约 10~20ms； 充值条是塞音的表现  无声空间（ gap）：在塞音和塞擦音破裂之前有一段空白，这是辅音持阻时段 的表现，造成清塞音的效果；这一段虽是空白，但对塞音感知来说是不可缺少的； 无声段也是塞音的表现 ；  嗓音横条（ voice bar）：这是声带振动的浊音流经鼻腔辐射到空气中在语图上 的表现。 冲直条之前若有一条 500Hz以下较宽的嗓音横条 ,说明这是浊塞音 ；  乱纹（ fills）：这是气流流经口腔某部位狭窄通道造成的湍流， 所有的擦音在 语图上都表现为乱纹 ；  共振峰（ formant）：其定义与元音相同， 鼻音、边音、浊音都有共振峰 。 （ 1）辅音声学表现 辅音发音方法的不同，其实都是这些基本声学模式在时间上的组合方式的不同。 辅音声学特征基本模式图示 （ 2）语图上各类辅音的声学表现  送气浊塞音：嗓音横条与冲直条和送气乱纹的组合；  不送气浊塞音：噪音横杠与冲直条的组合；  不送气清塞音：无声间隙与冲直条构成；例如， /p /, /  /,  送气清塞音：无声间隙与冲直条和送气乱纹构成；例如， / /, //  不送气清塞擦音： GAP、冲直条与一段较短时程的乱纹组合；  送气清塞擦音： GAP、冲直条与一段较长乱纹段（送气乱纹和擦音乱纹）组合；  清擦音：只有乱纹；  浊擦音：乱纹加共振峰；例如，   送气擦音：擦音乱纹和送气乱纹的组合；  边音：浊音共振峰或浊音共振峰和乱纹构成；例如， / /,  鼻音：浊音共振峰。例如， / /, /  /, /  / 辅音声学表现例子 -------浊辅音 辅音声学表现例子 -------擦音 辅音声学表现例子 -------塞擦音 塞音的冲直条（ 黄色方框） +擦 音的乱纹（绿色 方框） =塞擦音 辅音声学表现例子 -------塞音  半元音 也可以认为是浊擦音；语图上表现为能量较弱的共振峰横杠； 半元音 [j]相似与元音 [i]，其 F1比 [i]元音更低而其 F2比 [i]元音 的 F2更高； 半元音 [w]相似与元音 [u]，其第一二共振峰比 [u]元音的更低。  颤音 颤音：塞音空白段 +浊音段 闪音：塞音空白段 颤音 闪音 辅音声学表现例子 -------颤音 辅音声学表现例子 -------闪音 蒙古语基本辅音发音表 1， 语音合成的历史发展 1.1 定义 1.2 语音合成的发展历史回顾 1.1 定义 Mongolian speech synthesis Mongolian speech synthesis // Mongolian speech synthesis Mongolian Speech Synthesis Mongolian speech synthesis Mongolian speech synthesis Mongolian speech synthesis SPEECH TO TTS TEXT Mongolian speech synthesis MTTS Mongolian speech synthesis Mongolian speech synthesis Mongolian speech synthesis Mongolian speech synthesis 纵观语音合成经历了机械式、电子式和计算机语音合成三个阶段。 1，机械式语音合成阶段 最代表性的机械式语音合成器是 1835年由维也纳的 冯肯佩伦（ Wolfgang von Kempelen） 发明，经 Weston改进的机械式“讲话机”。这 也是最早的语音合成器。机械式“讲话机”是当时作为玩具供宫廷王公 贵族娱乐的工具，而没有实际应用价值。 目前，这部机器在慕尼黑建立 的德意志自然博物馆存放，还能工作，它的噪音像儿童的发音。 1.2 语音合成的发展历史回顾 2，电子式语音合成阶段  开创语音合成的实用化器件是在电子式语音合成时代实现，因为在远程通信技术 发展过程中，人们越来越多地关心通道容量的问题，如果语言信号可以压缩到较 窄的频带中，同样带宽的信道就可以传输出更多的语音。  最早采用电路进行语音合成的是斯图尔特。 1939年贝尔实验室的工程师 达德利 （ Dudley）设计制造了声码器（ VOCODER）和发音演示器（ VODER）。它是一个能人 工操纵的发音模型。  电子式语音合成器与机械式语音合成器在模拟人的说话的基本概念上不同。机械 式是人的发音过程的仿真，要有扮演肺输送气流的器件，有模仿声道气流不同流 通条件的器件。而电子式不需要，它只注重效果，不问过程，因此人们把这类语 音合成器称作“终端合成器”。 3，计算机语音合成阶段  20世纪计算机技术迅猛发展，数字化似的某些电子技术简单化了。  另一方面，个人计算机的推广和应用，使得语音合成的技术不局限于大的 、著名的实验室，语音合成的研究普及化了，语音合成技术进入了计算机 语音合成的新时代。  此外，随着计算机存储容量的不断突破，运算和检索速度的提高，大规模 的真人语音的存储、检索和拼接成为可以实施的工程方案，形成了各种语 音合成的方法。 二、 语音合成技术方法 2.1 波形合成法 2.2 参数合成法 2.3 规则合成法 2.4 文语转换系统 2.1 波形合成法  波形 拼接的语音合成 方法是指 采用 数字存储技术存储基本的语音 信息， 在合成时 采用恰当的技术手段挑选出所需的语音单元拼接起来，生成高自然度的语句的合 成方法。  以语句、短语、词或音节为合成单元，这些单元分别被录音后直接进行数字编码 ，经过适当的数据压缩，组成一个合成语音库 。  为了 节省存储容量，在存入机器之前还可以对语音信号先进行数据压缩 。  另一种波形合成法的波形编辑合成，它把波形编辑技术用于语言合成，通过选取 音库中采取自然语言的合成单元的波形，对这些波形进行编辑拼接后输出。它采 用语音编码技术，存储编辑拼接、平滑处理等输出所需的短语、语句或段落 。 特点：所需的存储容量太大 ，合成方法相对简单；该合成方法合成的 词汇 量不能 很大， 通常 只能合成有限词汇的语音段。目前用于自动报时、报站和报警等。 输入语 音 语音单 元的波 形编码 挑选组 合 回放 合成语 音 波形合成原理 2.2 参数合成法  这种合成方法多以音节、半音节或音素为合成单元。  首先按照语音理论，对所有合成单元的语音进行分析，一帧一帧提取有关语音参 数，这些参数经编码后组成一个合成语音库。 输出时，从语音参数库中取出相应 的参数，利用语音产生的数学模型恢复语音波形。共振峰合成是该类合成技术中 的重要方法。  主要的合成参数有：控制 音强 的幅度、控制 音高 的基频和控制 音色 的共振峰参数 参数合成（ parameter synthesis）有两种不同的方法：用发音器官参数进行合 成，或者用语音声学参数进行合成。 参数合成法有以下两种：  发音器官参数合成（ articulator parameter synthesis） 语音的不同主要在于发音时其声道形状的不同。该合成方法就是利用不同语音声道形状 的不同，用传输线电路来模拟声道的方法合成出不同的语音的合成法。 1950年邓恩、 1953年史蒂文斯分别合成出了最早的静态发音器官参数合成。 1958年罗森 将史蒂文斯的静态合成发展为动态发音器官参数合成。  共振峰参数合成（ formant parameter synthesis） 是利用发音时在声道中形成的简正方式，在声学上模拟声道传递函数，共振峰参数合成 也称为终端合成（ terminal synthesis）。 1951年，哈斯金斯实验室的库珀、利伯曼和博斯特制造出了最早的共振峰合成器。 由于他的基频固定为 120Hz,所以听起来不那么自然，但是可懂度挺高。  参数合成方法的优点 ：音库一般较小 ， 并且整个系统能适应的韵律特征的 范围较宽 ， 音质适中 。  参数合成方法的缺点 ：算法复杂 ， 参数多 ， 并且在压缩比较大时 ， 信息丢 失亦大 ， 合成出的语音总是不够自然 、 清晰 。  随着语音分析工作的不断深入 ， 人们对语音参数 （ speech parameter） 的 认识不断提高 ， 语音产生的模型也不断改进 。 利用语音参数进行语音合成 被称为按规则语音合成 ， 它是检验所提取的语音参数是否可靠 、 对应语音 信号本质的认识是否正确的重要方法 。 2.3 规则合成法  这种合成方法以通过语音学规则来产生任何语音为目的，规则合成系统存储的是较 小的语音单位的声学参数以及由音素组成音节，再由音节组成词或句子的各种规则 。当输入字母符号时，合成系统利用规则自动将它们转换为连续的语音声波。  由于语音中存在协同发声效应，单独存在的元音和辅音与连续发音中的元音和辅音 不同，所以合成规则是在分析每一语音单元出现在不同环境中的协同发音后，归纳 其规律而制定的如共振峰的频率规则、时长规则、声调和语调规则等。  与其他合成方法相比，规则合成方法的语音库的存储量更小，这是以牺牲音质为代 价的，这种方式涉及到许多语音学和语音学模型，系统结构复杂。目前合成规则还 不完善，合成音质一般较差。 2.4 文语转换（ Text to Speech）  文语转换系统是将文字及各种常用符号的文本按发音习惯朗读出来的系统。这 一概念首先由英国的安斯沃思（ W.A.Ainsworth）于 1973年提出。  文 -语合成的指导思想是：挖掘出人在讲话时，是按照什么规则来组织语音单 元的，并将这些规则的知识赋予机器，因而机器在合成语音时，只要输入合成 基元，机器就应该会按照所赋给的规则来合成出与人讲话是相同的语音来。  1979年艾伦（ J.Allen）、亨尼克特（ S.Hunnicutt）、卡尔松和格兰施特勒姆 建成了第一个英语的文语转换系统 MITalk-79，该系统包括 12000个英语语素。 1981年在该转换规则的基础上，建立了 Klattalk文语转换系统。最具代表性的 文语转换系统属美国 DEC公司的 DECtalk。  应该指出，所使用的文本的合成基元越小，合成规则就越多越复杂，当然所 用的存储量也就越小。因此在选择文本的合成基元时应该折中考虑。  目前英语中多用音素、双音素为文本的合成基元，因为对于西方语言，用词 作为基元的按规则合成几乎是不可能的。  汉语可以用声母和韵母，甚至直接用音节字作为文本基元，以减少规则的知 识。这时就不必考虑与音素有关的规则，而只需用到音节字之间的有关规则 就可以了。 TTS系统基本框图 文本分析、韵律控制和语音合成这三个模块是文语转换系统的三个核心部分。其 结构如下图所示：  文本分析 主要功能是使计算机能够识别文字 ， 并根据文本的上 、 下文关系在一定程度上对文本进 行理解 ， 将发音的方式告诉计算机；另外 ， 还要让计算机知道文本中哪些是短语 、 句子 ， 发音时到哪儿应该停顿 ， 停顿多长等等 。 工作过程包括： ① 将输入的文本规范化 ， 并处理用户可能的拼写错误 ， 将出现的不规范或无法发 音的字符过滤掉； ② 分析文本中的词或短语的边界 ， 确定文字的读音 ， 同时分析文本中出现的数字 、 姓氏 、 特殊字符以及各种多音字的读音方式； ③ 确定发音时语气的变换及不同音的轻重方式 。 最终 ， 将输入的文字转换成计算 机能够处理的内部参数 ， 便于后续模块进一步处理并生成相应的信息 。 系 统 词 库 多 音 字 词 库 变 调 规 则 库 特 殊 声 调 规 则 自动分 词 多音字 处理 声调判 断 特殊声 调调整 特殊符 号 停顿处 理 文本分析系统的基本框图 ****读音处理 在文字上对输入文本左处理后，还要进而将文字转换成正确的读音。同样的 字形会有不同的读音，而不同的读音又表示不同的语素或单词。这就是所谓的多 音字问题。比如，睡觉 — 觉悟，行走 — 行列。 对自动分词处理后的句子中余下的字，首先查找多音字表，若不是多音字， 则检索标准字库，取得该字的读音及其他信息，比如声调；若是多音字，则根据 在多音字库中得到的信息从特征词库中读取相应的信息，选择恰当的读音。 在汉语语音合成中的读音处理中，儿化、轻声词等特殊读音的处理非常重要 。  韵律控制 为了使文语转换系统输出的话语流畅自然 ， 必须在韵律特征层面上 ， 对单句中各 单词之间的相互关系做进一步处理 。 步骤：首先对输入文本加上良好的 韵律特征标 注 。 然后再利用合适的 韵律模型 对合成语音信号作进一步的加工处理 。 这一部分是 当前各类文语转换系统最薄弱之处 。 对于复杂多变的韵律特征现象及其声学表现 ， 人们还没有清楚地了解 。 任何人说话都有韵律特征 ， 有不同的声调 、 语气 、 停顿方 式 ， 发音长短也各不相同 ， 这些都属于韵律特征 。 而韵律参数则包括了能影响这些 特征的声学参数 ， 如：基频 、 音长 、 音强等 。 最终系统能够用来进行语音信号合成 的具体韵律参数 ， 还要靠韵律控制模块 。  语音合成 文语转换系统的合成语音模块一般采用波形拼接来合成语音的方法 ， 其中最具 代表性的是基音同步叠加法 PSOLA。 三、语音合成的基本 术语 （ 1）合成 单元（ Synthesis Unit） 合成 单元也称为合成单位，是语音合成系统所处理的最小的语音学基本单位，待合 成词语的合成语音库就是所有合成单元的集合。按由小到大的顺序排列，语音学中的音 素、双音素、半音节、音节、词、短语和句子都可以用作合成单元，合成单元越大，合 成语音音质越好，但合成语音的数量及其数码率也越大 。  在 波形编码合成方式中，合成单元较大，多为词、短语或句子。  在参数式分析合成和规则合成方式中，英语或日语的合成多采用音素，辅音加元音 和元音加辅音等合成单元，汉语的合成单元多采用音节和声、韵母作合成单元 。 （ 2）合成参数（ Synthesis Parameters） 在参数式分析合成和规则合成方式中，控制语音合成器以输出所需语音的 一组参数。 合成参数分为两类：  音色参数：音色参数又称为音段参数，常用的有：共振峰频率，线性预测系 数， LSF系数和生理发音参数。  韵律参数：韵律参数又称为超音段参数，主要有控制音强的幅度参数，控制 音高的基频参数，控制音长的时间参数等。 （ 3）合成语音库（ Database for Synthesis ） 在语音合成系统中，所有合成单元的编码数据或合成参数数据的集合称 为合成语音库。  对于波形编码合成方式，语音库中存储的是合成单元的波形编码；  对于参数式分析合成方式，语音库中存储的是各合成单元逐帧的合成系 数；  在规则合成方式中，语音库中存储的是各合成单元的声学参数和一系列 合成规则。 （ 4）合成音质（ Quality of Synthetic Speech ） 合成音质是指语音合成系统所输出的语音的质量，一般从清晰度（或可 懂度）、自然度和连贯性等方面来进行主观评价。  清晰度是正确听辨有意义词语的百分率；  自然度用来评价合成语音音质是否接近人说话的声音，合成词语的语调是 否自然；  连贯性用来评价合成语音是否流畅。 四、 语音合成的应用  工商信息电话查询系统 本系统的功能是让用户可以通过电话查询到某一企业在工商局的注册信息 。用户主要通过输入注册号、统一代码或者企业电话号码等来查询相应的企业 信息。科大讯飞公司与 IBM公司合作，采用电话语音识别技术来实现语音选择。 用户只需口述企业名称（包括带一定模糊概念的口述，如“科大讯飞”或“讯 飞”均可识别），即可直接得到该企业的