语料库与语料库建设
语料库与语料库建设
语料库和语料库建设
一、什么叫语料库
1、定义
语料库，通俗意义上指的是语言材料库。严格意义上的语料库(corpus)是
指按照一定的
语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。
目前，语言学家对于语料库的定义不尽相同，如辛克莱(Sinclair)认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集，旨在用作语言的样本”。阿特金斯等(Atkins & Clear)认为语料库是“按照明确的设计标准，为某一具体目的而集成的大型文本库”。赫努(Renouf)认为语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言学研究的文本库”。我们看到，以上关于语料库的几种定义相同之处在于都谈到语料库是语言材料的汇集;不同之处在于前两个定义指出语料库的设计是有明确的设计标准的，赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。语料库不同于电子文档，语料库的建设有特定的研究目的和具体用途，因此在语料抽样范围和文类覆盖方面都力求取得平衡，在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档目标在于搜集任何可获得的语言材料或所限定的数种文类语料，其语言材料之间的关系较为松散。
语料库具有以下特征:1、语料库的设计与建设有系统的语言学理论指导，语料库的开发具有明确而又具体的目的;如，布朗语料库用于对20世纪60年代的美国英语的研究，LOB是与布朗语料库对齐的同时期的英国英语语料库，可用以对英国
英语进行研究，也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。
2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料，不是随意的语言材料的堆积，更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性，由此保证基于语料库的语言研究的科学性、客观性。
3、语料文本是连续的文本或话语片断，而不是孤立的句子或词汇，可以借以获得语法关系、用法、词语搭配以及语篇信息。
4、语料库以当代先进的计算机技术为技术手段，语料库语料通过电子文本形式储存并且是通过计算机处理的，具有资源优势和处理速度优势。
5、基于语料库的研究以量化研究为基石，以概率统计为手段，以数据驱动为基本理念。
6、语料库既是一种研究方法，又代表着一种新的研究思维。
二、语料库产生的背景及发展历史
对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪50年代中期，
在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛围无疑促进了对语料的重视。1959年夸克(R.Quirk)等人着手进行的“英语用法调
查”(Survey of English Usage)通过系统的调查建立了第一个现代英语语料库，在此基础上完成的《现代英语语法》 ( A Grammar of Contemporary English )和《英语语法大全》(A Comprehensive Grammar of the English Language)对现代英语进行了系统全面的描写，在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。
20世纪六十年代后，语言学研究主流从经验主义转向理性主义，乔姆斯基的语言能力说被广泛接受，转换生成语法学派批评语料库研究方法，认为，1、基于语料库的方法有误。乔姆斯基等认为语言学应当以人脑的语言机制即语言能力为研究对象，语料库收集的只是人们的语言运用，语言运用会因超语言因素的影响而发生
变化，它并不能确切的反映语言能力。2、语料的不充分性。他们认为自然语言句子的数量是无限的，语料库的规模即使再大也无法穷尽所有可能的句子，因此“任何自然语料都是偏颇的”。在此后的长达20年的时间里理性主义在欧美一直占有统治地位，语料库研究一度陷入低谷。但在此期间仍有些语言学家凭着非凡的勇气继续不懈地从事语料库研究。最早的计算机语料库布朗语料库(Brown Corpus)，1961年由纳尔逊(F. Nelson)和库切拉(H. Kucera)建立。布朗语料库容量为100
万词，收集了60年代有代表性的美国英语语料，语料选自各种出版物，建库时照顾到了各种文体的平衡，严格按照随机原则抽样，是一个标准语料库。布朗语料库是第一个现代语料库，它对于后来的语料库的发展具有重要的影响。1975年，Jan Svartvik开始创建伦敦——隆德语料库(London—Lund Corpus)，这两个语料库堪称现代语料库的开山鼻祖。
20世纪80年代以来，在相对沉寂了近20年之后，语料库研究重新萌发了生机，迅速得到发展。
语料库研究的迅速发展基于以下三个方面的原因:首先，具有语言学基础。在
英国语言学研究中，实证主义从弗斯到韩礼德再到辛克莱一直被传承了下来，实证主义的基石是对可观察的对象进行研究，作为人们外部行为的语言运用是可观察的、可靠的依据，而人们内在的语言能力是不可直接观察的，只能通过语用实例进行推断。语料库是在随机采样的基础上收集的有代表性的真实语言材料的集合，是语言运用的样本。如果样本具有代表性，采样具有随机性，且样本的量又足够大，则可以认为样本就是总体的真实代表;样本具有总体的统计特征，研究语料库中的语言材料即近似于研究语言本身。语料库中的语言材料都是人们实际使用的语言材料，因此语料库语言的研究结果具有可靠性和真实性。强大的技术支持是语料库迅速发展的又一原因。主要体现在以下三个方面:一、以计算机为主导的硬件技术的发展。PC机的兴起、计算机计算速度的高速增长、存储介质的开发、存储容量的
剧增都为计算机语料库的建设发展提供了技术保障。二、计算机网络的发展为语料库的发展和应用提供了有利条件。首先，大量的文献和文件具有电子文本形式在网上传播，为语料库语料的获得提供了便利条件;其次，大量语料库成为在线语料库，允许用户在网上实时使用;再者，研究者和用户能够在网上就语料库及时交流经验和看法。三、可以共享的语料库索引软件的开发。如今的索引软件大多已不是专为某一个语料库单独设计与开发的，而是能够应用于各种类型甚至不同语种的语料库。语料库迅速发展的第三个原因是需求的增长。在语料库的应用领域，不断增长的用户群体和不断扩大的应用领域进一步体现了语料库的应用价值。其应用包括传统领域、扩展领域和新兴领域。传统领域包括自然语言处理、语法分析和辞典编纂等，扩展领域包括教材的组织编写、机器翻译、语言识别和语言对比;新兴领域包括语言教学、数据驱动语言学习、中间语对比分析研究、多媒体计算机辅助教学、在线语料库。
在上述因素促动下，语料库建设迅速发展，相继出现了一批语料库，如， LOB 语料库(Lancaster-Oslo-Bergen Corpus)、COBUILD语料库、国际英语语料库(The International Corpus of English ，简称ICE)、赫尔辛基历史英语语料库(The Helsinki Corpus of Historical English)及各不同语种、不同用
途类型的语料库。
三、语料库的建设与开发
(一)总体设计
首先语料库的建设目的要明确，建库的目的决定着语料的选取。
如由广东外语外贸大学桂诗春教授和上海交通大学杨惠中教授等主持建设的中国学习者英语语料库(CLEC)建库目的是:1、通过分析中国英语学习者写作中典型错误及其与学习者中间语发展的内在关系，为中国外语教学，尤其是英语写作教学，提供积极反馈;2、对学习者语料库与英语本族语语料库进行对比分析。
语料库的规模设计。在规模上，只要条件允许，应该是语料库的规模越大越好。就语料库发展趋势来看，建立固定规模的语料库并非语料库发展的大趋势，因为语言本身是动态发展的，语料库也应当是动态的，可以不断扩充的。
语料库的内容。如果说规模是针对量的问题，那么，内容就是要解决质的问题。对于内容，最根本的是要真实，它包括两个方面，1、要收集实际使用中的文本，而不能是研究者杜撰的;2、要收集符合条件的文本。如要建立的是学习者语料库，要分析的是学生的真实语言能力，就不能把学生抄袭书本的东西收进来。
(二)具体实施
1、语料的搜集
现代计算机技术和网络资源使得语料库语料的获得变得方便容易。传统的语料库建设，
语料输入工作极为浩繁，基本上靠手工键盘输入和扫描输入，费时费力，且容易出现错误，需要校对。如今大量的在线语料资源、光盘资料、因特网资源，包括新闻、邮件列表、电子邮件等，使语料库的建设和扩充变得非常快捷方便。
当然，用于不同研究目的的语料库对其语料来源可能要求不同，会影响到语料的采集。
2、抽样
语料库在语料抽样范围和文类覆盖方面都要尽可能取得平衡，要考虑每一文类、体裁、
语域、主题类型等的抽样比例。乔姆斯基曾经批评语料库不过是试图用很小的样本代表巨量的甚至无限的实际语言材料，其结果必然存在偏差，缺乏代表性。目前，计算机语料库可以通过控制抽样过程和语料比例关系来缩小偏差，增强语料的代表性。决定语料代表性的主要因素是样本的抽样过程和语料量的大小。语料库一般采用随机抽样方法。一种做法是在抽样前首先确定抽样的范围，再就是确定语料
的分层结构，进行分层抽样，如把语料按文类(如小说、新闻报道、科学论文、法律文书、诗歌、散文等)和信道(如书面语和口语)进行分层抽样。在抽取比例上可根据需要采用平均比例均衡抽样或不等比例的塔式抽样。
3、语料库的加工
文本输入计算机后，一般需要进行一些加工，主要包括语料的标识和语料的赋码。
1)语料库的标识
标识主要分两类:一类是对文本的性质和特征进行标识，另一类是对文本中的符号、格式等进行标识。如CLEC语料库标注了以下主要信息，包括学生类型、性别、累计学习年限、自然年龄、作文完成方式、是否是用词典、作文类型、所在学校、作文得分、作文标题、大学英语四、六级试卷作文编码。第一类标识是必要的，因为它们可以用来对文本进行必要的分类，为灵活提取文本进行各类目的研究提供便利，而且它们可以标注在文本开头或者作为另一个文件保存，丝毫不破坏语料的完整性和原始性。至于第二类标识可以视研究和应用的目的而定。但不管怎样，保存一份未标识的原文本是很有必要的。
2)赋码
一些研究不需要赋码语料库，而有些研究需要赋码语料库。
当前，语料库的赋码主要有两类:一类是词类码，又称语法码;另一类是句法码。
词类赋码就是对文本中每一个词标注词类属性，这项工作通常是在传统语法对词类的划分的基础上进行的，只是分类适应要求做得更细。如在LOB语料库中以NN代表普通名词的单数形式，以NNP代表以大写字母开头的普通名词的单数形式，如Englishman ，以NNS代表普通名词的复数形式，如desks，以VB代表动词的基本形式，如write、see，以VBD 代表动词的过去式，如wrote 、saw，以VBG
代表动词的现在分词形式，如reading 、eating ，以 VBN 代表动词的过去分词形式，如written 、seen，等等。目前自动词类赋码技术已经基本成熟，对英语基本上可以通过计算机自动赋码，且赋码正确率在96%—97%左右。
句法赋码就是对文本中的每一个句子进行句法标注。以UCREL概率句法赋码系统为例，其句法赋码系统分三个步骤:第一步，对文本中每一个词赋以可能的句法码。该步骤主要依赖于一部标明每一可能词类码对子的句法符的词典。第二步，寻找一些特殊的语法码形式和句法片断，对句法结构作必要的修改。最后，完成每一可能的句法分析，并逐一赋值，从中选出可能性最大，即值最大的句法分析作为每句的分析结果。
词类赋码和句法赋码为语言的量化研究创造了条件，为进一步研究自然语言的概率性特征提供了方便，为进一步的语义、语法和语用分析等打下了基础。
4、语料库引擎
通常意义上的计算机语料库一般包括语料库本体(即语料库电子文本)和语
料库引擎(即
语料库索引程序)两个部分。
索引工具的基本功能包括词频统计、词表生成、语篇统计、关键词索引、排序、搭配词统计、词语型式统计、主题词提取、词丛统计、词图统计等等。
网上提供了一些可以利用的工具软件，包括MicroConcord、Wordsmith Tools、TACT、Concordance 1.1.3 、TEC Concordancing Tools 具有提供词语索引、搭配词表以及各词语索引行的扩展语境的功能，允许用户把索引结果存储在自己的硬盘上。
MicroConcord 可进行带语境的关键词索引。利用它可以观察关键词所在语篇，获得左右搭配词表。
Wordsmith Tools 具有下列功能:1)生成词表、可按词频、字母顺序分别排列，并提供各种统计信息;2)关键词提取。可进一步统计分析关键词在语篇中的分布，再生成该语料库的主要关键词，还可以查出某一关键词的联想词汇。3)提供词汇词语型式表和搭配词位置分布等极有价值的信息，使研究者可以从多种角度对词汇运用进行分析。4)查询结果可以很方便地转换为表格形式，并读入到MS Access、Excel 等数据库中进行相关的分析统计。
TACT是一个语料库索引软件包，它具有全文索引、语境中的关键词索引、词表生成、词频统计、搭配词自动提取、语料比较等强大的功能。
Concordance 除了一般文本索引软件所具有的功能外，其独特之处是能够把索引结果自动生成HTML网页，供在线浏览。它是一个独立软件，可利用它对任何语料库文本进行索引分析。
四、目前语料库发展中存在的问题
1、书面语语料库和口语语料库发展不平衡。
大量在线电子语料以及各种以电子媒介发行的电子文本为书面语语料库提
供了丰富的语
料资源，使得书面语语料库的建设变得便利起来。相比较起来，口语语料库要落后许多。原因之一是自然语言的口头运用形式需通过一定的技术手段才能够获得，其转写与存储需耗费大量的人力物力。
2、语料库的标注和赋码系统在适用性和统一性方面需要进一步的探讨
现行的赋码系统一般是基于传统语法中对于词类的分析成果，不同研究者的分析结果存
在一定的分歧，采用任何一种分类方案都可能存在偏颇。理想的赋码应是基于语料库自身的统计信息。在赋码格式上各语料库也缺乏标准化和统一化。
3、语料库资源共享困难重重
一个语料库的价值应当是与其被利用的程度成正比的关系。而目前除了有限的几个语料
库能够提供在线索引外，绝大多数已经建成的语料库只在语料库研究者这个小群体中使用，圈外人只闻其名，难见其形，使得花费了大量时间与财力的语料库不能真正实现其价值。许多语言研究者只得自己动手建语料库，这种重复建设造成人力物力资源的极大浪费。而且语料库只有在使用过程中才能发现问题，不断地加以改进。
4、语料库工具软件和文本分析软件的开发与语料库的发展不相适应
语料库工具软件包括词类自动赋码和句法分析软件，文本分析软件指与语料库本体相对
独立的索引软件。目前存在的问题是，各种索引软件重复开发，功能单一，软件的升级速度慢，自由软件少。其原因主要是，1)语料库软件开发不像其它计算机软件那样有巨大的商业利益驱动，缺少专业的软件开发人员。目前的语料库软件基本上是靠精通计算机编程技术的语言学家研发的，其技术难以跟上计算机技术发展的步伐。2)大多数语料库软件研究是靠单独作战，缺少团队合作，所以研发周期长，研发的产品难免滞后。
解决这些问题需要语言学和计算机等学科之间的密切合作。
主要参考文献
1(《语料库语言学导论》杨惠中主编上海外语教育出版社 2002年
2(《语料库语言学》黄昌宁杨涓子著商务印书馆 2002年
3(《语料库、检索与搭配》(Corpus Concordance Collocation)John
Sinclair 上海外语教育出版社
4(语料库语言学的发展及研究现状丁信善《当代语言学》1998年1期
5(关于大规模真实文本语料库的几点理论思考张普《语言文字与应用》
1999年1期
6(《索引软件:语料库语言学的有利工具》王建新《当代语言学》1998年1期(同上篇，也是近十年前所写作业)
国家级精品课程《高级英语》课程建设方案
国家级精品课程《高级英语》课程建设方案 一、建设目标:用五年时间，把高级英语建设成为一门充分践行“学生本位”、“素质本位”思想，人文色彩浓郁，时代内涵丰富，教学方法创新，教学手段先进，教学环境信息化特色突出，课程评价体系完善，自我革新能力强的高年级“核心”课程。 二、建设步骤:本课程建设将在多项“分目标”同时并举的基础上，采取分层次、有优先、有重点、逐年推进的建设方略。具体规划如下: 1.人文及时代内涵建设 (1)本课程组刚刚编写、出版的《新编高级英语教程》取材广泛，选材新颖，时代性强，人文内涵丰富，这为本课程实现未来5年的“人文及时代内涵”建设目标打下了坚实的基础。 (2)适时引入、编写一批教辅、学辅材料，进一步扩充本课程人文内涵，保持其时代性。 (3)在课堂教学中，充分挖掘现有教材的人文内涵，探索有利于培养学生人文素养和科学创新精神的授课形式。 (4)将对学生人文、科学精神的培养作为设计、开展实践课教学的基本要求之一。 2.教学环境信息化建设 (1)“高英”课堂教学网建设:A. 完善并适时更新现有的电子资料库——CAI课件，背景知识、作者简介、语言知识点、文本赏析、注释、相关话题导引、习题、试题等教辅、学辅材料;B. 逐步实现课程全部模块授课录像并上网;C. 在现有朗文、韦氏、金山词霸等在线词典的基础上，再投放几部高质量的网络词典;D. 建设网上学习资料下载平台。
(2)校园网、局域网建设与利用:A. 进一步拓展校园网的“资源”功能;B. 开展网上资源利用研讨活动;C. 进一步发掘Internet网上学习资源，提供具体链接地址。 (3)在线语料库建设:A. 探索能充分利用现有BNC、BROWN，LOB，LDC等在线语料库的教学新形式;B.适时购进1-2个切合“高英”(及其它课程)教学、科研需要的国、内外语料库(尤其是英、汉平行语料库);C.力争自主建设1-2个切合本课程及其它多门课程教学、科研需要的校本语料库。 3.教学过程建设 (1)课堂教学建设:A. 教学理念与方法:开展对学生期望的理想教学形式的调查分析，进一步探索能充分实践启发、体验式、发现式、研究式、合作式等现代教学理念的有效授课形式，拓展其内涵。B. 教学资源:探索能有效利用现有多功能教学资源形式的途径和方法;开辟新的资源形式;加强网络教学资源的动态性、再创性、多样性、结构合理性研究。C. 教学手段:探索能增强课堂感染力、提高教学效果的各种传统及信息化教学手段。D. 加强信息化学习方式(如适应性学习、WebQuest 学习，探险性学习)及其影响因素的研究。E.加强课堂教学评估指标研究。 (2)在线辅助教学建设:A. 创建网上学习社区，构筑学生自主学习平台。B. 创设BBS电子布告板系统，增加师生互动。C. 建立师生个人电子档案，探索在线教学规律。D.加强网上教学实践技术培训。 (3)实践课建设:A. 融高年级学生毕业论文写作与实践课教学于一体;B.通过实践课培养学生的体验式、探究式学习能力以及人文素养和科学创新精神;C.通过实践课为学生提供就业、创业的体验和能力训练;D.探索一切行之有效的实践课形式，培养学生获取知识的能力、创新能力，交流能力、协作能力、适应工作的能力、知人处事的能力以及灵活应变的能力。 4.革新能力建设
语料库术语中英对照
Aboutness 所言之事 Absolute frequency 绝对频数 Alignment (of parallel texts) （平行或对应）语料的对齐 Alphanumeric 字母数字类的 Annotate 标注（动词） Annotation 标注（名词） Annotation scheme 标注方案 ANSI/American National Standards Institute 美国国家标准学会 ASCII/American Standard Code for Information Exchange 美国信息交换标准码Associate (of keywords) （主题词的）联想词 AWL/Academic word list 学术词表 Balanced corpus 平衡语料库 Base list 底表、基础词表 Bigram 二元组、二元序列、二元结构 Bi-hapax 两次词 Bilingual corpus 双语语料库 CA/Contrastive Analysis 对比分析 Case-sensitive 大小写敏感、区分大小写 Chi-square (χ2) test 卡方检验 Chunk 词块 CIA/Contrastive Interlanguage Analysis 中介语对比分析 CLAWS/Constituent Likelihood Automatic Word-tagging System CLAWS词性赋码系统Clean text policy 干净文本原则 Cluster 词簇、词丛 Colligation 类联接、类连接、类联结 Collocate n./v. 搭配词；搭配 Collocability 搭配强度、搭配力 Collocation 搭配、词语搭配 Collocational strength 搭配强度 Collocational framework/frame 搭配框架 Comparable corpora 类比语料库、可比语料库 ConcGram 同现词列、框合结构 Concordance (line) 索引（行） Concordance plot （索引）词图 Concordancer 索引工具 Concordancing 索引生成、索引分析 Context 语境、上下文 Context word 语境词 Contingency table 连列表、联列表、列连表、列联表 Co-occurrence/Co-occurring 共现 Corpora 语料库（复数） Corpus Linguistics 语料库语言学 Corpus 语料库 Corpus-based 基于语料库的
语料库与语料库建设
语料库和语料库建设 一、什么叫语料库 1、定义 语料库，通俗意义上指的是语言材料库。严格意义上的语料库（corpus）是指按照一定的 语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。 目前，语言学家对于语料库的定义不尽相同，如辛克莱（Sinclair）认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集，旨在用作语言的样本”。阿特金斯等（Atkins & Clear）认为语料库是“按照明确的设计标准，为某一具体目的而集成的大型文本库”。赫努（Renouf）认为语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言学研究的文本库”。我们看到，以上关于语料库的几种定义相同之处在于都谈到语料库是语言材料的汇集；不同之处在于前两个定义指出语料库的设计是有明确的设计标准的，赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。 语料库不同于电子文档，语料库的建设有特定的研究目的和具体用途，因此在语料抽样范围和文类覆盖方面都力求取得平衡，在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档目标在于搜集任何可获得的语言材料或所限定的数种文类语料，其语言材料之间的关系较为松散。 语料库具有以下特征：1、语料库的设计与建设有系统的语言学理论指导，语料库的开发具有明确而又具体的目的；如，布朗语料库用于对20世纪60年代的美国英语的研究，LOB是与布朗语料库对齐的同时期的英国英语语料库，可用以对英国英语进行研究，也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料，不是随意的语言材料的堆积，更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性，由此保证基于语料库的语言研究的科学性、客观性。3、语料文本是连续的文本或话语片断，而不是孤立的句子或词汇，可以借以获得语法关系、用法、词语搭配以及语篇信息。4、语料库以当代先进的计算机技术为技术手段，语料库语料通过电子文本形式储存并且是通过计算机处理的，具有资源优势和处理速度优势。5、基于语料库的研究以量化研究为基石，以概率统计为手段，以数据驱动为基本理念。6、语料库既是一种研究方法，又代表着一种新的研究思维。 二、语料库产生的背景及发展历史 对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪50年代中期， 在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛围无疑促进了对语料的重视。1959年夸克（R.Quirk）等人着手进行的“英语用法调查”(Survey of English Usage)通过系统的调查建立了第一个现代英语语料库，在此基础上完成的《现代英语语法》（ A Grammar of Contemporary English）和《英语语法大全》（A Comprehensive Grammar of the English Language）对现代英语进行了系统全面的描写，在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。
【CN110110336A】一种面向藏汉机器翻译的藏语句法语料库的构建方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910368324.3 (22)申请日 2019.05.05 (71)申请人 西北民族大学 地址 730030 甘肃省兰州市城关区西北新 村1号 (72)发明人 万福成 (74)专利代理机构 西安研创天下知识产权代理 事务所(普通合伙) 61239 代理人 杨凤娟 (51)Int.Cl. G06F 17/28(2006.01) G06F 17/27(2006.01) (54)发明名称 一种面向藏汉机器翻译的藏语句法语料库 的构建方法 (57)摘要 本发明公开了一种面向藏汉机器翻译的藏 语句法语料库的构建方法，包括以下步骤：A、将 具有句对齐结构的平行语料库中的藏语句子进 行词性标记；B、利用词对齐工具将藏语句子中的 词汇进行词对齐，形成藏语词、汉语词对齐匹配 形式；C、利用树库制作工具，将具有词性标记和 词对齐信息的藏语词逐个进行短语标记；D、运用 自增模式，扩展藏语句法语料库。本发明能够解 决藏语句法语料库稀缺的问题，从而提高翻译质 量。权利要求书1页 说明书3页CN 110110336 A 2019.08.09 C N 110110336 A
权 利 要 求 书1/1页CN 110110336 A 1.一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，包括以下步骤： A、将具有句对齐结构的平行语料库中的藏语句子进行词性标记； B、利用词对齐工具将藏语句子中的词汇进行词对齐，形成藏语词、汉语词对齐匹配形式； C、利用树库制作工具，将具有词性标记和词对齐信息的藏语词逐个进行短语标记，并逐层进行合并直至形成一个完整的句法树； D、运用自增模式，扩展藏语句法语料库。 2.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，所述步骤B中将藏语句子中的词汇进行词对齐的方法包括以下步骤： a、运用词对齐工具训练双语句对齐平行语料库； b、以词对齐中间结果作为藏语汉语词匹配形式，并形成具有类似括号匹配的形式； c、将词对齐的结果以及词性标注的结构统一处理成具有括号匹配形式的内容，提供下一步处理作为输入。 3.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，所述步骤C中逐层进行合并直至形成一个完整的句法树的方法包括以下步骤： a、将具有括号匹配形式的带有词性标记和词对齐信息的各个单元输入到树库制作工具中； b、以词性为基础，逐个将以词为单元的内容合并，并以短语标记结尾； c、逐个合并短语结构标记为新的短语结构标记，最终合并成一个句子，并标注以句子标记结尾。 4.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，所述步骤D中运用自增模式扩展藏语句法语料库的方法包括以下步骤： a、将人工制作的藏语句法语料库作为训练语料库，运用BerkerleyParser句法分析器作为句法分析工具； b、解码测试语料库，得到待人工校对的藏语句法树； c、人工校对藏语句法树的结果，将校对后的结果加入到训练语料库中，继续步骤a，以这种模式扩展藏语短语句法树库。 2
关于汉语中介语语料库建设研究报告
汉语中介语语料库建设研究 沈锐1，黄薇2 (1.红河学院教育技术系2.红河学院国际合作与交流处XX蒙自661100) 【摘要】本文探讨母语非汉语学习者的汉语中介语语料库建设的主要思路以及具体实现方法，重点介绍了汉语中介语语料的加工方法以及语料数据库的设计思路，并阐明了该语料库在对外汉语教学和研究中的应用价值。 【关键词】语料库;中介语;汉语教学 语料库是指按一定的语言学原则收集的语言文本或话语片断而建立的电子资料库。本文所述汉语中介语料库是基于语言学中中介语理论设计与实施的。中介语是心理语言学中第二语言习得的一种研究模式，其将语言学习者置于观察中心，去研究他们如何有意识地向目的语的正确形式迁移的各种动态表现。中介语理论自20世纪60年代末出现并发展至今，虽然时间并不长，但越来越受到语言学家以及一线教师的关注。无论是进行中介语研究还是使用中介语理论进行第二语言教学都需要收集分析大量的语料，因而通过信息化手段收集和整理语料变得十分迫切。在对外汉语教学中，通过建设和使用母语非汉语学习者的汉语中介语语料数据库，可以收集不同背景和不同学习阶段外国学生及少数民族学生的汉语书面语和用文字转写的口语语料，并对语料属性、词汇、语法等单位进行计算机处理，以实现对各种条件和要求下的语料数据进行便捷的机器检索和提取，可以为研究母语非汉语学生学习和习得汉语的规律提供大量的各种单项的或综合的资料和信息。因此，我们提出了建设汉语中介语语料库的课题，由于语料库建设是一项浩大的工程，限于人力物力条件，本文讨论的是中
小规模的语料库。 一、需求分析和框架设计 语料库建设不能盲目进行，首先要进行调研，对语料库的应用需求进行分析。半自动化的语料库构建是目前语料库建设的主流技术，目的是在确保语料库质量的前提下，减少人工参与的比例，增加自动化程度，目标是在较短时间内建设一个有一定规模，质量可靠、可扩充、成本低，能够全面、细致地记录母语非汉语学习者在汉语学习过程中的语言表征和研究他们汉语习得过程的语料库。依照软件工程的方法，建立数据库首先需要进行需求分析，在需求分析过程中要注意汉语中介语语料库主要是服务于对外汉语教学的一线教师，以及辅助母语非汉语学生自学，因此主要注重以上二类服务对象的应用需求，确保建成的语料库能够对第二语言教学、研究以及教材的编写提供持续支持。基于以上要求，在对中介语语料库的建设思路及框架做了总体考虑，基本归纳为以下三个方面： 1、中介语语料库为专门用途语料库，主要目的为研究母语非汉语的学生在学习汉语过程中的中介语现象而设计制作的。 2、中介语现象存在于母语非汉语的学生在学习汉语过程中的书面语料及口语语料中，由于口语语料的收集、分析和标注都较为困难，因此在建库的第一阶段只考虑收录书面语料，这有利于语料库的快速建设与使用。 3、语料标注的加工标准使用中科院计算所汉语词性标记集V3.0。 二、语料收集与加工
语料库常用统计方法
3.5语料库常用统计方法 第3章前几节对语料库应用中的几种主要技术做了介绍。通过语料检索、词表和主题词表的生成，可以得到一定数量的句子、词汇或结构。为能更好说明所得到的结果的真正意义，常常需要对它们加以统计学分析。本章主要介绍语料分析中的一些常用统计方法。 3.5.1 语料库与统计方法 介绍相关统计方法之前，首先需要了解为什么语料库应用中需要运用统计方法。在2.1节讲到文本采集时，我们知道文本或会话构成了最终的语料库样本。这些样本是通过一定的抽样方法获得的。研究中，我们需要描述这些样本的出现和分布情况。此外，我们还经常需要观察不同语言项目之间在一定语境中共同出现（简称共现）的概率；以及观察某个（些）语言项目在不同文本之间出现多少的差异性。这些需要借助统计学知识来加以描写和分析。 理论上说，几乎所有统计方法都可以用于语料库分析。本章只择其中一些常用方法做一介绍。我们更注重相关统计方法的实际应用，不过多探讨其统计学原理。这一章我们主要介绍语料分析中的频数标准化（normalization ）、频数差异检验和搭配强度的计算方法。 3.5.2 频数标准化 基本原理 通常语料检索、词表生成结果中都会报告频数（frequency, freq 或raw frequency ）。那么某词（如many ）在某语料库中出现频数为100次说明什么呢？这个词在另一个语料库中出现频数为105次，是否可以说many 在第二个语料库中更常用呢？显然，不能因为105大于100，就认定many 在第二个语料库中更常用。这里大家很容易想到，两个语料库的大小未必相同。按照通常的思维，我们可以算出many 在两个语料库中的出现百分比，这样就可比了。这种情况下，我们是将many 在两个语料库中的出现频数归到一个共同基数100之上，即每100词中出现多少个many 。这里通过百分比得到的频率即是一种标准化频率。有些文献中标准化频率也称归一频率或标称频率，即基于一个统一基准得出的频率。 实例及操作 频数标准化，首先需要用某个（些）检索项的实际观察频数（原始频数，raw frequency ）除以总体频数（通常为文本或语料库的总词数），这样得到每一个单词里会出现该检索项多少次。在频数标准化操作中，我们通常会在此基础上乘以1千（1万、1百万）得到平均每千（万、百万）词的出现频率。即： 1000?=总体频数 观测频数标准化频率（每千词） （注：观测频数即检索词项实际出现的次数；总体频数即语料库的大小或总形符数。） 例如，more 在中国学生的作文里出现251次，在英语母语者语料中出现475次。两个语料库的大小分别为37,655词次和174,676词次。我们可以根据上面的公式很容易计算出251和475对应的标准化频率。另外，我们还可以利用Excel 或SPSS 等工具来计算标准化频率。比如，可以将实际观察频数和语料库大小如图3.5.1输入相应的单元格，然后在C1单元格里输入=(A1/B1)*1000即可得到中国学生每千词使用more 约为6.67次。要得到母语
浅谈语料库语言学在的应用以及在中国的发展趋势
浅谈语料库语言学在的应用以及在中国 的发展趋势 一、语料库语言学的兴起与发展 语料库语言学是基于大量真实的语言资料,从调查语言信息的分布频率入手来研究语言在现实使用中的规律和模式。自20世纪中后期,电脑被大量使用在语料的存储上,兴起了专门针对大规模储存于计算机里的语料库所进行的研究,自此语料库语言学进入了现代语料库语言学时期。由于电脑语料库容量大、语料真实、检索快捷,它在现代语言学研究和语言教育中正发挥着越来越重要的作用。 在我国,从20世纪20年代开始,有学者为制定基础汉字字表开始建立文本语料库;70年代末以来,汉语现代文学作品语料库(1979年)、现代汉语语料库(1983年)等机器可读语料库开始建设。90年代后,以《人民日报》光盘数据库、北大语料库为代表的大型汉语语料库日益发展,语料库成为研究中文信息处理的基本语言资源。在英语语料库建设方面,杨惠中教授80年代主持建成的上海交通大学科技英语语料库(JDEST),是当时世界上第一个同类语料库,也是国内最大最完备的英语语料库之一。1996年广州外国语学院开始建立中国学生交际英语语料库。此外由广东外语外贸大学桂诗春教授和上海交通大学杨惠中教授牵头开发的“中国学习者语料库”(CLEC)于1999年建成,该语料库广泛收集了包括我国中学生、大学生在内的一百多万词的各种书面语资料,并对所有的语料进行语法标注和言语失误标注,对研究中国学习者的英语特点具有开创性意义。
二、语料库语言学发展趋势 语料库语言学研究的发展总是以语料库的建设为基础的。没有语料库的建设,语料库语言学所进行的研究只能是纸上谈兵。近十多年来,国内语料库的建设取得了一定的成就,主要建设的语料库有英语学习者语料库、平行语料库、特殊英语语料库、汉语语料库四种类型。 （一）英语学习者语料库。其中包括书面语和口语。有广东外语外贸大学和上海交通大学合作建设的中国学习者英语语料库CLEC,100万词次;上海交通大学建设的大学英语学习者口语语料库COLSEC，5万词次;香港科技大学建设的香港科技大学学习者语料库HKUST Learner Corpus；南京大学建设的中国英语专业语料库CEMC，148万词次；南京大学建设的中国英语学习者口语语料库SECCL,100万词次;华中科技大学建设的硕士 写作语料库MWC,12万词次。 （二）平行语料库。有北京外国语大学建设的汉英平行语料库PCCE;南京大学建设的南大———国关平行语料库;外语 教学与研究出版社建设的英汉文学作品语料库,冯友兰《中国哲学史》汉英对照语料库,李约瑟(Joself Needham)《中国科学技术史》英汉对照语料库;北京大学计算语言学研究所建设的双语语料库,5万多对；香港城市理工大学建设的对比语料库LIVAC；台湾建设的平衡语料库Sinica Corpus和树图语料库Sinica Treebank；国家语言文字工作委员会应用研究所建设的计算机专业的双语语料库，柏拉图(Plato)哲学名著《理想国》的双语语料库；中国科学院软件研究所建设的英汉双语语料库,15万对;中国科学院自动化研究所建设的英汉双语语料库，包含LDC香港新闻硬汉双语对齐语料36 294段以及香港法律英汉双语对齐
语料库简单dye 第二讲
2008/7/31 语料库简单DIY 第二讲语料库软件初探-- 语料库软件初探--MonoConcPro 2.2 本软件是Athelstan开发小组https://www.sodocs.net/doc/d012324440.html,/ ，于1996年开发的语料库比较检索工具。目前，我的服务器上提供学术性下载，下载地址： http://vu.flare.hiroshima-u.ac.jp/whistle/corpus/MoconcPro2. 2.rar （本软件为学术交流使用，所有权归本软件开发小组所有，一切商务性盈利目的的违法使用，所带来的连带责任关系与本人及本论坛无关。请慎重下载，小心使用！！！） 功能介绍： 软件主界 面 基本功能: MonoConc Pro 2.2 的软件界面比较简单。适合语料库初学者和初级研究人员使用。 本软件据作者的研究，其内部主核使用UTF-8编码，基本支持欧洲几种主要语言。当然，其主要的应用领域还是针对英语。本软件主要处理的文本素材是以TXT结尾的记事本文件，当然，本软件还可以导入RTF文档和其他格式的操作系统默认文档格式。不过，从DIY的角度来说，我们自己收集到的语料，为了免除格式，字体，行距等等文本要求，最好全部使用TXT文档，方便，省
事！用了都说好！（谁用谁知道） 我们按照自己的研究目的，研究方向，收集我们所需要的语料素材，具体的收集方法因人而异。可以从报纸杂志的电子文文档上直接下载，也可以从网站上直接下载整理好的TXT版本的小说，资料素材等，还可以直接从各大语料库中检索需要的语用素材，然后拷贝粘贴到TXT文本中。由于MonoConc Pro 强大的跨文档处理系统，一次可以同时导入多个TXT文档进行比较处理，所以我们可以把文章或者资料按照自己喜好的分类标准进行分类，然后存成不同的TXT文件名。检索的时候，只需要同时导入这些文件就可以了。（异常强大~）下载好软件，解压缩，然后打开MP22.EXE文件，你就可以看到上图那个简单的主界面了。 之后，选择File→Lord Corpus File(s)，找到你需要导入处理的TXT文档，一个或者多个都可以，然后选择[打开]。指定的TXT文件就被全部导入进MonoConc Pro中了。 如果导入了过多的TXT文档，比如您导入了莎士比亚全集+马克思选+恩格斯选+列宁选+毛泽东选+邓小平选.....（不能否认，真的有这样的朋友存在）。那么，为了方便您查询检索结果所出现的文章，你可以选择File→View Corpus File/URL，这样就能看到查询结果所在的文章，还可以删除不需要的文章，或者添加新的文章，非常简单。 *这里的URL，指的是在HTTP或者FTP上，可以直接打开的文字页面的链接。一般朋友们DIY的语料库都是存在本地硬盘上的，所以基本上可以无视这个选项。不过，将来我们的个人语料库要实现点对点，点对多的平台连接。连接后，我们就可以相互查询对方个人语料库中的资料，此时在导入对方语料库中的文档的时候，就要用这个了。（这个目前还很遥远，大家还是踏踏实实做自己的DIY语料库吧！） 当我们要删除所有的文章的时候，这个时候仅仅关闭文章的窗口，是不能实
语料库与语料库建设
语料库与语料库建设 语料库和语料库建设 一、什么叫语料库 1、定义 语料库，通俗意义上指的是语言材料库。严格意义上的语料库(corpus)是 指按照一定的 语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。 口前，语言学家对于语料库的定义不尽相同，如辛克莱(Sinclair)认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集，旨在用作语言的样本”。阿特金斯等(Atkins & Clear)认为语料库是“按照明确的设计标准，为某一具体目的而集成的大型文本库”。赫努(Renouf)认为语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言学研究的文本库”。我们看到，以上关于语料库的儿种定义相同之处在于都谈到语料库是语言材料的汇集;不同之处在于前两个定义指出语料库的设讣是有明确的设计标准的，赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。语料库不同于电子文档，语料库的建设有特定的研究LI 的和具体用途，因此在语料抽样范围和文类覆盖方面都力求取得平衡，在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档U标在于搜集任何可获得的语言材料或所限定的数种文类语料，其语言材料之间的关系较为松散。 语料库具有以下特征：1、语料库的设讣与建设有系统的语言学理论指导，语料库的开发具有明确而乂具体的U的；如，布朗语料库用于对20世纪60年代的美国英语的研究，LOB是与布朗语料库对齐的同时期的英国英语语料库，可用以对英国英语进行
研究，也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。 2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料，不是随意的语言材料的堆积，更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性，山此保证基于语料库的语言研究的科学性、客观性。 3、语料文本是连续的文本或话语片断，而不是孤立的句子或词汇，可以借以获得语法关系、用法、词语搭配以及语篇信息。 4、语料库以当代先进的计算机技术为技术手段，语料库语料通过电子文本形式储存并且是通过讣算机处理的，具有资源优势和处理速度优势。5＞基于语料库的研究以量化研究为基石，以概率统汁为手段，以数据驱动为基本理念。6、语料库既是一种研究方法，乂代表着一种新的研究思维。 二、语料库产生的背景及发展历史 对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪 50年代中期， 在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛圉无疑促进了对语料的重视。1939年夸克(R. Quirk)等人着手进行的“英语用法调查” (Survey of English Usage)通过系统的调查建立了笫一个现代英语语料库，在此基础上完成的《现代英语语法》(A Grammar of Contemporary English )和《英语语法大全》(A Comprehensive Grammar of the English Language)对现代英语进行了系统全面的描写，在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。 20世纪六十年代后，语言学研究主流从经验主义转向理性主义，乔姆斯基的语言能力说被广泛接受，转换生成语法学派批评语料库研究方法，认为，1、基于语料库的方法有误。乔姆斯基等认为语言学应当以人脑的语言机制即语言能力为研究对象，语料库收集的只是人们的语言运用，语言运用会因超语言因素的影响而发生变化，它并
语料库建设及使用专题研修班
语料库建设及使用专题研修班 时间：2014年11月8-9日 地点：上海海事大学2C305（计算机实验室） 主讲人：北京外国语大学中国外语教育中心梁茂成李文中许家金 一、基本概念 1.为什么欧洲对语料库语言学会有如此大的兴趣呢？在美国占统治地位的 Chomsky语言学的研究焦点是句法，它感兴趣的是哪些句子是可能的（What is possible?），追求的是语言理论的“解释力”，例如Colorless green ideas sleep furiously、The rat the cat the dog chased ate died都是可能的，但语料库语言学对此却没有兴趣。因为实际上没有人会这样说。语料库语言学感兴趣的是哪些语言现象在实际使用上是很有可能的（What is probable?），这和统计学中的概率有关，不是可否的问题，而是多少的问题，也就是语言的使用问题。 2.一个小型文本集并不是真正意义上的语料库。真正意义上的语料库是一个按照 一定的采样标准采集而来的、能够代表一种语言或者某语言的一种变体或文类的电子文本集。可以说，一个语料库由若干个电子文本构成，而这些电子文本作为一个整体可以代表某语言或者某语言的某种变体或文类。语料库语言学以大量精心采集而来的真实文本（authentic texts）为研究素材，主要通过概率统计的方法得出结论，因此语料库语言学从本质上讲是实证性的（empirical）。 3.文本：文本可以保存生（raw）语料，即未经任何标注的语料，称为生文本（raw text）。文本中也可以保存经过人工或自动标注的语料，这种文本称为标注文本（annotated text）。文本中的标注信息可以标示语料的来源、文本的内部结构、文本中的语言单位等多种语言信息和非语言信息。 4.经人工或自动处理后，原来的生文本获得了“增值”（Leech 1991），文本中所包
桂诗春等-2010-语料库语言学与中国外语教学
2010年11月November 2010 第33卷第4期Vol．33No．4 现代外语（季刊） Modern Foreign Languages （Quarterly ）语料库语言学与中国外语教学 桂诗春 冯志伟杨惠中何安平卫乃兴李文中梁茂成 ［编者按］ 为推动我国应用语言学研究的新发展，教育部人文社科重点研究基地———广东 外语外贸大学外国语言学及应用语言学研究中心于2010年9月24-25日成功举办了“首届广外应用语言学论坛”，庆贺我国著名语言学家、应用语言学学科的开拓者桂诗春教授八十华诞。期间，举行了题为“语料库语言学与外语教学”的高层论坛，就语料库语言学的现状、发展前景及语料库的建设、共享、应用等展开了互动讨论。以下是根据专家发言，整理后的主要内容。 ［中图分类号］H319 ［文献标识码］A ［文章编号］1003-6105（2010）04-0419-08 语料库语言学的发展前景与资源共享 广东外语外贸大学 桂诗春 1．语料库语言学的发展前景 语料库语言学在外国和国内都发展很快，有的人选择了它作为发展方向，因为它的入门比较容易，上手较快；有的人把语料库语言学作为收集数据的重要手段。但是总的来说，我们的语料库研究还处在比较初级阶段，需要提高。究其原因是很多人把它看成是一种工具或手段，可以运用现有的一些现成的程序和公开的语料库，如Brown ，LOB ，Frown． Flob ， BNC ，CLEC ，只要选题得当，就能获得很多量化的数据，从而写出洋洋洒洒的文章来。在计算机和扫描仪的支持下，自行收集一些语言素材，建立一个特定的语料库，也不是什么难事。 我觉得，语料库语言学既是一种工具，但更是一门学科；它是对语言行为进行概率性归纳和概括的一门学科，它本身是跨学科性的，要做语料库语言学研究必须许多方面要有比较雄厚的基础。首先是数学和统计学。Herdan （1960）的一本早期著作，叫做《词次／词型数学》（Type ／token Mathematics ），其副标题就是《数理语言学教科书》（A Textbook of Mathematical Linguistics ），当时还是前计算机 时代，但Herdan 觉得有两件语言事实值得我们注意：一是大量语言资料（language in mass ），二是语言排列（language in line ），它们是任何语言运作都不能离开的两个方面。某些语言学研究分支如果考虑到这两个方面，将会从中获益。当时还没有真正的机读语料库， Brown 的语料库在1967年才面世，美国心理 学家John Carroll 根据该语料库以及他后来参与制作500万词的AHI 语料库，所提出的词汇频数对数正态模型（lognormal model ）均源于Herdan 所奠定的基础。一直到最近美国Barber 利用计算机对英语语体的各种研究，更是利用了因子分析的统计方法。其次是计算机科学。语料库的发展离不开现代科学技术，其主要表现是个人电脑、扫描仪和大容量硬盘的普及，当初Brown 语料库要动用到大型电脑，而到如今，只需一万元左右就能在家里拥有这些设备，制作出甚至比Brown 还要大的语料库。但是我们往往只注意到硬件部分，而不认识到软件的建设。从事语料库语言学研究的人而不掌握一到两种编成语言，也不可能拓展他们的研究领域，因为他不能根据个人的研究需
语料库常用术语
语料库常用术语 Type 类符 Tokens 形符 例如“I see a cat and a dog”类符6个，形符7个 Type/token ratio =TTR TTR 是衡量文本中词汇密度的常用方法，可以辅助说明文本的词汇难度。但是，文本中有大量功能词出现，文本每增加一个词，形符就会增加一个，但类符却未必随之增加。这样文本越长，功能词重复次数越多，TTR会越低。因此用TTR衡量词汇密度不合理，于是，出现了标准化类符/形符比，即STTR。例如，计算每个文本1000词的TTR，均值处理，得出STTR。Frequency（频率） 例如每百万词、十万词中，某单词出现次数。常常将某个单词在两个语料库中出现的频率参照两个语料库的容量，用卡方检验或对数似然率进行对比，来确定两个库中该单词的使用是否有差异。 Wordlist词表 根据单词或词组在语篇中出现的频率大小而排列形成的列表。 Ranks Lemma词目，词元 比如go是lemma，对应各种屈折变化形式（inflections），go,goes,went,going,gone共5种屈折变化形式。在分析语言时，需要将它们全部归到go名下，这个过程叫词形还原。Keywords关键词、主题词positive keywords 正关键词negative keywords 负关键词Concordance 索引（KWIC 语境中的关键词key words in context） 运用索引软件在语料库中查询某词或短语的使用实例，然后将所有符合条件的语言使用实例及其语境以清单的形式列出。通过前后语境，可以分析“collocation词汇搭配”“colligation 类连接、语法搭配”“semantic preference语义倾向”“semantic prosody语义韵”Collocation词汇搭配 搭配强度MI,T-score ,Z-score Colligation类连接、语法搭配 semantic prosody语义韵 词汇的语义韵大体可分为积极语义韵、中性语义韵、消极语义韵。 POS tagging 词性赋码 Regular expression regex 正则表达式
商务英语语料库的建设及应用
商务英语语料库的建设及应用初探 【摘要】语料库语言学作为一门新兴的语言学分支，其影响已遍及语言学研究的各领域。将语料库的方法应用于商务英语词汇教学中，发挥其语料真实丰富、计算机程序强大的重新组织语言数据的能力，既能提高学生商务词汇学习的效率和积极性，也能提高商务英语教学质量。本文从商务英语语料库的建设及其应用价值入手，以期语料库语言学为商务英语教学带来更多成果。 【关键词】商务英语语料库地方课程 商务英语（business english）是指商务场景下所应用到的英语，作为特殊目的英语（english for specific purpose）具有很强的专业性。商务英语跟普通英语（english for general purpose）最大区别之一就是专业词汇的大量使用，因此，词汇教学在商务英语教学中的作用不容忽视。语料库（corpus）是语言素材的集合体，能快速准确地提供诸如构词、搭配、语境等多方面的语料及信息。在外语学习中，语料库能够缩小课堂语言与真实语言的差距、培养学习者的语感和学习能力及研究能力，所以用语料库的方法来学习商务英语词汇既可以刺激学生的学习积极性，也可以更加准确、更加有效地掌握商务英语中专业特点较强的词汇。 1 语料库及其发展 语料库可以概述为运用随机抽样的方法，收集自然出现的连续的语言，运用文本或话语片断，并按照一定的语言学原则建成的具有
一定容量的语料体系。 语料库的发展大致经历了三个阶段：第一代语料库以20世纪60年代的brown corpus以及lob corpus为代表，由于是语料库发展的最初时期，所以规模都比较小，这个时期的语料库只能用来考查常用语言现象的频率，无法展现语言的全貌。第二阶段以20世纪80年代的birmingham collection of english language text以及longman/lancaster english为代表，这一时期的语料库建设以电子语料库的兴起为主要特征，语料库的容量不断扩大，种类不断增多。第三阶段从20世纪90年代至今，是语料库建设、研究与应用的迅猛发展阶段，功能更为强大的计算机系统软件的开发与应用致使第二代超大型计算机语料库开始出现，语料库进入了发展的黄金年代。 2 商务英语词汇及其特征 商务英语源于普通英语，并基于普通英语的基本语法、句法结构和词汇语，有普通英语的一些语言学特征。与此同时，作为应用在商务场合的英语，商务英语又是英语语言知识和商务专业知识的综合，因而又具有独有的专业特征。 2.1 在文体风格上，商务英语词汇属于庄重文体（frozen style）。庄重文体，即各体英语中正式程度最高的一种。这种“正式”一是为了在表达上追求准确、专业、标准化的效果，二是为了在思维上追求清晰和条理。许多商务词汇都表现出这一特性。
语料库
关于语料库的三点基本认识：语料库中存放的是在语言的实际使用中真实出现过的语言材料;语料库是以电子计算机为载体承载语言知识的基础资源;真实语料需要经过加工(分析和处理),才能成为有用的资源; 在语言学中，语料库（Corpus）指大量文本的集合，库中的文本（称为语料）通常经过整理，具有既定的格式与标记，特指计算机存储的数字化语料库。 语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。应用于词典编纂，语言教学，传统语言研究，自然语言处理中基于统计或实例的研究等方面。 分类 语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现在语料采集的原则和方式上。有人曾经把语料库分成四种类型：（1）异质的（Heterogeneous）：没有特定的语料收集原则，广泛收集并原样存储各种语料；（2）同质的（Homogeneous）：只收集同一类内容的语料；（3）系统的（Systematic）：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；（4）专用的（Specialized）：只收集用于某一特定用途的语料。 除此之外，按照语料的语种，语料库也可以分成单语的（Monolingual）、双语的（Bilingual）和多语的（Multilingual）。按照语料的采集单位，语料库又可以分为语篇的、语句的、短语的。双语和多语语料库按照语料的组织形式，还可以分为平行（对齐）语料库和比较语料库，前者的语料构成译文关系，多用于机器翻译、双语词典编撰等应用领域，后者将表述同样内容的不同语言文本收集到一起，多用于语言对比研究。目前已经累积了大量各种类型的语料库，如：葡萄牙语种树库、面向文本分类研究的中英文新闻分类语料库、路透社文本分类训练语料库、中文文本分类语料库、大开放字幕库OpenSubtitles的多语言平行语料数据(OpenSubtitles Corpus)、《圣经》双语语料库("Bible" bilingual corpus)、Short messages service(SMS ) corpus(短消息服务（SMS）语料)等。 特征 语料库有三点特征 1.语料库中存放的是在语言的实际使用中真实出现过的语言材料，因此例句库通常不应算作语料库； 2.语料库是承载语言知识的基础资源，但并不等于语言知识；
语言文字应用研究“十五”科研规划及项目指南
语言文字应用研究“十五”科研规划及项目指南 一、语言文字应用研究的回顾与展望 （一）“九五”期间语言文字应用研究回顾 “九五”期间，我国语言文字应用研究取得多方面的进展：（1）语言文字法制建设研究和立法工作实现了历史性的突破；（2）语言文字规范、标准研制和基础工程建设进一步加强，取得了新的成果；（3）推广普通话、汉字规范化标准化的理论与政策研究逐步深入；（4）中小学语文教学、双语教学、扫盲等引起社会广泛关注；（5）随着对外汉语教学的蓬勃发展，“对外汉语教学”逐步发展成为应用语言学的一个分支学科；（6）语言文字信息处理，由于计算机学界和语言学界的共同努力，取得了可喜的成绩，基本解决了“字处理”（汉字的计算机输入和显示等）的问题，“词处理”（中文自动分词、词性标注等）以及语音识别、语音合成等方面的研究获得了重大进展；（7）领域语言研究、专名术语研究相继展开，发表、出版了一批研究论著；（8）语言习得研究、语言认知研究和病理语言研究等也开始起步；（9）在辞书编纂方面，出版了一批质量较高的辞书，对提高全民族语言文字生活的质量发挥了重要作用；（10）语言文字国情调查即将完成。 “九五”期间，我国语言文字应用研究虽然取得了较大进展，但与社会主义现代化建设、社会语言生活发展的要求和广大人民群众的愿望相比，还存在一些不足和问题，例如：（1）专业人才短缺，经费投入不足；（2）定性研究较多，定量研究较少；（3）采用人工、传统
的研究手段较多，借助现代化手段较少；（4）面向人的研究较多，面向计算机和网络的研究较少；（5）语言规划研究、语言文字规范标准建设等，还存在着明显不足。语言文字应用研究既面临着前所未有的发展机遇，也面临着严峻的挑战。 （二）“十五”期间语言文字应用研究面临的形势与任务 随着改革开放的不断深入，社会主义市场经济体制逐步完善，国际国内的交流日益频繁，社会语言生活空前活跃。语言文字作为人们交际的基本工具，社会对其规范化、标准化的要求越来越高，语言文字工作的基础性地位和作用更加突出，工作任务和工作内容也具有了更加丰富的时代内涵。语言文字工作者和研究人员对此要有充分认识，对新的语言现象要进行跟踪记录和研究，并及时加以引导，使语言生活既规范有序，又充满活力。 《中华人民共和国国家通用语言文字法》已于2000年10月31日经第九届全国人大常委会第十八次会议审议通过，并于2001年1月1日起实行。它的诞生确立了普通话和规范汉字作为国家通用语言文字的法律地位，确定了普通话和规范汉字使用范围，是我国社会主义现代化建设的一件大事，标志着我国语言文字规范化、标准化工作开始走上法制化的轨道。语言文字应用研究要全面贯彻落实《中华人民共和国国家通用语言文字法》，积极、主动地为语言文字规范化、标准化建设服务。 今后五年，是贯彻《中华人民共和国国家通用语言文字法》、加强语言文字基础建设的关键时期，也是为国家信息化发展、现代化建