中文平行语料库
中文平行语料库
机器翻译需要的平行语料库一库难求，笔者列举了一些免费的中文数据集，可用于中文和其他语言之间的机器翻译。
1.汉英10000平行语料库https://www.sodocs.net/doc/b53589194.html,/data/14779
10000句对规模的英汉双语句对齐语料库，已经做了分词和句子对齐。
2.汉英22万句对法律类句子对齐语料https://www.sodocs.net/doc/b53589194.html,/data/14261
22万句对规模的英汉法律类双语句对齐语料。缺点是没有做分词和语言对的对齐，还得做预处理
3.汉英双语句对齐语料库（1500句对）https://www.sodocs.net/doc/b53589194.html,/data/13290
1500句对规模的英汉双语句对齐语料库。缺点是没有做分词和语言对的对齐，还得做预处理
4.最大开放字幕库OpenSubtitles的多语言平行语料数据
https://www.sodocs.net/doc/b53589194.html,/data/14469
https://www.sodocs.net/doc/b53589194.html,是全球最大的开放字幕库，提供了中文、英文、日文、德文、法文等30多种语言的上亿条电影和电视剧字幕。本数据集是根据该网站数据制作的多语言字幕平行语料库，包含30种语言中任意两种语言之间的字幕互译语料。是用于机器翻译研究的绝佳素材。数据量也足够大，压缩后还有2.38G
5.PHP手册的多语言平行语料库 https://www.sodocs.net/doc/b53589194.html,/data/15045
将PHP手册内容制作了一个包含21国语言的平行语料库。语料库已经被分词，每个语言对都被对齐。数据量压缩后有278M
6.KDE手册的多语言平行语料库https://www.sodocs.net/doc/b53589194.html,/data/15025
将KDE手册内容制作成一个包含24国语言的平行语料库。语料库已经被分词，每个语言对都被对齐。数据量压缩后有88M
语料库术语中英对照
Aboutness 所言之事 Absolute frequency 绝对频数 Alignment (of parallel texts) （平行或对应）语料的对齐 Alphanumeric 字母数字类的 Annotate 标注（动词） Annotation 标注（名词） Annotation scheme 标注方案 ANSI/American National Standards Institute 美国国家标准学会 ASCII/American Standard Code for Information Exchange 美国信息交换标准码Associate (of keywords) （主题词的）联想词 AWL/Academic word list 学术词表 Balanced corpus 平衡语料库 Base list 底表、基础词表 Bigram 二元组、二元序列、二元结构 Bi-hapax 两次词 Bilingual corpus 双语语料库 CA/Contrastive Analysis 对比分析 Case-sensitive 大小写敏感、区分大小写 Chi-square (χ2) test 卡方检验 Chunk 词块 CIA/Contrastive Interlanguage Analysis 中介语对比分析 CLAWS/Constituent Likelihood Automatic Word-tagging System CLAWS词性赋码系统Clean text policy 干净文本原则 Cluster 词簇、词丛 Colligation 类联接、类连接、类联结 Collocate n./v. 搭配词；搭配 Collocability 搭配强度、搭配力 Collocation 搭配、词语搭配 Collocational strength 搭配强度 Collocational framework/frame 搭配框架 Comparable corpora 类比语料库、可比语料库 ConcGram 同现词列、框合结构 Concordance (line) 索引（行） Concordance plot （索引）词图 Concordancer 索引工具 Concordancing 索引生成、索引分析 Context 语境、上下文 Context word 语境词 Contingency table 连列表、联列表、列连表、列联表 Co-occurrence/Co-occurring 共现 Corpora 语料库（复数） Corpus Linguistics 语料库语言学 Corpus 语料库 Corpus-based 基于语料库的
中国英汉平行语料库的设计与研制
中国英汉平行语料库的设计与研制 王克非北京外国语大学中国外语教育研究中心提要：本文论述超大型双语平行语料库的设计与研制问题。在综合述介国内外双语语料库建设情况之后，作者着重论述了中国英汉平行语料库这一超大型双语平行语料库的设计特点（主要有分类架构、历时处理、语料平衡以及通用的和各种专门语料的采集）和研制方法（主要讲述语料的加工标注、检索平台以及各个专门语料库、历时语料库和口译语料库的构建）。其设计与研制对于其他大型语料库的建设具有借鉴意义。 关键词：中国英汉平行语料库；设计；研制 Abstract:The paper deals with the design and construction of asuper-large-scale bilingual parallel corpus.After an overview of parallelcorpora constructions and applications both in China and abroad, the designfeatures(including classification and composition,diachronical arrangement,balance of textual materials,and collection of texts for general or specificpurposes)and the construction methods (including tagging,concordanceplatform,and the construction of specialized corpora,diachronical corpora andinterpreting corpora)of the super-large-scale China English-Chinese ParallelCorpus(CECPC)are focused on.The design and construction discussed areapplicable to the compiling of other large-scale corpora. Keywords:China English-Chinese Parallel Corpus (CECPC);design;construction 1、中国英汉平行语料库的研制意义 在全球化、信息化的当今世界，翻译已成为了解全球信息、扩大对外宣传、获取国际资源的重要手段。同计算机技术结合而兴起的双语平行语料库建设，则为语言研究、翻译研究、外语教学、词典编纂和跨语言信息检索等提供了最好的平台，同时还可用来考察和验证基于单语语料库或者基于直觉提出的假设，具有广阔的应用前景。
双语平行语料库对齐技术述评
双语平行语料库对齐技术述评 对齐的双语语料库在机器翻译、词义消歧和双语词典编撰等领域都非常有用。语料对齐的单位由大到小，有篇章、段落、句子、短语、词等不同的层次。粒度越小，提供的语言信息就越多，应用的价值也就越大。然而平行语料库的自动对齐并非是一件容易的事情。由于语料大都来自人工翻译，句子之间并不都是一对一的翻译模式，还有一对多、多对多的翻译模式。这种复杂性加大了对齐的难度，特别是对更细粒度级别的对齐。由于语言之间存在着差异，找到固定的对应翻译很难，再加上文本预处理工具难以保证处理效果，以及一些电子文本的噪声纷繁复杂，这都增加了对齐的难度。而对于英汉两种差别很大的语言来说，目前的语料库对齐算法并不一定完全适用于汉英语料库的对齐。本文首先回顾了当前国外平行语料库的对齐技术，然后分析了国内在对齐中所使用的技术，旨在为本研究所今后构建小型汉英平行语料库提供一个技术支持。 1 目前平行语料库对齐技术的现状 1.1 句子级对齐技术 在各级对齐研究中，其中最为重要且较为成熟的自动对齐技术是句子一级的对齐。句子级对齐的方法主要有三种：①基于长度的方法(length-based)(Brown et al,1991; Gale & Church, 1991a)；②基于词汇的方法(lexical-based)(Kay & Roscheisen, 1993)；③混合法(combination)(Tan & Nagao, 1995; Wu,1994)。 基于长度的方法最早是由Brown和Gale提出，虽然他们的算法都是由源文本中句子长度和译文本中的句子长度有很大的正相关这一观察得出，但其侧重点却不同。Brown的算法以词为单位计算句子的长度，而Gale和Church则是以字符为单位计算句子的长度。他们分别用各自的算法对加拿大议会会议所录英法双语语料库进行了对齐实验，准确率达96~97%。然而该方法在处理复杂句子的对齐(如2∶1或2∶2的句子对齐,或非直译和省略的句子)以及不同语系的句子对齐时，准确率却并不高，而且此算法一旦出错，便不可能自动纠正。 基于词汇的方法是由Kay和Rosheisen提出的。他们认为最佳的句子对是那些使系统词汇对齐数量最大化的句子。基于词汇的算法虽然可以提高对齐的准确性，但却费时；而且目前还没有充分证明这一方法适合于大型语料库。Chen(1993)对Kay 和 Rosheisen的算法进行了改进，这一算法运用词汇信息构建了一对一词汇统计翻译模型,用这样的翻译模型找到语料库生成的最大可能性。他用此算法对旧的Hansard语料库进行双语对齐。与Brown和Gale的对齐算法相比，这一算法不仅正确率高，而且在处理大量省略的对齐中能轻易确定省略的位置，且鲁棒性(robust)较好。基于词汇方法的另一种做法是利用同源词(cognate)(Church,1993)。此方法在处理英法和英德语言中的诸如名字、日期、数字、术语等可辨认单位出现比率高的情况下效果更好。 如前所述，基于词汇的方法相对可靠精确，但计算起来相当复杂且速度较慢；而基于长度的算法模型虽然简单，独立于语言知识和外部资源，但鲁棒性不好，极易造成错误蔓延。由于每种方法都有自己的优缺点，人们试图将各种方法混合起来找到问题的解决途径(Tan & Nagao, 1995; Wu,1994; ;Collier,1998; Vronis，1999；Melamed，2000)。试验结果表明，混合的方法优于单纯使用其中的任何一种方法。
旅游汉英双语平行语料库的建设与应用
第33卷第10期湖南科技学院学报 V ol.33 No.10 2012年10月 Journal of Hunan University of Science and Engineering Oct.2012 旅游汉英双语平行语料库的建设与应用 肖庚生 陈欣 （南华大学 外国语学院，湖南 衡阳 421001） 摘 要：文章在综述现有旅游语料库的基础上，介绍了自建的衡阳旅游汉英平行语料库的建库步骤，即语料的取样、英译、标注与对齐，并阐述了该库在旅游文本语言特征、旅游翻译、旅游英语及旅游翻译教学研究中的应用价值。该库的建设与应用既能充分满足研究需要，亦能促进导游、翻译等英语人才的培养，进而推动当地旅游产业的发展及跨文化传播。 关键词：旅游语料库；双语平行语料库；旅游英语 中图分类号：H030文献标识码：A 文章编号：1673-2219（2012）10-0163-03 近30年来，语料库及语料库语言学从无到有、蓬勃发展。基于语料库的语言学及应用语言学研究应运而生，语料库这一研究工具与方法业已广泛应用于词汇、句法、语义、语言对比、词典编撰、二语习得、翻译等领域的研究之中， 并取得了累累硕果。[1]为了研究或应用的需要，国内外先后创建了跨学科、多语言、内容迥异、库容不一的众多语料库。近年来，双语平行语料库由于其独特的优势备受关注，其建设与应用正如火如荼地进行。不过，迄今为止，国内外高校与研究机构所研制的平行语料库主要是通用型的双语平行语料库以及文学翻译类型的平行语料库，以某一专门用途为导向的平行语料库仍较为鲜见。此外，基于平行语料库的相关研究主要侧重于对个别语言或翻译现象的探讨。鉴于这一研究现状，我们拟以课题研究为契机，建设衡阳旅游汉英双语平行语料库，在此基础上，力图摸索其在汉语与英语的旅游文本语言特征、旅游汉英翻译、旅游英语与旅游翻译教学研究中的应用。 一双语语料库与旅游语料库综述 双语语料库最早创建于上世纪90年代中后期，迄今为 收稿日期：2012－08－26 基金项目：衡阳市社科基金项目“顺应论视阈下衡阳旅游汉英双语平行语料库的建设与应用研究”（项目编号2011C011）；全国教育科学规划课题“基于语料库的大学英语教学平台建设与研究”（项目编号GPA105029）阶段性成果。 作者简介：肖庚生（1980－），男，湖南衡阳人，讲师，应用语言学博士生，主要研究方向为语料库语言学。陈欣（1983－），女，湖南郴州人，讲师，语言学硕士，主要研究方向为翻译理论与实践。止国内外业已建立多种类型的双语平行语料库。早在1995年，曼彻斯特大学研制了世界上首个翻译语料库，主要收集从各国语言翻译成为英文的文本，如今库容已达千万词。但是它并非严格意义上的双语平行语料库，因为它并没有实现双语对齐，只能称其为对比语料库。目前国际上比较知名的平行语料库有挪威的“英语-挪威语平行语料库”、英国的“德语-英语文学文本平行语料库”等等。而由北京外国语大学中国外语教育研究中心于2004年启动创建的“新型双语对应语料库”（含汉英、汉日两个双语平行语料库），库容为3000万词次。其中，汉英双语平行语料库的文本类型主要涵盖人文类、社科类和科技类。该语料库的建设得到了国家社科基金重大规划课题的资助，目前正为1亿词次的超大库容做进一步的扩容努力。此外，国内比较知名的双语平行语料库还包括：李德俊以汉英词典研编为主要目的，主持建设2000万词次的英汉平行语料库；卫乃兴以研究探讨英汉对等表达为目的，主持建设900万词次的英汉平行语料库；哈尔滨工业大学所创建的库容为40万对的英汉双语平行语料库；绍兴文理学院创建的中国古典文学英译双语平行语料库等等。上述双语平行语料库多数以文学文本为主，抑或以收集百科文本（含文学与非文学作品）为特色，而针对某一特定文类或某一地域特色而专门建构的专门用途双语平行语料库仍较为鲜见。 近年来，随着交通与通讯技术的日新月异，世界各地人们之间的科技、文化、商务交流、合作与往来日益频繁。更为重要的是，各国人们纷纷走出国门，畅游世界，体验世界各地的异域风情，许多国家的旅游产业获得了飞速发展。为更好地发展旅游产业、传播旅游资讯、吸引外国游客，同时亦为了满足语言学及应用语言学研究需要，旅游专门语料库应运而生。 163
当汉语语料库文本分词规范草案
973当代汉语文本语料库分词、词性标注加工规范 （草案） 山西大学从1988年开始进行汉语语料库的深加工研究，首先是对原始语料进行切分和词性标注，1992年制定了《信息处理用现代汉语文本分词规范》。经过多年研究和修改，2000年又制定出《现代汉语语料库文本分词规范》和《现代汉语语料库文本词性体系》。这次承担973任务后制定出本规范。本规范主要吸收了语言学家的研究成果，并兼顾各家的词性分类体系，是一套从信息处理的实际要求出发的当代汉语文本加工规范。本加工规范适用于汉语信息处理领域，具有开放性和灵活性，以便适用于不同的中文信息处理系统。 《973当代汉语文本语料库分词、词性标注加工规范》是根据以下资料提出的。 1．《信息处理用现代汉语分词规范》，中国国家标准GB13715，1992年 2．《信息处理用现代汉语词类标记规范》，中华人民共和国教育部、国家语言文字工作委员会2003年发布 3．《现代汉语语料库文本分词规范》（Ver 3．0），1998年 北京语言文化大学语言信息处理研究所清华大学计算机科学与技术系4．《现代汉语语料库加工规范——词语切分与词性标注》，1999年 北京大学计算语言学研究所 5．《信息处理用现代汉语词类标记规范》，2002年， 教育部语言文字应用研究所计算语言学研究室 6．《现代汉语语料库文本分词规范说明》，2000年 山西大学计算机科学系山西大学计算机应用研究所 7．《資讯处理用中文分词标准》，1996年，台湾计算语言学学会 一、分词总则 1．词语的切分规范尽可能同中国国家标准GB13715《信息处理用现代汉语分词规范》（以下简称为“分词规范”）保持一致。本规范规定了对现代汉语真实文本（语料库）进行分词的原则及规则。追求分词后语料的一致性（consistency）是本规范的目标之一。 2．本规范中的“分词单位”主要是词，也包括了一部分结合紧密、使用稳定的词组以及在某些特殊情况下可能出现在切分序列中的孤立的语素或非语素字。本文中仍用“词”来称谓“分词单位”。 3．分词中充分考虑形式与意义的统一。形式上要看一个结构体的组成成分能否单用，结构体能否扩展，组成成分的结构关系，以及结构体的音节结构；意义上要看结构体的整体意义是否具有组合性。 4. 本规范规定的分词原则及规则，既要适应语言信息处理与语料库语言学研究的需要，又力求与传统的语言学研究成果保持一致；既要适合计算机自动处理，又要便于人工校对。 5．分词时遵循从大到小的原则逐层顺序切分。一时难以判定是否切分的结构体，暂不切分。 二、词性标注总则 信息处理用现代汉语词性标注主要原则有三个： (1)语法功能原则。语法功能是词类划分的主要依据。词的意义不作为划分词类的主要依据，
平行语料库制作流程
平行语料库制作流程 说明：在邹颂兵先生、孟令子博士的基础上，由李涛、李晓倩讨论完成，期间胡慧婷也参与讨论，给予了很好的建议。这个流程对于有些老师和同学，实在没有必要这么繁琐，有些步骤可以利用一些软件一次性解决，推荐两款软件试用，文本整理器；PowerGREP。之所以如此繁琐，是想让大家更加详细的了解整个建库流程以及为什么这么做。当然在建库过程中还会遇到更多的问题，大家可以尝试自己去解决。） 1．语料采集（目的不同，方法各异） 2．去噪（Emeditor） （1）消除回车和空行：\n\s*——空（\n表示新行；\s表示空格，*表示0个或多个；之所以加上\s*是为了避免回车键前面有空格。） （2）去空格英文\s+ 替换为空格（\s表示空格，+表示1个或更多。该表达式意思表明如果原来有1个空格，就替换为1个空格，如果多于1个空格，仍然替换为1个空格。之所以如此，是因为英文单词之间是有1个空格存在的。）中文\s*替换为空（\s表示空格，*表示0个或更多。该表达式意思表明如果原来有0个空格，就替换为0个空格，如果多于1个空格，仍然替换为0个空格。之所以如此，是因为汉字之间是有0个空格存在的。） 3．分词 英文Claws 中文ICTCLAS （可以选择二级标准，北大标准） 中文分词校对常见：人名标注为/nr，(如小说《首席》里，人名飘雪被标注为“飘/v雪/n”; 可以统一替换为“飘雪/nr”); 地名/ns； 4．标点符号处理 英语标点符号全部替换成单个标点。（因为Claws标注后的英文标点及其标注显示为“标点_标点”；以问号?为例，即“?_?”；更改后，变为“?”即可。特别注意省略号，因为Claws标注后的省略号及其标注显示为“._.._.._.”其中第一个“._.”和后面两个“._.._.”之间换行了，这样在添加
《双语平行语料库在翻译教学上的用途》评述
攻读博士、硕士学位研究生试卷（作业）封面（2016 至2017 学年度第一学期） 学号 姓名 题目《双语平行语料库在翻译教学上的用途》评述 课程名称语料库语言学 专业英语语言文学 入学年月2016年9月 培养方式 全日制□非全日制
题目:双语平行语料库在翻译教学上的用途。 作者:王克非，曾任北京外国语大学外国语言研究所副所长、中国外语教育研究中心常务副主任，现任《外语教学与研究》杂志主编，博士生导师，研究方向为语言学和翻译研究。 研究问题:本文以北京外国语大学建成的通用汉英平行语料库为例，探讨如何在翻译教学中运用双语平行语料库、如何处理翻译教学与双语平行语料库的关系、双语平行语料库对译者有何帮助、以及译者如何在翻译教学中运用双语对译检索（词语的对译检索、结构的对译检索和语句语篇的对译检索）时找到合适的对译，提高他们的英语语感，掌握正确的翻译方法。 研究方法: 本文根据北京外国语大学中国外语教育研究中心建成的通用汉英平行语料库（3000万字词）为例，探讨它在翻译教学上的用途。首先，本文作者采用了随机抽取的方法对克服（overcome）和找（find）进行了检索，找到了他们不同的翻译方法和用法；然后作者通过举例说明汉语中把字句结构的三种形式如何在英语中翻译；最后作者从台湾大学高建明所建的英汉平行语料库中，以“他心情很低落”为例,从语料库中找到相近的中英文短句、句子,找到了表示“心情低落”的各种不同词汇和方法。 结论：在翻译的教学和实践中，双语平行语料库和检索工具的运用不仅给译者提供了方便，而且使他们掌握了一种科学、多样的翻译方法。同时也能激发学生的兴趣，让学生在不同版本的对译中互相学习。这表明双语平行语料库是翻译教学中的一种重要的学习资源，应当引起
一带一路视角下中英语料库建设项目报告
一带一路视角下的中英语料库建设项目报告 随着“一带一路”战略的提出，中外文化交流日益频繁，这种现象对翻译行业提出了更高的要求。因此，采取有效措施培养优秀翻译人才、提高译员翻译质量刻不容缓。基于此，本项目决定建设一带一路视角下中英语料库以提高翻译质量。本文将着重报告本项目中英语料库建设的背景目的、过程及其作用。 一、一带一路视角下的中英语料库建设背景及目的 “一带一路”战略的提出为本项目的开展提供了时代背景。“一带一路”是“丝绸之路经济带”和“21世纪海上丝绸之路”的简称。从古至今，“一带一路”一直是连接东西方文化的重要纽带，尤其是在新的历史时期，“一带一路”战略促进了区域间的人际交往和文化交流。全国政协委员、中国翻译协会常务副会长黄友义在接受专访时曾表示，经济和文化的走出去导致了中译外工作量的增加，但目前中译外人才十分紧缺。而作为覆盖范围及应用领域日益广泛的语料库在提高翻译教学质量、培养优秀译员及促进计算机辅助翻译中发挥着日益重要的作用。目前国内外都已有大量已建成的语料库，如BNC英国国家语料库、美国当代英语语料库、中国学习者英语语料库及中国英语学习者口语语料库等，但针对于“一带一路”战略的语料库较为稀少。本项目的开展旨在抓住“一带一路”战略所带来的发展契机，建设“一带一路视角下的中英语料库”，为“一带一路”战略中相关政策的英译提供便利，从而加强中外交流。 青岛农业大学翻译中心的成立及其已承接的翻译活动为本项目的开展提供了专业背景。近年来，翻译中心承接了大量专利翻译、影视字幕翻译等翻译活动，在此过程中，翻译人员遇到了一些问题：如对专利特有名词和英美俗语不够熟悉等。本项目的旨在将翻译学理论、语言学理论及现代计算机技术相结合，通过对大量真实语言数据的研究，将众多科技名词、英语俗语和习语及与英美文化相关的词语收录进语料库当中，将中英双语语料库作为教学手段，方便译者查询、理解及使用相关名词，切实提高其翻译质量。另外，该项目的开展由具有多年翻译经验和教学经验的纪卫宁老师亲自指导，这为本项目的顺利开展提供了重要保障。 二、一带一路视角下中英语料库建设过程 (1)语料库建设前期准备
英汉双语平行语料库人工对齐方法说明
英汉双语平行语料库人工对齐方法说明 1．概述 半自动英汉双语平行语料库的对齐分为两个过程： 第一个过程是先将两种语言的文本分成句子，每个句子占一行。句子定义为：以句号、问号、感叹号、分号结尾的一串字符，或以句号+引号、问号+引号、感叹号+引号等结尾的一串字符。“行”的概念是一串以回车换行符结尾的字符。这个过程可以采用任何一种具有“查找”和“替换”功能的文字处理软件来完成，也可以编程由计算机自动完成。 第二个过程是在第一个过程产生的结果的基础上以手工方式将两种语言的文本在句子水平上对齐。这一过程要采用UltraEdit软件来辅助完成。 在句子水平上对齐两种语言的文本，除了要注意以上对“句子”和“行”的定义以外，还应遵循一个重要的原则，即：如果两种语言的文本在句子的切分上有差异，应尽量保持原文句子不动，调整译文以适应原文。 为了能从双语平行语料库中获取更多的信息，还需要在对齐过程中插入少量的标记，例如：分译标记、合译标记、混译标记和移动标记等。此外，为了便于以后的检索，对于过长的句子还要在适当的地方将长句截短成两个或更多的小句。 2．人工对齐的方法 2.1打开文件 先用UltraEdit软件将两个已经分为句子的文本文件打开，在该软件的工具栏的“窗口”下拉菜单中点“水平平铺”选项，使两个打开的文本同时显示在屏幕上。为了操作方便，一般把原文放在上半屏，把译文放在下半屏。（见图1） 2.2 上下移动文本 为了能够对齐两种语言的文本，在操作过程中需要不断地上下移动文本。移动文本可以用鼠标移动窗口右边的滑块来完成。也可以将光标放在某一行，然后用鼠标的中间滚轮来上下移动。 2.3 同步移动上下两个窗口中的文本 在“窗口”下拉菜单中选“同步”选项，就可以同步移动上下两个窗口中文本，极大地方便人工对齐的操作。
英汉语料库汇总
1.英语学习者语料库（书面语及口语）中国学习者语料库 CLEC（100万）广外、上海交大 2.大学英语学习者口语语料库 COLSEC (5万) 上海交大 3.香港科技大学学习者语料库 HKUST Learner Corpus 香港科技大学 4.中国英语专业语料库 CEME (148万) 南京大学 5.中国英语学习者口语语料库 SECCL (100万) 南京大学 6.国际外语学习者英语口语语料库中国部分 LINSEI-China (10万) 华南师大 7.硕士写作语料库 MWC (12万) 华中科技大学 9.平行语料库汉英平行语料库 PCCE 北外 10.南大－国关平行语料库南京大学 11.英汉文学作品语料库；外研社 12.冯友兰《中国哲学史》汉英对照语料库 13.李约瑟(Joself Needham)《中国科学技术史》英汉对照语料库 14.计算机专业的双语语料库；国家语言文字工作委员会语言文字应用研究所 15.柏拉图(Plato)哲学名著《理想国》的双语语料库 16.英汉双语语料库(15万对) 中科院软件所 17.英汉双语语料库：LDC香港新闻英汉双语对齐语料36294段以及香港法律英汉双语对齐语料31万句子对中国科学院自动化研究所 18.英汉双语语料库(100万)，网上英汉语段电子词典及网上电子英汉搭配词典(1000万) 东北大学 19.英汉双语语料库(40-50万句子对) 哈尔滨工业大学 20.双语语料库(5万多对) 北京大学计算语言学研究所 21.对比语料库 LIVAC(Linguistic variety in Chinese communities) 香港城市理工大学 22.平衡语料库(Sinica Corpus)；树图语料库(Sinica Treebank) 台湾 23.特殊英语语料库中国英语(China English)语料库河南师范大学 24.军事英语语料库(Corpus of Military Texts) 解放军外语学院 25.新视野大学英语教材语料库上海交通大学 26.汉语语料库汉语现代文学作品语料库(1979年，527万字) 武汉大学 27.现代汉语语料库(1983年,2000万字) 北京航空航天大学 28.中学语文教材语料库(1983年,106万8000字) 北京师范大学 29.现代汉语词频统计语料库(1983年,182万字) 北京语言学院 30.国家级大型汉语均衡语料库(2000万字) 国家语言文字工作委员会 31.《人民日报》语料库(2700万字) 北京大学计算机语言学研究所 32.大型中文语料库(5亿字,10分库) 北京语言文化大学 33.现代汉语语料库(1亿字) 清华大学 34.汉语新闻语料库；(1988年,250万字) 山西大学 35.标准语料库(2000年,70万字) 36.生语料库(3000万字)；《作家文摘》的标注语料库(100万字) 上海师范大学 37.现代自然口语语料库中国社会科学院语言所 38.旅游咨询口语对话语料库和旅馆预定口语对话语料库中国科学院自动化所 39.北京大学汉语语言学研究中心的三个语料库
双语对应语料库翻译教学平台的应用初探_王克非
语言技术与外语教学研究 *版权所有 文责自负* 双语对应语料库翻译教学平台的应用初探 王克非1 ,秦洪武2 ,王海霞 2 (1.北京外国语大学中国外语教育研究中心,北京 100089;2.曲阜师范大学外语学院,山东曲阜 273165) 摘 要:本文通过语料呈现实验探讨双语对应语料库翻译教学平台的应用效果。实验显示,学生在观察语料后能够归纳和总结出有意义的翻译技巧,并能据此评估或反思自己的翻译行为。实验表明,在翻译课堂教学中使用语料资源有助于自主学习和发现式翻译教学环境的创建,也有助于学习者形成 稳定的翻译技巧。 关键词:对应语料库;翻译教学;发现式学习;语料呈现中图分类号:H 319.3 文献标识码:A 文章编号:1001-5795(2007)12-0003-0006 近20年来,语料库的创建和应用取得了长足发展。对应语料库大都在上世纪九十年代开始创建,起步较晚,但已展现出广阔的应用前景。在欧美,这类语料库有十多个,涉及近20个语种,如H ansard(法-英对应语料库)和ENPC (英语-挪威语对应语料库)(V ron is 2000:14-15);在中国,有中科院计算所的大规模汉英对应语料库、北京大学的/B ABLE 汉英平行语料库0,以及北京外国语大学的/通用汉英对应语料库0(该库现有可检索语料2千万字/词以上,见王克非2004a),后者是本项研究使用的主要工具。对应语料库的创建有两个主要目的:一是用于语言与翻译研究,二是用于外语教学。用于前者的研究成果丰富,涉及语言对比、双语词典编纂和翻译研究(Lav i o sa 1997;Baker 1999;Serpellet 2000;H unston 2002)。用于后者尤其是用于翻译教学的研究也已取得不少成果,如Zanetti n 1998、Pearson (2003:15-24)和Bernardini (2004b :97-111),但大都研究平行语料为翻译训练提供的可能的资源和手段,还没有研究探讨大型对应语料库在课堂教学中的实际应用问题。 1 研究内容 有关运用语料库提高翻译效率和质量的研究还没有全面展开,而将对应语料库应用于翻译教学的研究则是刚刚开始(Bo w ker 2003;Ber nardi n i 2004b)。从理 论上看,语料库用于教学有利于自主学习环境的创建(Bernardini 2004a :22;秦洪武、王克非2007)。自主性学习主要表现在两个方面:研究性学习和发现式学习(learning as discovery)。前者假定学习者和教师研究兴趣相投、研究能力相当;后者则鼓励学习者自行调节兴趣点,并给他们提供机会来提高自己观察和处理问题的能力,使他们对两种语言的特征和差异有敏锐的觉识。本文认为,研究和发现虽不矛盾,但在以技能培养为核心的翻译教学中,不宜过分强调学生的研究能力,发现式学习这一提法更合适一些。 近年来,国内也有研究关注语料库在翻译教学中的应用问题。有些研究探讨了语料库在翻译教学中的用途(郭红2004;于连江2004;王克非2004b),但还没有研究系统地探讨对应语料在课堂教学中的应用方式和应用效果,也没有研究关注学生对于语料使用的态度。鉴于此,我们以/通用汉英对应语料库0为翻译教学平台,探讨在现有技术条件下翻译语料用于翻译教 作者简介:王克非:男,教授,博士生导师。研究方向:语言学、翻译学。 秦洪武:男,教授,博士。研究方向:语言学、翻译学。王海霞:女,讲师,硕士。研究方向:翻译学。 收稿日期:2007-03-18 基金项目:本文是国家社科基金课题/基于大型英汉对应语料库的翻译研究与翻译教学平台0的阶段性成果(编号05BYY 013),并获得曲阜师范大学科研启动基金资助(编号Bsqd2007022)。 # 3#第118期2007年12月 外语电化教学 C AFLE N o .118D ec . 2007
中文平行语料库
中文平行语料库 机器翻译需要的平行语料库一库难求，笔者列举了一些免费的中文数据集，可用于中文和其他语言之间的机器翻译。 1.汉英10000平行语料库https://www.sodocs.net/doc/b53589194.html,/data/14779 10000句对规模的英汉双语句对齐语料库，已经做了分词和句子对齐。 2.汉英22万句对法律类句子对齐语料https://www.sodocs.net/doc/b53589194.html,/data/14261 22万句对规模的英汉法律类双语句对齐语料。缺点是没有做分词和语言对的对齐，还得做预处理 3.汉英双语句对齐语料库（1500句对）https://www.sodocs.net/doc/b53589194.html,/data/13290 1500句对规模的英汉双语句对齐语料库。缺点是没有做分词和语言对的对齐，还得做预处理 4.最大开放字幕库OpenSubtitles的多语言平行语料数据 https://www.sodocs.net/doc/b53589194.html,/data/14469 https://www.sodocs.net/doc/b53589194.html,是全球最大的开放字幕库，提供了中文、英文、日文、德文、法文等30多种语言的上亿条电影和电视剧字幕。本数据集是根据该网站数据制作的多语言字幕平行语料库，包含30种语言中任意两种语言之间的字幕互译语料。是用于机器翻译研究的绝佳素材。数据量也足够大，压缩后还有2.38G 5.PHP手册的多语言平行语料库 https://www.sodocs.net/doc/b53589194.html,/data/15045 将PHP手册内容制作了一个包含21国语言的平行语料库。语料库已经被分词，每个语言对都被对齐。数据量压缩后有278M 6.KDE手册的多语言平行语料库https://www.sodocs.net/doc/b53589194.html,/data/15025 将KDE手册内容制作成一个包含24国语言的平行语料库。语料库已经被分词，每个语言对都被对齐。数据量压缩后有88M
中研院现代汉语标记语料库使用说明
「內容檢索」使用說明 「內容檢索」的檢索條件詞設定，在於輸入檢索條件詞，在語料庫中將所有在「內容檢索」設定的檢索條件符合者，並在「自訂語料庫」設定範圍內，包含檢索條件詞的文句挑出並顯示。檢索的方式分兩種：一、單項條件檢索方式：一次設定一項檢索條件；二、多項條件檢索方式：一次設定一項檢索條件，包括「and檢索條件」，以及利用「續設條件」設定「or檢索條件」。檢索的對象分四種：1. 關鍵詞；2. 重疊詞；3.詞類；4. 特徵。 A.單項條件檢索：一次設定一項檢索條件 1.關鍵詞：將滑鼠移到「關鍵詞」的框框內，鍵入欲搜尋的關鍵詞， 再將滑鼠移到「執行」按下。 ?關鍵詞可以由下列幾種符號組合而成： ?中文字 ?? ：表示一個任意字元 ?* ：表示零至無限多個任意字元 ?範例： ?鍵入「電話」，會搜盡包含「電話」的文句。 ?鍵入「電*」，會搜盡包含以「電」開頭的詞（單字 詞、雙字詞、多字詞都包括在內，如：電、電話、 電視機）的文句。 ?鍵入「電?」，會搜盡包含以「電」開頭的雙字詞的 文句。 ?鍵入「*電」，會搜盡包含以「電」結尾的詞（單字 詞、雙字詞、多字詞都包括在內）的文句。 ?鍵入「??電」，會搜盡包含以「電」結尾的三字詞 的文句。 ?鍵入「*電*」，會搜盡出現過含有「電」的詞（單 字詞、雙字詞、多字詞都包括在內）的文句。 ?鍵入「?電?」，會搜盡包含將「電」置於中央的三 字詞的文句。 ?鍵入「?電*」，會搜盡包含將「電」置於第二字的 詞（雙字詞、多字詞都包括在內）的文句。 ?鍵入「????」，會搜盡含有任何四字詞的文句。 2.重疊詞：將滑鼠移到「重疊詞」的框框內，鍵入欲搜尋的重疊詞 種類，再將滑鼠移到「執行」按下。或者將滑鼠移到「重疊詞」 框框旁的箭頭，按一下，即出現四種重疊詞種類，在所欲搜尋的 重疊詞種類按一下，再將滑鼠移到「執行」按下。 ?重疊詞種類共分四種，如介面所示： ?重疊詞AAB－如：試試看、走走路 ?重疊詞ABB－如：試看看、亮閃閃 ?重疊詞AABB－如：高高興興、平平安安 ?重疊詞ABAB－如：高興高興、研究研究
平行语料库的相似语句去重算法
广西科学院学报 2009,25(4):248～250,256 Jou rnal of Guangx iA cadem y of Sciences V o l .25,N o .4 N ovem ber 2009收稿日期:2009210210 作者简介:申文明(19842),男,硕士研究生,主要从事信息检索和自然语言处理方面的研究工作。 3南宁市人才小高地基金项目(N o .2007007)资助。 平行语料库的相似语句去重算法3 A lgor ithm for Rem ov i ng Si m ilar Sen tence on Para llel Corpus 申文明1,黄家裕2,刘连芳1,2 SH EN W en 2m ing 1,HU AN G J ia 2yu 2,L I U L ian 2fang 1,2 (1.广西大学计算机与电子信息学院,广西南宁 530004;2.南宁平方软件新技术有限公司,广西南宁 530003) (1.Schoo l of Com p u ter ,E lectron ic and Info rm ati on ,Guangx i U n iversity ,N ann ing ,Guangx i ,530004,Ch ina ;2.P ingsoft N ew T echno logy Co .L td .of N an ing ,N ann ing ,Guangx i ,530004,Ch ina ) 摘要:尝试对平行语料库中需要去重的中文句子相似情况作分类,利用整体相似因子和局部相似因子计算句子的相似度,并借鉴K M P 算法的匹配跳跃思想,提出中文字符串匹配的类K M P 算法,并对算法进行实验验证。结果表明,算法具有较好的效果,能够实现平行语料库中相似句子的去重。算法开放测试的召回率达94%,去重准确率达到84%。算法可以应用于任何长度的语句比对,适用范围广。关键词:去重 相似句子 平行语料库 类K M P 中图法分类号:T P 39113 文献标识码:A 文章编号:100227378(2009)0420248203 Abstract :T he si m ilarity of Ch inese sen tence is classified and dup licated sen tence is rem oved .Sen tence si m ilarity dep ends on si m ilarity of un itary facto r and p artial facto r .A cco rding to the idea of K M P ’s jum p ,the si m u lar K M P in ch inese sen tence is u sed .T he exp eri m en t resu lts show that the algo rithm is effective ,the recall rate of dup licate rem oval reach 94%,and the p recisi on rate reach 84%in large scale testing .Key words :dup licate rem oval ,si m ilar sen tence ,p arallel co rp u s ,si m ilar K M P 平行语料库是语料库的一种,是由原文本及其对应的翻译文本构成的语料库[1]。平行语料库将原文和译文经过对齐处理,可以提取出翻译对应语,因而广泛应用于基于实例的机器翻译(EBM T )。平行语料库不仅可以用于机器翻译,还可以在人机交互翻译中给译员提供翻译范例,帮助译员快速、高质量地完成翻译工作。 平行语料库的语料对齐单位根据粒度的大小可以分为篇章、段落、句子、短语、词等多个档次,其中最为重要而且较为成熟的是基于句子的对齐。平行语料库中句子的质量关系着整个机器翻译系统的效果和效率,所以对原始语料句的筛选是保证语料库 质量的重要前提。 当前,语料库语料的重要收集方法之一是通过网络自动获取,但是在网络中存在着大量重复或相似的句子。基于平行语料库的机器翻译系统所需要的双语句对一般在百万级以上,如果把这些冗余的句子放入平行语料库,不但会浪费存储资源,而且还会影响翻译系统的工作效率和翻译质量。因此在构建语料库的前期工作中,根据中文语句去掉大量重复或相似的句对是一项具有实际意义的工作。 句子去重就是在收集语料的时候把重复的或者极其相似的句子去除。对于完全重复的字串,陈桂林等通过字串的首字符和字串的长度进行H ash 运算,将首字符或长度相等的字串聚成一个子类,然后对每个子类进行快速排序,对每个子类进行去重[2]。但是我们在语料库的收集中发现:不仅要去掉完全重复的句子,还需要去掉极其相似的句子。例如当一个句子中的某个分句或短语整体发生移动之后,它与
基于Web的双语平行语料库自动获取系统
基于Web的双语平行语料库自动获取系统1 叶莎妮吕雅娟刘群 中国科学院计算技术研究所智能信息重点实验室 {yeshani,lvyajuan,liuqun,}https://www.sodocs.net/doc/b53589194.html, 摘要：利用互联网上存在的海量多语言文本资源，通过网页的内容分析和链接分析，实现了一个双语语料挖掘的自动获取系统。首先，介绍了系统框架和主要模块；其次，详细描述了各个模块的实现与创新技术；最后，给出下一步工作的展望。本系统为获取真实的中英平行语料库提供了有效的途经。 关键词：双语语料;网页挖掘;平行网页 A Bilingual Corpus Automatic Acquisition System Based on Web Abstract:Implemented a bilingual corpus automatic acquisition system by taking advantage of an abundance of multilingual corpus in the World Wide Web,and analyzing their content and links. First,introduced system framework and main modules;second,described every module and technology innovations in detail.A prospect for the next step was given at last.This system provided an effective way for achieving Chinese-English parallel corpus. Keywords:Bilingual Text;Parallel Corpora;Web Mining; 1.引言 语料库的建设是统计学习方法的重要基础，近年来，语料库资源对于自然语言处理研究的巨大价值已经得到越来越多的认可。特别是双语语料库（Bilingual Corpus），已经成为机器翻译、机器辅助翻译以及翻译知识获取研究不可或缺的重要资源。一方面，双语语料库的出现直接推动了机器翻译新技术的发展，像平行语料库为统计机器翻译的模型构建提供了必不可少的训练数据（e.g.,Brown et al.1990;Melamed2000;Och and Ney2002），基于统计（Statistic-Based）和基于实例（Example-Based）等基于语料库的翻译方法为机器翻译研究提供了新的思路，有效改善了翻译质量，在机器翻译研究领域掀起了新的高潮。另一方面，双语语料库又是获取翻译知识的重要来源，从中可以挖掘学习各种细粒度的翻译知识，如翻译词典（e.g.,Gale and Church1991;Melamed1997）和翻译模板，从而改进传统的机器翻译技术。此外，双语语料库也是跨语言信息检索（e.g.,Davis and Dunning1995;Jian-Yun Nie, TREC8;），翻译词典编撰、双语术语自动提取以及多语言对比研究等的重要基础资源。 双语平行语料库建设与获取存在着很大的困难，各国都投入了大量的人力、物力和财力，但是双语平行语料库的来源主要集中在政府报告、新闻法律等特定领域，不适合真实文本应用。同时，互联网上的大规模双语文本并且具有很好的时效性和覆盖性，这为双语平行语料库的获取提供了潜在的解决途径。 研究基于Web的大规模双语平行语料库获取技术对于解决双语语料库获取难题，推动相关技术发展和实用化具有重要的意义。本文的目标就是建设一个语料库自动获取系统。 收稿日期：2007-06-30返稿日期：2007-XX-XX基金项目：国家自然科学基金（60603095），国家自然科学基金（60573188）作者简介：叶莎妮，硕士研究生，主要研究方向为自然语言处理技术（yeshani@https://www.sodocs.net/doc/b53589194.html,）；吕雅娟，工学博士，主要研究方向为计算语言学与机器翻译；刘群，工学博士，主要研究方向为计算语言学与机器翻译