基于规则和统计的日语分词和词性标注的研究
第２４卷第１期２０１０年１月
中文信息学报
ＪＯＵＲＮＡＬＯＦＣＨＩＮＥＳＥＩＮＦＯＲＭＡＴＩＯＮＰＲＯＣＥＳＳＩＮＧ
Ｖ０１．２４，Ｎｏ．１
／ａｎ．，２０１０
文章编号：１００３－００７７（２０１０）０１－０１１７—０６
基于规则和统计的日语分词和词性标注的研究
姜尚仆１’２，陈群秀１’２
（１．清华大学信息科学与技术国家实验室，北京１０００８４；２．清华大学计算机科学与技术系，北京１０００８４）
摘要：日语分词和词性标注是以日语为源语言的机器翻译等自然语言处理工作的第一步。该文提出了一种基于规则和统计的日语分词和词性标注方法，使用基于单一感知器的联合分词和词性标注算法作为基本框架，在其中加入了基于规则的词语的邻接属性作为特征。在小规模测试集上的实验结果表明，这种方法分词的Ｆ值达到了９８．２％，分词加词性标注的Ｆ值达到了９４．８％。该文所采用的方法已经成功应用到日汉机器翻译系统中。
关键词：人工智能；机器翻译；日汉机器翻译系统；日语分词；日语词性标注；联合分词
中图分类号：ＴＰ３９１文献标识码：Ａ
ＳｔｕｄｙｏｎＪａｐａｎｅｓｅＷｏｒｄＳｅｇｍｅｎｔａｔｉｏｎａｎｄＰＯＳ
ＴａｇｇｉｎｇＢａｓｅｄｏｎＲｕｌｅｓａｎｄＳｔａｔｉｓｔｉｃｓＪＩＡＮＧＳｈａｎｇｐｕｌ”．ＣＨＥＮＱｕｎｘｉｕｌ’２
（１．ＮａｔｉｏｎａｌＬａｂｏｒａｔｏｒｙｆｏｒｉｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４。Ｃｈｉｎａ；
２．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎａｎｄｐａｒｔ—ｏｆ－ｓｐｅｅｃｈｔａｇｇｉｎｇｉｓｔｈｅｆｉｒｓｔｓｔｅｐｏｆＪａｐａｎｅｓｅｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇｔａｓｋｓ，ｓｕｃｈａｓｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｉｎｗｈｉｃｈＪａｐａｎｅｓｅｉｓｔｈｅｓｏｕｒｃｅｌａｎｇｕａｇｅ．Ｉｎｔｈｉｓｐａｐｅｒ，ａＪａｐａｎｅｓｅｗｏｒｄｓｅｇｍｅｎ—ｔａｔｉｏｎａｎｄＰＯＳｔａｇｇｉｎｇａｐｐｒｏａｃｈｂａｓｅｄｏｎｒｕｌｅｓａｎｄｓｔａｔｉｓｔｉｃｓｉｓｐｒｏｐｏｓｅｄ．ＡｄｏｐｔｉｎｇａｓｉｎｇｌｅｐｅｒｃｅｐｔｒｏｎｂａｓｅｄｊｏｉｎｔｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎａｎｄＰＯＳｔａｇｇｉｎｇａｌｇｏｒｉｔｈｍａｓｔｈｅｂａｓｉｃｆｒａｍｅｗｏｒｋ，ｔｈｉｓｍｅｔｈｏｄｉｓｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｆｅａｔｕｒｅｓｏｆａｄｊａｃｅｎｃｙａｔｔｒｉｂｕｔｅｓｗｈｉｃｈａｒｅｄｅｒｉｖｅｄｂｙｈｅｕｒｉｓｔｉｃｒｕｌｅｓ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｏｎａｓｍａｌｌｔｅｓｔｄａｔａｓｅｔｓｈｏｗｓｔｈａｔｔｈｅｎｅｗａｐｐｒｏａｃｈａｃｈｉｅｖｅｓａｎＦ－ｓｃｏｒｅｏｆ９８．２％ｏｎｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ，ａｎｄ９４．８％ｏｎｂｏｔｈｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎａｎｄＰＯＳｔａｇ—ｇｉｎｇ．ＴｈｉｓｗｏｒｋｈａｓａｌｒｅａｄｙｂｅｅｎａｐｐｌｉｅｄｉｎｔｏｔｈｅＪａｐａｎｅｓｅ－Ｃｈｉｎｅｓｅｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｓｙｓｔｅｍｓｕｃｃｅｓｓｆｕｌｌｙ．
Ｋｅｙｗｏｒｄｓ：ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ；ｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ；Ｊａｐａｎｅｓｅ＿Ｃｈｉｎｅｓｅｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｓｙｓｔｅｍ；Ｊａｐａｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ；ＪａｐａｎｅｓｅＰＯＳｔａｇｇｉｎｇ；ｊｏｉｎｔｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ
１引言
规则和统计相结合的研究方法是当前计算语言学界主流的研究方法，是今后发展的方向。本文对基于规则和统计的日语分词和词性标注进行了研究，提出了一个准确率较高的基于规则和统计的日语分词和词性标注算法。
日语分词和词性标注是以日语为源语言的机器翻译系统的第一个模块，是其重要组成部分。日语分词和词性标注还被广泛应用于日语的各种自然语言处理的任务中。因此，日语分词和词性标注算法的研究有着重要的意义。和中文类似，日语的词语之间没有明显的分隔符，日语词法分析也包括了分词和词性标注两个部分。
对于序列标注，近年来提出了很多算法，包括ＨＭＭ［¨、ＭＥ［争引、ＣＲＦｓ［４３和感知器‘５３等。中文分词和词性标注通常被看成一类序列标注问题，而采用字标注的方法，例如对每个字标注Ｂ／Ｉ［６３或者Ｂ／Ｍ／Ｅ／Ｓ【７３来实现词语切分。然而，在日语分词中，这种方法并不能取得很好的效果［８］，这一是由于日
收稿日期：２００９—０５—３０定稿日期：２００９—１１—０５
基金项目：国家８６３计划重点资助项目（２００６ＡＡ０１０１０９）
作者简介：姜尚仆（１９８５一），男，硕士生，主要研究方向为自然语言处理和机器翻译；陈群秀（１９４７一），女，教授，主要研究方向为自然语言处理和机器翻译。
万方数据