|
未登录词就是分词词典中没有的词，也称为新词。最典型的是人名、地名、专业术语等。例如，人可以很容易理解句子“王军虎去广州了”中，“王军虎”是个词，因为是一个人的名字，但要是让计算机去识别就困难了。如果把“王军虎”作为一个词收录到字典中去，全世界有那么多名字，而且每时每刻都有新增的人名，收录这些人名本身就是一项巨大的工程。即使这项工作可以完成，还是会存在问题，例如: 在句子“王军虎头虎脑”中的，“王军虎”还能不能算词?
未登录词中除了人名以外，还有机构名、地名、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词，因此对于搜索引擎来说，分词系统中的新词识别十分重要。目前，对未登录词的处理一般采用统计的方法，首先从语料中统计出出现频率较高的字组，然后按照某种规则把它们作为新词添加到辅助词典中。
目前，中文自动分词技术在搜索引擎中已经得到广泛应用，分词准确度已经达到96%以上，但是在对大规模网页进行分析处理的时候，现有的中文自动分词技术还存在许多不足，例如上面提到的歧义问题和未登录词的处理问题等。因此，国内外的科研院校，如北大、清华、中科院、北京语言学院、东北大学、IBM研究院、微软中国研究院等都一直关注并研究中文自动分词技术，这主要是因为网络上的中文信息越来越多，对网络上的中文信息的处理必将成为一个巨大的产业和广阔的市场，存在无限的商机。但是，中文自动分词技术要想更好地服务于网络中文信息的处理并形成产品，还要在基础研究方面和系统的集成方面做许多工作。
更多精彩来源： http://ec.trueland.net/ |
