「MMSEG」- A Word Identification System for Mandarin Chinese Text

  CREATED BY JENKINSBOT

这篇文章的内容并不完善,只是临时做一个笔记。对于我个人而言,最重要的两部分是「创建词典文件并测试」与「关于unigram.txt文件的格式」。

MMSEG是什么?

参考MMSEG主页:http://technology.chtsai.org/mmseg

MMSEG安装

Sphinx中文分词Coreseek+Mmseg安装配置和示例:https://blog.csdn.net/l1028386804/article/details/48897589

创建词典文件并测试

执行下面文件创建二进制的词典文件(关于unigram.txt文件的格式参考后面的部分):

	**# mmseg -u unigram.txt**

该命令会生成unigram.txt.uni文件。将该文件重命名为uni.lib文件。

执行下面命令检查词典:

	**# echo "金交所" > whatever.txt**
	**# mmseg -d /usr/local/mmseg3/etc whatever.txt **

如果字典文件里包含了”金交所“,那会产生类似如下的输出:

	金交所/x
	Word Splite took: 0 ms.

如果字典中没有”金交所“这个词,则会产生如下的输出:

	金/x 交/x 所/x
	Word Splite took: 0 ms.

输出中显示整个词语被拆分成单字。

关于unigram.txt文件的格式

以下的内容摘自unigram.txt文件:

	**阿宝	1**
	**x:1**
	**阿西吧	1**
	**x:1**
	**阿华	1**
	**x:1**

注意,中文与后面的数字1之间是一个制表符(ASCII TAB),一定不能为空格。使用下面的PHP脚本words2mmseg.php可以生成unigram.txt文件:

<?php
$sourcefile = null;
$targetfile = null;
$options = getopt("s:o:");

if (!isset($options['s'])) {
    $sourcefile = "words.txt";
} else {
    $sourcefile = $options['s'];
}

if (!isset($options['o'])) {
    $targetfile = "mmseg-dict.txt";
} else {
    $targetfile = $options['o'];
}

convert_file($sourcefile, $targetfile);

function convert_file($sourcefile, $targetfile) {
    $rhandle = fopen($sourcefile, "r");
    $whandle = fopen($targetfile, "w");
    if ($rhandle) {
        while (($buffer = fgets($rhandle, 4096)) !== false) {
            $line = trim($buffer, "\r\n\t ");
            fwrite($whandle, "$line\t1\r\nx:1\r\n");
        }
        if (!feof($rhandle)) {
            echo "Error: unexpected fgets() fail\n";
        }
        fclose($rhandle);
        fclose($whandle);
    }
}

在Shell中执行如下PHP命令:

	**# php words2mmseg.php -s source.txt -o unigram.txt**

其中source.txt就是原始的词典列表,它的格式如下:

	阿宝
	阿西吧
	阿华
	...省略...

即,一个普通的词语列表。

参考文献

使用搜狗词库制作mmseg自定义词典
mmseg3 添加新词库
Mmseg中文分词算法解析
coreseek之mmseg分词和词库拓展