一、简介

在搜索或其它应用领域，我们通常需要对数据进行分词。在汉语言分词处理中，我们可以使用hanlp，它是开源的汉语言处理包，可用于分词、语言处理等操作。

二、组成

hanlp由三部分组成，分别是词库、驱动器（jar包）、hanlp配置。

2.1 词库

词库包含词典和模型，词典（位于data/dictionary目录下）用于词法分析，模型（位于data/model目录下）用于语法分析。对应的数据包有如下几类：

data.full.zip,完整的词库（包括词典和模型）;

data.standary.zip，完整的词典，不包含模型;

data.mini.zip，小体积的词典，不包含模型;

下载地址是http://115.159.41.123/click.php?id=3

详情在地址https://github.com/hankcs/HanLP/releases/tag/v1.3.4中

2.2 驱动器（jar包）

hanlp提供了轻便的jar包，内置了基本的词典，maven依赖如下：

<dependency>

<groupId>com.hankcs</groupId>

<artifactId>hanlp</artifactId>

<version>portable-1.2.8</version>

</dependency>

若在lucene或solr中使用，单独安装词典，则添加对应的依赖包，如下：

<dependency>

<groupId>com.hankcs.nlp</groupId>

<artifactId>hanlp-solr-plugin</artifactId>

<version>1.1.2</version>

</dependency>

<dependency>

<groupId>com.hankcs.nlp</groupId>

<artifactId>hanlp-solr-plugin</artifactId>

<version>1.1.2</version>

</dependency>

2.3 配置文件hanlp.properties

主要是配置词库的地址root=D:/HanLP/，配置文件内容如下：

#本配置文件中的路径的根目录，根目录+其他路径=绝对路径

#Windows用户请注意，路径分隔符统一使用/

root=D:/HanLP/

#核心词典路径

CoreDictionaryPath=data/dictionary/CoreNatureDictionary.txt

#2元语法词典路径

BiGramDictionaryPath=data/dictionary/CoreNatureDictionary.ngram.txt

#停用词词典路径

CoreStopWordDictionaryPath=data/dictionary/stopwords.txt

#同义词词典路径

CoreSynonymDictionaryDictionaryPath=data/dictionary/synonym/CoreSynonym.txt

#人名词典路径

PersonDictionaryPath=data/dictionary/person/nr.txt

#人名词典转移矩阵路径

PersonDictionaryTrPath=data/dictionary/person/nr.tr.txt

#繁简词典路径

TraditionalChineseDictionaryPath=data/dictionary/tc/TraditionalChinese.txt

#自定义词典路径，用;隔开多个自定义词典，空格开头表示在同一个目录，使用文件名 词性形式则表示这个词典的词性默认是该词性。优先级递减。

#另外data/dictionary/custom/CustomDictionary.txt是个高质量的词库，请不要删除

CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt; 现代汉语补充词库.txt; 全国地名大全.txt ns; 人名词典.txt; 机构名词典.txt; 上海地名.txt ns;data/dictionary/person/nrf.txt nrf

#CRF分词模型路径

CRFSegmentModelPath=data/model/segment/CRFSegmentModel.txt

#HMM分词模型

HMMSegmentModelPath=data/model/segment/HMMSegmentModel.bin

#分词结果是否展示词性

ShowTermNature=true

三、直接使用hanlp的代码实例

3.1 添加maven依赖

<dependency>

<groupId>com.hankcs</groupId>

<artifactId>hanlp</artifactId>

<version>portable-1.2.8</version>

</dependency>

3.2 代码

public class HanlpMain {

public static void main(String[] args) {

String text = "比你聪明的人，请不要让他还比你努力";

String traditionText= "比妳聰明的人，請不要讓他還比妳努力";

System.out.println(HanLP.segment(text)); //分词

System.out.println(HanLP.extractKeyword(text,2)); //提取关键字，同时指定提取的个数

System.out.println(HanLP.extractPhrase(text,2)); //提取短语,，同时指定提取的个数

System.out.println(HanLP.extractSummary(text,2)); //提取摘要，同时指定提取的个数

System.out.println(HanLP.getSummary(text,10)); //提取短语，同时指定摘要的最大长度

System.out.println(HanLP.convertToTraditionalChinese(text)); //简体字转为繁体字

System.out.println(HanLP.convertToSimplifiedChinese(traditionText)); //繁体字转为简体字

System.out.println(HanLP.convertToPinyinString(text," ",false)); //转为拼音

}

}

输出：

[比/p, 你/r, 聪明/a, 的/uj, 人/n, ，/w, 请/v, 不/d, 要/v, 让/v, 他/r, 还/d, 比/p, 你/r, 努力/ad]

[聪明, 努力]

[]

[请不要让他还比你努力]

请不要让他还比你努力。

比妳聰明的人，請不要讓他還比妳努力

比你聪明的人，请不要让他还比你努力

Disconnected from the target VM, address: '127.0.0.1:57424', transport: 'socket'

bi ni cong ming de ren qing bu yao rang ta hai bi ni nu li

四、lucene中hanlp使用实例

4.1 添加maven依赖

<dependency>

<groupId>org.apache.lucene</groupId>

<artifactId>lucene-core</artifactId>

<version>${lucene.version}</version>

</dependency>

<dependency>

<groupId>org.apache.lucene</groupId>

<artifactId>lucene-queryparser</artifactId>

<version>${lucene.version}</version>

</dependency>

<!-- 分词器 -->

<dependency>

<groupId>org.apache.lucene</groupId>

<artifactId>lucene-analyzers-smartcn</artifactId>

<version>${lucene.version}</version>

</dependency>

<dependency>

<groupId>org.apache.lucene</groupId>

<artifactId>lucene-analyzers-common</artifactId>

<version>${lucene.version}</version>

</dependency>

<dependency>

<groupId>com.hankcs.nlp</groupId>

<artifactId>hanlp-lucene-plugin</artifactId>

<version>1.1.2</version>

</dependency>

4.2 配置文件hanlp.properties

将配置文件hanlp.properties放到classpath目录下（resources目录下即可），配置文件内容如下

#本配置文件中的路径的根目录，根目录+其他路径=绝对路径

#Windows用户请注意，路径分隔符统一使用/

root=D:/HanLP/

#核心词典路径

CoreDictionaryPath=data/dictionary/CoreNatureDictionary.txt

#2元语法词典路径

BiGramDictionaryPath=data/dictionary/CoreNatureDictionary.ngram.txt

#停用词词典路径

CoreStopWordDictionaryPath=data/dictionary/stopwords.txt

#同义词词典路径

CoreSynonymDictionaryDictionaryPath=data/dictionary/synonym/CoreSynonym.txt

#人名词典路径

PersonDictionaryPath=data/dictionary/person/nr.txt

#人名词典转移矩阵路径

PersonDictionaryTrPath=data/dictionary/person/nr.tr.txt

#繁简词典路径

TraditionalChineseDictionaryPath=data/dictionary/tc/TraditionalChinese.txt

#自定义词典路径，用;隔开多个自定义词典，空格开头表示在同一个目录，使用文件名 词性形式则表示这个词典的词性默认是该词性。优先级递减。

#另外data/dictionary/custom/CustomDictionary.txt是个高质量的词库，请不要删除

CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt; 现代汉语补充词库.txt; 全国地名大全.txt ns; 人名词典.txt; 机构名词典.txt; 上海地名.txt ns;data/dictionary/person/nrf.txt nrf

#CRF分词模型路径

CRFSegmentModelPath=data/model/segment/CRFSegmentModel.txt

#HMM分词模型

HMMSegmentModelPath=data/model/segment/HMMSegmentModel.bin

#分词结果是否展示词性

ShowTermNature=true

4.3 示例

public class LuceneHanlpMain {

public static void main(String[] args) throws Exception {

String text = "少年强则中国强";

////////////////标准分词器(长词不做切分的分词器)//////////////////////////////

Analyzer analyzer = new HanLPAnalyzer();

TokenStream ts = analyzer.tokenStream("field",text);

ts.reset();

while(ts.incrementToken()){

CharTermAttribute attribute = ts.getAttribute(CharTermAttribute.class); //The term text of a Token.

OffsetAttribute offsetAttribute =ts.getAttribute(OffsetAttribute.class); //偏移量

PositionIncrementAttribute positionIncrementAttribute = ts.getAttribute(PositionIncrementAttribute.class); //距离

System.out.println(attribute+" "

+offsetAttribute.startOffset()+" "+offsetAttribute.endOffset()+" "

+positionIncrementAttribute.getPositionIncrement());

}

ts.close();

System.out.println();

/////////////////////////////////索引分词器(长词全切分的分词器)/////////////////////////////

Analyzer indexAnalyzer = new HanLPIndexAnalyzer();

TokenStream indexTs = indexAnalyzer.tokenStream("field",text);

indexTs.reset();

while(indexTs.incrementToken()){

CharTermAttribute attribute = indexTs.getAttribute(CharTermAttribute.class); //The term text of a Token.

OffsetAttribute offsetAttribute =indexTs.getAttribute(OffsetAttribute.class); //偏移量

PositionIncrementAttribute positionIncrementAttribute = indexTs.getAttribute(PositionIncrementAttribute.class); //距离

System.out.println(attribute+" "

+offsetAttribute.startOffset()+" "+offsetAttribute.endOffset()+" "

+positionIncrementAttribute.getPositionIncrement());

}

indexTs.close();

System.out.println();

/////////////////////////////通过query查看分词结果//////////////////////////////

QueryParser queryParser = new QueryParser("txt",analyzer);

Query query = queryParser.parse(text);

System.out.println(query.toString("txt"));

queryParser = new QueryParser("txt",indexAnalyzer);

query = queryParser.parse(text);

System.out.println(query.toString("txt"));

}

}

结果输出：

少年强 0 3 1

则 3 4 1

中国 4 6 1

强 6 7 1

少年强 0 3 1

少年 0 2 1

则 3 4 1

中国 4 6 1

强 6 7 1

少年强 则 中国 强

少年强 少年 则 中国 强