NLP基本工具jieba怎么用

今天就跟大家聊聊有关NLP基本工具jieba怎么用,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于网站建设、成都网站建设、千阳网络推广、小程序定制开发、千阳网络营销、千阳企业策划、千阳品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供千阳建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com

jieba是百度工程师Sun Junyi开发的一个开源库,在GitHub上很受欢迎,使用频率也很高。

GitHub链接:https://github.com/fxsjy/jieba

NLP基本工具jieba怎么用

jieba最流行的应用是分词,包括介绍页面上也称之为“结巴中文分词”,但除了分词之外,jieba还可以做关键词抽取、词频统计等。

jieba支持四种分词模式:

-       精确模式:试图将句子最精确地切开,只输出最大概率组合;

-       搜索引擎模式:在精确模式基础上,对长词再次切分,提高召回率,适用于搜索引擎分词;

-       全模式:把句子中所有的可以成词的词语都扫描出来;

-       paddle模式,利用PaddlePaddle深度学习框架,训练序列标注(双向GRU)网络模型实现分词。同时支持词性标注。

代码:

NLP基本工具jieba怎么用

输出:

NLP基本工具jieba怎么用

代码:

NLP基本工具jieba怎么用

输出

NLP基本工具jieba怎么用

从上面的例子可以看出:

-       精确模式是比较常见的分词方式,也是默认的方式;

-       搜索引擎模式切分更细一些,包含了清华、华大、大学、中国、科学、学院等等;

-       全模式相对于搜索引擎模式更全,列出了所有可能

-       paddle模式接近于精确模式。

另外,jieba还支持:

-       繁体分词

-       自定义词典

安装:

pip/pip3/easy_installinstall jieba

使用:

importjieba  # 导入 jieba

importjieba.posseg as pseg  #词性标注

importjieba.analyse as anls  #关键词提取

算法

基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)

采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

对于未登录词,采用了基于汉字成词能力的 HMM 模型,使用了 Viterbi 算法

看完上述内容,你们对NLP基本工具jieba怎么用有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


文章名称:NLP基本工具jieba怎么用
当前链接:http://scyanting.com/article/jhicgg.html