python求词频的函数 python如何做词频统计

如何用python统计一个txt文件中各个单词出现的次数

1、首先,定义一个变量,保存要统计的英文文章。

站在用户的角度思考问题,与客户深入沟通,找到乡宁网站设计与乡宁网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站建设、网站制作、企业官网、英文网站、手机端网站、网站推广、域名注册虚拟主机、企业邮箱。业务覆盖乡宁地区。

2、接着,定义两个数组,保存文章中的单词,以及各单词的词频。

3、从文章中分割出所有的单词,保存在数组中。

4、然后,计算文章中单词的总数,保存在变量中。

5、用for循环,统计文章中各单词的词频。

6、最后,输出文章中各单词的词频。

7、运行程序,电脑会自动统计输入文章中各单词的词频。

如何用python对文章中文分词并统计词频

1、全局变量在函数中使用时需要加入global声明

2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312,当匹配到的中文写入文件时需要encode成GB2312写入文件。

3、中文字符匹配过滤正则表达式为ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字符存入分组

4、KEY,Value值可以使用dict存储,排序后可以使用list存储

5、字符串处理使用split分割,然后使用index截取字符串,判断哪些是名词和动词

6、命令行使用需要导入os,os.system(cmd)

如何用python和jieba分词,统计词频?

#! python3

# -*- coding: utf-8 -*-

import os, codecs

import jieba

from collections import Counter

def get_words(txt):

seg_list = jieba.cut(txt)

c = Counter()

for x in seg_list:

if len(x)1 and x != '\r\n':

c[x] += 1

print('常用词频度统计结果')

for (k,v) in c.most_common(100):

print('%s%s %s  %d' % ('  '*(5-len(k)), k, '*'*int(v/3), v))

if __name__ == '__main__':

with codecs.open('19d.txt', 'r', 'utf8') as f:

txt = f.read()

get_words(txt)


新闻标题:python求词频的函数 python如何做词频统计
文章路径:http://scyanting.com/article/dogojeh.html