1·’下载一中文长篇小说,并转换成UTF-8编码。
2、使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
3、排除一些无意义词、合并同一词。
import jiebatxt=open('test.txt','r',encoding='utf-8').read()words=list(jieba.cut(txt))exc={ '虽然','我们','可是','自己','他们','一个','那些','东西'}keys=set(words)keys=keys-excdic={}#定义一个空字典for i in keys: if len(i)==1: continue else: dic[i]=words.count(i)wc=list(dic.items())wc.sort(key=lambda x:x[1],reverse=True)#排序for i in range(10): print(wc[i])
4、对词频统计结果做简单的解读。
解读:从上图可以看出《孔乙己》短篇小说的主人公叫孔乙己与酒店的掌柜,文章有侧重于外貌描写,如长衫,样子等词;
主要以对话形式,大部分是说道
发生的地点在酒店里的柜台
消费的产品是茴香豆,孔乙己应该是斤斤计较的人,数过茴香豆是十九个,与掌柜讨价还价希望能打折。