基于spark环境的中文文档词频统计程序(去停用词)

作者:神秘网友 发布时间:2020-09-08 07:13:51

基于spark环境的中文文档词频统计程序(去停用词)

基于spark环境的中文文档词频统计程序(去停用词)

Linux系统下spark终端运行中文文档词频统计的python程序。

*前提

(1) 由于spark是基于hadoop环境下运行的,所以要先完成hadoop的环境配置。
(2)完成hadoop环境配置后,再配置好spark环境。

这里采用的编程语言为python,完成以上两个步骤后,我们开始配置编程环境。

(1)在windows系统上下载python-3.7.3(不会的,网上有教程),并解压,然后将解压后的python包复制到spark文件夹下;
(2)在windows系统上下载jieba(python的一个中文分词库,不会的,网上有教程),并解压,同样将解压后的jieba包复制到spark文件夹下,然后进入spark终端jieba包setup.py文件所在目录下运行右侧代码: python setup.py install
例如
基于spark环境的中文文档词频统计程序(去停用词)

(1)查询用的小说文件:在网上随意查找一篇小说,并复制到自己新建的txt文档中。
(2)中文停用词文件:在网上百度‘中文停用词’,大概有1890个左右,复制到自己新建的txt文档中。
(3)python程序:先在windows系统下编写测试好你的python程序是否可用,这样复制到linux系统下只需要改动一点点即可。将测试好的python程序保存为.py文件。

spark终端python程序运行代码
[[email protected] spark-2.4.2-bin-hadoop2.7]$ spark-submit --master spark://10:7077 dd.py

(1)避免出现一切编码不匹配等问题(如下图),准备的中文中文停用词,查询用的小说,python程序等,统一使用utf-8编码。
基于spark环境的中文文档词频统计程序(去停用词)
(2)由于linux系统无法更改文档编码,以下操作均在windows下进行。将python程序文件以记事本方式打开,另存为如下图,将编码选为UTF-8,保存即可(如下图)。中文停用词及查询的txt文本文档均修改为UTF-8编码。然后复制到虚拟机中。
基于spark环境的中文文档词频统计程序(去停用词)
(3)在linux系统下,找到刚才复制过来的python文件,使用gedit打开python程序,并在里面添加如下代码:

import sys
reload(sys)
sys.setdefaultencoding('utf8')

(4)如果还是出现以下乱码问题,
基于spark环境的中文文档词频统计程序(去停用词)
则需进入spark文件夹的python文件下修改Python本环境:
在Python的Lib\site-packages文件夹下新建一个sitecustomize.py文件,内容为:

#coding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

这样程序就可以运行了
基于spark环境的中文文档词频统计程序(去停用词)

spark终端的程序代码如下

?import sys
?import jieba 
reload(sys)
sys.setdefaultencoding('utf8')

#读取数据
text = open('/home/yyl/u8xiaoshuo8.txt','r').read()
len(text)

#全部字符变成小写字符
text = text.lower()
 
#读取停用词,创建停用词表
stwlist = [line.strip() for line in open ('/home/yyl/u8stop.txt').readlines()]
 
#先进行分词
words = jieba.cut(text,cut_all = False,HMM = True)
#cut_all:是否采用全模式
#HMM:是否采用HMM模型
 
#去停用词,统计词频
word_ = {}
for word in words:
    if word.strip() not in stwlist:
        if len(word) > 1:
            if word != '\t':
                if word != '\r\n':
                    #计算词频
                    if word in word_:
                        word_[word] += 1
                    else:
                        word_[word] = 1
 
#将词汇和词频以元组的形式保存
word_freq = []
for word,freq in word_.items():
    word_freq.append((word,freq))
 
#进行降序排列
word_freq.sort(key = lambda x:x[1],reverse = True)
 
#查看前200个结果
for i in range(200):
     word,freq =word_freq[i]
     print('{0:10}{1:5}'.format(word,freq))

with open('/home/yyl/shuchu.txt','w') as fw:#将结果保存到shuchu文件
          for word,freq in str:
                       fw.write('%s,%d\n' %(word,freq))

基于spark环境的中文文档词频统计程序(去停用词)相关教程

  1. 基于 Swoole 2 协程特性实现的 MySQL 连接池
  2. SparkStreaming
  3. Windows下 安装Oracle Java 11 并设置环境变量
  4. Micropython加速物联网开发5 - 定时刷新环境温度
  5. 基于django的个人博客网站建立(二)
  6. csp认证python环境说明
  7. 02.03第二篇之数据环境准备
  8. 【深度学习之基础入门】发展历程与环境搭建