中文分词后去除停用词资源文件介绍 date 20231119 tags 分词用词词表去除停用 comments true author admin 中文分词后去除停用词资源文件介绍 本资源文件旨在帮助用户在中文分词后去除停用词以优化分词结果提高关键词提取的准确性通过使用本资源文件用户可以轻松地导入停用词表并在分词处理后去除无实际意义的词语 资源内容 停用词表包含常见的中文停用词用户可以根据需要自行添加或删除词语 示例代码提供使用jieba库进行中文分词并去除停用词的Python代码示例 使用方法 1 下载停用词表将停用词表文件如stopwordstxt下载到本地 2 导入停用词表在Python代码中导入停用词表并使用jieba库进行分词 3 去除停用词在分词后遍历分词结果去除停用词表中的词语 示例代码 以下是使用jieba库进行中文分词并去除停用词的示例代码 python import jieba def stopwordslistfilepath 定义函数创建停用词列表 stopword linestrip for line in openfilepath rreadlines return stopword def cutsentencessentences 定义函数实现分词 print原句子为 sentences cutsentence jiebalcutsentencesstrip 精确模式 printn分词后 joincutsentence stopwords stopwordslistfilepath 这里加载停用词的路径 lastsentences for word in cutsentence for循环遍历分词后的每个词语 if word not in stopwords 判断分词后的词语是否在停用词表内 if word t lastsentences word lastsentences

import jieba

def stopwordslist(filepath):
    # 定义函数创建停用词列表
    stopword = [line.strip() for line in open(filepath, 'r').readlines()]
    return stopword

def cutsentences(sentences):
    # 定义函数实现分词
    print('原句子为：' + sentences)
    cutsentence = jieba.lcut(sentences.strip())  # 精确模式
    print('\n分词后：' + "/ ".join(cutsentence))
    stopwords = stopwordslist(filepath)  # 这里加载停用词的路径
    lastsentences = ''
    for word in cutsentence:  # for循环遍历分词后的每个词语
        if word not in stopwords:  # 判断分词后的词语是否在停用词表内
            if word != '\t':
                lastsentences += word
                lastsentences += "/ "
    print('\n去除停用词后：' + lastsentences)

filepath = 'D:/大学工作所做文档/学习资料/毕业设计学习准备/资料参考/stop_words.txt'
sentences = '万里长城是中国古代劳动人民血汗的结晶和中国古代文化的象征和中华民族的骄傲'
stopwordslist(filepath)
cutsentences(sentences)

原句子为：万里长城是中国古代劳动人民血汗的结晶和中国古代文化的象征和中华民族的骄傲
分词后：万里长城/ 是/ 中国/ 古代/ 劳动/ 人民/ 血汗/ 的/ 结晶/ 和/ 中国/ 古代/ 文化/ 的/ 象征/ 和/ 中华民族/ 的/ 骄傲
去除停用词后：万里长城/ 中国/ 古代/ 劳动/ 血汗/ 结晶/ 中国/ 古代/ 文化/ 象征/ 中华民族/ 骄傲/