京东物品爬虫分析系统
简介
本资源文件提供了一个基于Python Web Streamlit开发的京东物品爬虫分析系统。该系统涵盖了从数据爬取、数据预处理、文件管理、数据可视化到文本情感分析的全流程功能。通过该系统，用户可以方便地爬取京东商品评论数据，进行数据清洗和处理，并通过多种可视化手段分析数据，最终实现对评论文本的情感分析。
功能模块
1. 爬虫模块
- 评论地址爬取：支持自定义爬取京东商品的评论地址。
- 爬取次数控制：用户可以设置爬取的次数，控制数据量。
- 评论类型选择：支持选择爬取不同类型的评论，如好评、中评、差评等。
- 爬取时间记录：自动记录每次爬取的时间，方便后续分析。
- 文件保存：爬取的数据会自动保存为文件，方便后续处理和查看。
2. 文件管理模块
- 文件查看：用户可以查看已爬取的数据文件。
- 文件删除：支持删除不需要的数据文件。
- 文件重命名：支持对数据文件进行重命名操作。
- 文件下载：用户可以将处理后的数据文件下载到本地。
- 文件上传：支持上传本地数据文件进行进一步处理。
3. 数据预处理模块
- 简单处理：提供基本的文本处理功能，如去除换行符、去除表情符号等。
- 列删除：支持删除数据表中的指定列，减少冗余信息。
4. 数据可视化模块
- 饼图：通过饼图展示数据的分布情况。
- 聚合方法：支持count、sum、mean等聚合方法，方便数据汇总。
- 词云图：生成词云图，直观展示关键词的频率。
- 折线图：通过折线图展示时间序列数据的变化趋势。
5. 文本情感分析模块
- 评论情感分析：对爬取的评论文本进行情感分析，判断评论的情感倾向。
- 情感分析可视化：通过可视化手段展示情感分析结果。
- 关键词提取：自动提取评论中的关键词，帮助用户快速了解评论内容。
- 主题分析：支持设置主题个数和迭代次数，进行主题模型分析。
使用说明
- 安装依赖：首先需要安装Python环境，并安装所需的依赖包。
- 启动系统：通过命令行启动Streamlit应用，进入系统界面。
- 配置爬虫：在系统界面中配置爬虫参数，如评论地址、爬取次数等。
- 数据处理：爬取完成后，可以对数据进行预处理和可视化操作。
- 情感分析：最后，对评论文本进行情感分析，并查看分析结果。
注意事项
- 请确保在合法范围内使用本系统，遵守相关法律法规。
- 数据爬取过程中，请注意控制爬取频率，避免对目标网站造成过大压力。
- 数据处理和分析过程中，请确保数据的安全性和隐私性。
贡献
欢迎对本系统提出改进建议或贡献代码，共同完善该系统。