Python中国知网（cnki）爬虫及数据可视化分析设计
项目简介
本项目是一个基于Python的中国知网（cnki）爬虫及数据可视化分析设计，旨在通过爬取中国知网上的学术论文数据，并利用数据可视化技术对这些数据进行分析和展示。项目采用Django框架搭建网站，结合Celery实现爬虫任务的异步处理，最终通过Highcharts图表展示爬取的数据结果。
开发环境
- IDE: Pycharm
- 编程语言: Python 3.6
- Web框架: Django 2.0
- 数据库: MySQL, Redis
功能特点
- 爬虫功能: 通过Python调用Selenium驱动Chrome浏览器，实现对中国知网网页内容的抓取。
- 数据存储: 爬取的数据存储在MySQL数据库中，便于后续的数据分析和处理。
- 异步任务处理: 使用Celery框架实现爬虫任务的异步处理，提高爬取效率。
- 数据可视化: 通过Highcharts图表展示爬取的数据结果，直观呈现数据分析结果。
使用说明
- 环境配置:
- 安装Python 3.6
- 安装Django 2.0
- 安装MySQL和Redis数据库
- 安装依赖包：
pip install lxml==4.5.2
- 启动爬虫:
- 启动Celery进程：
python manage.py celery worker
- 启动Celery进程：
- 注意事项:
- 由于Celery框架中某个方法与Python 3.7的关键字冲突，建议使用Python 3.6。
- 需要安装
lxml==4.5.2以解决HTML文档结构分析的依赖问题。
项目结构
- cnki_spider: 爬虫模块，负责网页内容的抓取。
- data_visualization: 数据可视化模块，负责将爬取的数据通过Highcharts图表展示。
- manage.py: Django项目管理脚本，用于启动Celery任务等。
未来展望
本项目可以进一步扩展，例如增加更多的数据分析功能、优化爬虫效率、支持更多的数据源等。欢迎大家贡献代码，共同完善这个项目。
联系我们
如有任何问题或建议，欢迎通过GitHub Issues或Pull Requests联系我们。