合工大分布式程序设计综合设计报告
资源文件描述
本资源文件为《合工大分布式程序设计综合设计报告》，由张赞老师指导完成。报告的主要内容包括从网页爬取气象数据（数据规模要求超过1000个城市），并使用Spark技术对爬取的气象数据进行处理分析，最终对分析结果进行可视化处理。
由于本次大作业时间有限，无法全面分析所有数据，因此主要计算分析了各个城市过去24小时的平均气温和降水量、湿度情况。
报告内容概述
- 数据爬取：
- 从多个气象网站爬取超过1000个城市的气象数据。
- 数据包括气温、降水量、湿度等关键指标。
- 数据处理与分析：
- 使用Spark技术对爬取的数据进行分布式处理。
- 计算各个城市过去24小时的平均气温、降水量和湿度。
- 数据可视化：
- 对处理后的数据进行可视化展示，便于直观理解分析结果。
使用说明
- 下载资源：
- 下载本仓库中的资源文件，包括设计报告及相关代码。
- 阅读报告：
- 详细阅读《合工大分布式程序设计综合设计报告》，了解项目背景、技术实现及分析结果。
- 代码复现：
- 如有需要，可参考报告中的代码部分，复现数据爬取、处理及可视化过程。
注意事项
- 本报告为合工大分布式程序设计课程的综合设计作业，仅供学习和参考使用。
- 由于时间限制，部分数据分析可能不够全面，建议在实际应用中进一步完善。
致谢
感谢张赞老师的指导与支持，以及所有参与本项目的同学们的共同努力。