大数据课程综合实验案例：网站用户行为分析
简介
本资源文件提供了一个大数据课程的综合实验案例，主题为“网站用户行为分析”。该案例旨在通过实际操作，帮助学生深入理解大数据处理流程，掌握数据预处理、存储、查询和可视化分析等技能。
案例目的
- 熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用。
- 了解大数据处理的基本流程。
- 掌握数据预处理方法。
- 熟悉在不同类型数据库之间进行数据相互导入导出。
- 掌握使用R语言进行可视化分析。
- 熟悉使用Eclipse编写Java程序操作HBase数据库。
适用对象
- 高校（高职）教师、学生
- 大数据学习者
时间安排
本案例预计耗时7天，适合作为大数据入门级课程结束后的“大作业”，或作为学生暑期或寒假大数据实习实践的基础案例。
预备知识
使用者需具备以下基础知识：
- 大数据相关课程的基本概念与原理
- Windows和Linux操作系统的基本操作
- Hadoop、HBase、Hive、MySQL等大数据处理工具的基本原理
- R语言的基本应用
硬件要求
本案例建议在集群环境下完成。
软件工具
本案例涉及的软件工具包括：
- Linux系统（Ubuntu 16.04或14.04或18.04）
- MySQL
- Hadoop（3.0以上版本）
- HBase（1.1.2或1.1.5，需与Hadoop版本兼容）
- Hive（1.2.1，需与Hadoop版本兼容）
- R
- Eclipse
数据集
本案例使用的数据集为网站用户购物行为数据集，包含2000万条记录。
案例任务
- 安装Linux操作系统
- 安装关系型数据库MySQL
- 安装大数据处理框架Hadoop
- 安装列族数据库HBase
- 安装数据仓库Hive
- 安装R
- 安装Eclipse
- 对文本文件形式的原始数据集进行预处理
- 把文本文件的数据集导入到数据仓库Hive中
- 对数据仓库Hive中的数据进行查询分析
- 使用Java API将数据从Hive导入MySQL
- 使用Java API将数据从MySQL导入HBase
- 使用HBase Java API把数据从本地导入到HBase中
- 使用R对MySQL中的数据进行可视化分析
实验步骤
- 实验环境准备
- 本地数据集上传到数据仓库Hive
- Hive数据分析
- Hive、MySQL、HBase数据互导
- 利用R进行数据可视化分析
通过本案例的学习，学生将能够综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。