部署全分布模式Hadoop集群 实验报告
实验目的
- 熟练掌握 Linux 基本命令。
- 掌握静态 IP 地址的配置、主机名和域名映射的修改。
- 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。
- 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。
- 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。
实验环境
本实验所需的软硬件环境包括：
- PC
- VMware Workstation Pro
- CentOS 安装包
- Oracle JDK 安装包
- Hadoop 安装包
实验内容
- 规划部署：确定集群的节点数量和角色分配。
- 准备机器：安装和配置虚拟机，确保每台机器都能正常运行。
- 准备软件环境：
- 配置静态 IP 地址。
- 修改主机名。
- 编辑域名映射。
- 安装和配置 Java。
- 安装和配置 SSH 免密登录。
- 获取和安装 Hadoop：下载 Hadoop 安装包并进行安装。
- 配置全分布模式 Hadoop 集群：根据规划进行配置，确保各节点能够协同工作。
- 关闭防火墙：确保集群内部通信不受防火墙限制。
- 格式化文件系统：对 Hadoop 文件系统进行格式化。
- 启动和验证 Hadoop：启动 Hadoop 集群并进行验证，确保集群正常运行。
- 关闭 Hadoop：在实验结束后，安全关闭 Hadoop 集群。
实验总结
通过本次实验，我们掌握了在 Linux 环境下部署全分布模式 Hadoop 集群的完整流程，包括环境准备、软件安装与配置、集群启动与验证等关键步骤。这为我们后续深入学习和应用 Hadoop 技术打下了坚实的基础。