Hadoop在Windows下的安装指南

本文详细介绍了如何在Windows系统下安装Hadoop，并确保安装过程顺利完成。通过本指南，您将能够轻松地在Windows环境中配置和启动Hadoop服务。

环境准备

1. 检查Java环境：
   • 确保已安装Java 1.8版本，且安装目录中没有空格。
2. 下载Hadoop相关文件：
   • 下载Hadoop 3.1.0版本的安装包。
   • 下载适用于Windows环境的bin文件包。

安装步骤

1. 解压Hadoop安装包：
   • 将下载的Hadoop安装包解压到指定目录。
2. 替换bin文件夹：
   • 将下载的bin文件夹替换到Hadoop安装目录下。
3. 配置Hadoop环境变量：
   • 设置HADOOP_HOME环境变量。
   • 在Path中添加%HADOOP_HOME%\bin。
4. 检查环境变量配置：
   • 运行hadoop version命令，确认配置是否成功。
5. 配置Hadoop的配置文件：
   • 配置core-site.xml、mapred-site.xml、yarn-site.xml、hdfs-site.xml等文件。
   • 创建namenode、datanode和tmp文件夹。
6. 启动Hadoop服务：
   • 格式化NameNode：hdfs namenode -format。
   • 启动HDFS：start-dfs.cmd。
   • 启动YARN：start-yarn.cmd。
   • 或者直接启动所有服务：start-all.cmd。
7. 检查Hadoop进程：
   • 运行jps命令，查看Hadoop运行的进程。
8. 访问Hadoop的Web UI：
   • 访问NameNode和HDFS的Web UI界面（http://localhost:9870）。
   • 访问ResourceManager的页面（http://localhost:8088）。
9. 关闭Hadoop集群：
   • 运行stop-all.cmd命令关闭Hadoop集群。

常见问题处理

1. Hadoop启动报错：
   • 如果遇到“org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager”错误，需将相关jar包放到指定目录。
2. NameNode重新格式化：
   • 重新格式化前，需删除namenode、datanode和tmp目录下的所有文件。
3. 端口占用问题：
   • 如果遇到“Address already in use: bind”错误，需查找并结束占用端口的进程。

通过以上步骤，您应该能够在Windows系统下成功安装和配置Hadoop。如果在安装过程中遇到任何问题，请参考本文中的常见问题处理部分。

下载链接

Hadoop在Windows下的安装指南