一切福田，不離方寸，從心而覓，感無不通。

win11安装hadoop3.3.2(当前最新版本）

前提Java已经安装

安装准备

下载链接：链接
在这里插入图片描述

解压

  • 将hadoop 到自己想要解压的路径下(这我解压到D盘下）
    在这里插入图片描述

修改配置文件

  1. 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml

core-site.xml

1
2
3
4
5
6
7
8
9
10
<configuration>
<property>
    <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/D:/hadoop-3.3.2/data/tmp</value>
</property>
</configuration>

 

hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<configuration>
<!--单机启动-->
    <property>
   <name>dfs.replication</name>
   <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop-3.3.2/data/namenode</value>
    </property>
   <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop-3.3.2/data/datanode</value>
    </property>
    <property>
      <name>dfs.permissions</name>
      <value>false</value>
    </property>
</configuration>

 

mapred-site.xml

1
2
3
4
5
6
<configuration>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

 

yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<configuration>
    <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <property>
       <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
<!-- nodemanager要求的内存最低为1024  nodemanager 要求的内存最低为1G，所以value至少是1024，否则无法启动nodemanager -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
</configuration>

 

  1. 修改 workers 为 localhost
  2. 修改hadoop-env.cmd

set JAVA_HOME=D:\java\jdk\jdk11

替换lib目录下的文件

在这里插入图片描述
如果您双击 winutils.exe 文件闪退，不报错，就说明没有任何问题

配置hadoop环境变量

在这里插入图片描述

格式化hadoop

打开命令行窗口
输入：hadoop namenode -format 看到成功的单词即可

进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行

在这里插入图片描述
看到这三个进程即可

注意： 启动可能会报时间错误，需要复制share文件夹下的时间jar到下图bin目录下即可
在这里插入图片描述
在这里插入图片描述

访问web页面

hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870

http://localhost:9870/

在这里插入图片描述

http://localhost:8088/

在这里插入图片描述
至此hadoop3.2.2版本 已完成

 

from:https://blog.csdn.net/qq_45834006/article/details/123581374

参考：https://blog.csdn.net/m0_72839702/article/details/138090947

Copyright © 2024 Longsheng All rights reserved