Windows 安装以及运行Hadoop

zmx

2022 年 04 月 19 日

459 次浏览

暂无评论

1427字数

Java windows hadoop 生态圈

# 引言

劝退：如果电脑性能还算可以，最好考虑安装个虚拟机吧。
调侃：有些时候高版本并不向下兼容

# 下载

https://hadoop.apache.org/release/3.1.4.html 🔗 此处3.1.4 为版本号
https://gitcode.net/mirrors/cdarlint/winutils 🔗winutils

# 解压&配置

比如说我解压到这里了：
D:\Software\apache-hadoop

把下载好的winutils\{相应版本号}\bin\放到bin里，比如说我的Hadoop是3.1.4，而winutils里没有，找个稍微高一点的版本替代。

修改一下配置
进入目录 etc\hadoop

注意修改core-site.xml 和 hdfs-site.xml 中的数据目录地址

## core-site.xml

```xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/E:/ExperimentalBase/hadoop/data/hdfs</value>
	</property>
</configuration>
```

## core-site.xml

```xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/E:/ExperimentalBase/hadoop/data/namenode</value>
	</property>
	<property>
		<name>dfs.namenode.data.dir</name>
		<value>/E:/ExperimentalBase/hadoop/data/datanode</value>
	</property>

</configuration>
```

## yarn-site.xml

```xml
<configuration>

<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>
```

## mapred-site.xml

```xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	
</configuration>
```

# 配置环境变量

将 hadoop 的 bin和sbin放入到Path变量中即可，或是说建立中间变量%HADOOP_HOME%

# 格式化磁盘

hadoop namenode -format

# 运行

```bash
sbin/start-all.cmd
```

会打开4个黑窗口，如果都没有报错就是启动成功。

# ☢RUNTIME_ERROR

1. 如果报错DataNode: Initialization failed for Block pool或是什么文件权限current rw---（# nm-local-dir, which was marked as good.）尝试使用管理员权限run。
2. 如果格式化这步骤报错，很大概率是配置没配置好，或是winutils这块儿没配置好。