hadoop 资源管理器(yarn)配置

hadoop 资源管理器(yarn)配置 [ 哔哔大数据 ]

大数据男孩文章正文

明妃

{{nature("2022-08-14 17:23:14")}}更新

[ mark ]()

相关配置

hadoop-2.9.2 伪分布式搭建

0x00 说明

首先需要配置 hadoop 的伪分布式

[ mark ]()

0x01 修改 mapred-site.xml

修改MapReduce配置文件mapred-site.xml
- 路径 hadoop-2.9.2/etc/hadoop/mapred-site.xml
- 将模板文件mapred-site.xml.template拷贝一份，并重命名为 mapred-site.xml,命令cp mapred-site.xml.template mapred-site.xml

<configuration>

        <!--指定 MapReduce 运行在 yarn-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

</configuration>

0x02 修改 yarn-site.xml

配置资源协调工具yarn的修改
- 路径 hadoop-2.9.2/etc/hadoop/yarn-site.xml

<configuration>

        <!-- Site specific YARN configuration properties -->
        <!--指定yarn的老大resoucemanager的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <name>hadoop</name>
        </property>

        <!--NodeManager获取数据的方式-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

</configuration>