Hadoop集群搭建

安装hadoop

• 下载hadoop

• 将下载的hadoop包解压缩到/usr/local文件夹下

• 配置hadoop环境变量

配置hadoop

cd hadoop/etc/hadoop/

修改core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://spark1:9000</value>
</property>

修改hdfs-site.xml

<property>
  <name>dfs.name.dir</name>
  <value>/usr/local/data/namenode</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/usr/local/data/datanode</value>
</property>
<property>
  <name>dfs.tmp.dir</name>
  <value>/usr/local/data/tmp</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

修改mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

修改yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>spark1</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

修改slaves

spark1
spark2
spark3

启动hadoop

配置另外两台

• 使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将spark1上面的hadoop安装包和.bashrc配置文件都拷贝过去。

• 要记得对.bashrc文件进行source，以让它生效。

• 记得在spark2和spark3的/usr/local目录下创建data目录。

启动hdfs集群

• 格式化namenode：在spark1上执行以下命令，hdfs namenode -format

• 启动hdfs集群：start-dfs.sh

• 验证启动是否成功：jps、50070端口

spark1：namenode、datanode、secondarynamenode
spark2：datanode
spark3：datanode

启动yarn集群

• 启动yarn集群：start-yarn.sh

• 验证启动是否成功：jps、8088端口

spark1：resourcemanager、nodemanager
spark2：nodemanager
spark3：nodemanager