centos 7 hadoop安裝
本指南旨在幫助您在 CentOS 7 系統(tǒng)上成功安裝和配置 Hadoop。通過(guò)這篇文章,您將學(xué)會(huì)如何準(zhǔn)備環(huán)境、下載和安裝 Hadoop 以及配置和啟動(dòng)集群。
環(huán)境準(zhǔn)備
在著手安裝 Hadoop 之前,請(qǐng)確保您有 sudo 權(quán)限,并且你的系統(tǒng)已經(jīng)更新到最新。
sudo yum update -y
安裝 OpenJDK,因?yàn)?Hadoop 需要 Java 環(huán)境。
sudo yum install java-1.8.0-openjdk-devel -y
下載和安裝 Hadoop
從官網(wǎng)下載安裝 Hadoop。您可以使用 wget 命令直接下載到服務(wù)器:
wget https://downloads.apache.org/hadoop/common/hadoop-x.x.x/hadoop-x.x.x.tar.gz
下載完成后,解壓文件:
tar -zxvf hadoop-x.x.x.tar.gz
將解壓后的文件移動(dòng)到 /usr/local/hadoop 目錄:
sudo mv hadoop-x.x.x /usr/local/hadoop
配置 Hadoop
編輯環(huán)境變量
為了讓 Hadoop 命令能夠全局使用,需要設(shè)置環(huán)境變量。
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
將上述內(nèi)容添加到 ~/.bashrc 文件中,并通過(guò)以下命令使其生效:
source ~/.bashrc
配置核心配置文件
編輯 core-site.xml 來(lái)設(shè)置 Hadoop 的臨時(shí)目錄:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
按相似方式配置 hdfs-site.xml 和 mapred-site.xml,以確保集群能夠正常運(yùn)行。
啟動(dòng) Hadoop 集群
格式化 Hadoop 文件系統(tǒng):
hdfs namenode -format
啟動(dòng) Hadoop 各個(gè)組件:
start-dfs.sh
start-yarn.sh
通過(guò)在瀏覽器中訪問(wèn) http://localhost:9870
,查看 Hadoop 集群的運(yùn)行狀態(tài)。
祝賀您!現(xiàn)在您已經(jīng)在 CentOS 7 上安裝和配置好了 Hadoop。您可以探索更多 Hadoop 提供的功能,如 HDFS 和 YARN。