1. 環(huán)境準(zhǔn)備
在開始安裝CDH5.9之前,需要確保CentOS系統(tǒng)滿足以下要求:
- CentOS 7或更高版本
- 至少8GB RAM
- 50GB可用磁盤空間
- 穩(wěn)定的網(wǎng)絡(luò)連接
2. 系統(tǒng)配置
更新系統(tǒng)并安裝必要的依賴:
sudo yum update -y
sudo yum install -y wget java-1.8.0-openjdk-devel
3. 下載CDH5.9安裝包
從Cloudera官方網(wǎng)站下載CDH5.9安裝包:
wget https://archive.cloudera.com/cdh5/one-click-install/redhat/7/x86_64/cloudera-cdh-5-0.x86_64.rpm
4. 安裝CDH5.9
執(zhí)行以下命令安裝CDH5.9:
sudo rpm -ivh cloudera-cdh-5-0.x86_64.rpm
sudo yum install -y cloudera-manager-daemons cloudera-manager-server
5. 配置數(shù)據(jù)庫
CDH需要使用數(shù)據(jù)庫存儲(chǔ)元數(shù)據(jù)。這里我們使用MySQL:
sudo yum install -y mysql-server
sudo systemctl start mysqld
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm password
6. 啟動(dòng)Cloudera Manager
啟動(dòng)Cloudera Manager服務(wù):
sudo systemctl start cloudera-scm-server
7. 訪問Web界面
打開瀏覽器,訪問http://your_server_ip:7180,使用默認(rèn)用戶名和密碼(admin/admin)登錄。
8. 集群配置
按照Web界面的指引,完成集群配置、節(jié)點(diǎn)分配和服務(wù)啟動(dòng)。
9. 驗(yàn)證安裝
通過Cloudera Manager界面檢查所有服務(wù)的運(yùn)行狀態(tài),確保一切正常。
10. 常見問題解決
- 內(nèi)存不足:增加虛擬內(nèi)存或調(diào)整服務(wù)配置
- 端口沖突:檢查并修改沖突的端口配置
- 權(quán)限問題:確保用戶具有適當(dāng)?shù)奈募到y(tǒng)權(quán)限
通過以上步驟,您應(yīng)該已經(jīng)成功在CentOS上安裝了CDH5.9。記得定期檢查更新并進(jìn)行系統(tǒng)維護(hù),以確保集群的穩(wěn)定運(yùn)行。