CentOS系統(tǒng)下Mellanox網(wǎng)卡配置與性能優(yōu)化全解析
Mellanox網(wǎng)卡驅(qū)動(dòng)安裝
從Mellanox官網(wǎng)下載適配當(dāng)前CentOS內(nèi)核版本的OFED驅(qū)動(dòng)包,執(zhí)行./mlnxofedinstall --all
完成自動(dòng)化安裝。重啟后通過modprobe mlx5_core
加載內(nèi)核模塊,使用ibstat
驗(yàn)證InfiniBand設(shè)備識別狀態(tài)。
固件升級與兼容性驗(yàn)證
通過mstflint -d 04:00.0 query
查詢當(dāng)前固件版本,從廠商支持站點(diǎn)獲取最新固件文件。執(zhí)行mstflint -d 04:00.0 -i fw.bin burn
完成燒錄操作,升級后需重新插拔設(shè)備確保生效。
網(wǎng)絡(luò)性能調(diào)優(yōu)實(shí)踐
修改/etc/modprobe.d/mlnx.conf
配置文件,啟用巨幀傳輸:options mlx4_core port_type_array=2,2 num_vfs=8 log_num_mgm_entry_size=-1
。調(diào)整TCP/IP參數(shù)優(yōu)化吞吐量,設(shè)置net.core.rmem_max=26214400
和net.core.wmem_max=26214400
。
RDMA與RoCE高級配置
# 啟用RDMA服務(wù)
systemctl start rdma
# 配置RoCEv2優(yōu)先級流控制
mlnx_qos -i eth2 --trust dscp
mlnx_qos -i eth2 --dscp2prio set,42,5
典型故障診斷方法
當(dāng)出現(xiàn)鏈路協(xié)商異常時(shí),使用ethtool eth2
檢查物理連接狀態(tài)。網(wǎng)絡(luò)性能下降時(shí)可運(yùn)行perfquery
檢測IB端口計(jì)數(shù)器,通過ibdev2netdev -v
確認(rèn)設(shè)備綁定關(guān)系是否正確。