Trong kỷ nguyên mạng lưới trí tuệ nhân tạo phát triển vượt bậc, siêu chip NVIDIA H200 Tensor Core chính là “quái vật hiệu năng” được săn đón nhất để huấn luyện các mô hình ngôn ngữ lớn (LLM) và xử lý dữ liệu khổng lồ. Tuy nhiên, sức mạnh tính toán kinh ngạc của cụm máy chủ H200 sẽ bị kìm hãm hoàn toàn nếu hệ thống mạng lõi gặp hiện tượng nghẽn cổ chai (Bottleneck).
Để giải phóng 100% công suất của GPU, việc thiết lập giao thức kết nối tốc độ siêu cao, độ trễ cực thấp là bắt buộc. Bài viết này, các kỹ sư hệ thống (System Engineer) tại Hola Group sẽ hướng dẫn chi tiết cách cấu hình InfiniBand và RoCE cho hệ thống máy chủ AI NVIDIA H200.
1. Phân Biệt InfiniBand Và RoCE: Lựa Chọn Nào Cho NVIDIA H200?
Trước khi bắt tay vào cấu hình, chúng ta cần hiểu rõ hai công nghệ truyền tải dữ liệu non-blocking (không tắc nghẽn) phổ biến nhất hiện nay nhờ kỹ thuật RDMA (Remote Direct Memory Access) — cho phép các máy chủ truy cập trực tiếp vào bộ nhớ của nhau mà không cần đi qua CPU điều phối.
- InfiniBand (IB): Là kiến trúc mạng chuyên dụng mã nguồn đóng cho các siêu máy tính (HPC) và cụm AI lớn. Sử dụng hạ tầng Switch và cáp riêng biệt (như NVIDIA Quantum-2 800Gbps). Ưu điểm là độ trễ gần như bằng 0, độ ổn định tuyệt đối nhưng chi phí đầu tư (CapEx) rất cao.
- RoCE (RDMA over Converged Ethernet): Giao thức cho phép chạy tính năng RDMA trực tiếp trên nền tảng mạng Ethernet truyền thống. Bằng cách kết hợp Switch Ethernet tốc độ cao và card mạng (NIC) chuyên dụng như NVIDIA ConnectX-7 hoặc BlueField-3 DPU, doanh nghiệp đạt được hiệu năng tiệm cận InfiniBand với mức chi phí tối ưu hơn.
2. Các Bước Chuẩn Bị Trước Khi Cấu Hình
Để cấu hình thành công, hệ thống phần cứng tại Trung tâm dữ liệu của bạn cần đáp ứng các tiêu chuẩn tối thiểu sau:
- Máy chủ: NVIDIA H200 HGX (hoặc PCIe) chạy hệ điều hành Ubuntu Server 22.04 LTS / RHEL 9.x.
- Card mạng: NVIDIA ConnectX-7 (OSFP/QSFP112) hỗ trợ tốc độ 400Gbps trở lên.
- Driver: Cài đặt sẵn gói phần mềm mạng NVIDIA OFED (OpenFabrics Enterprise Distribution) bản mới nhất.
3. Hướng Dẫn Cấu Hình Chi Tiết
1.Cài đặt Driver NVIDIA OFED:Thời gian: 10 phút.
Tải gói driver tương thích với OS từ trang chủ NVIDIA và tiến hành cài đặt để kích hoạt các tính năng tối ưu cho card mạng ConnectX:
Bash
sudo ./mlnxofedinstall --user-space-mods --kernel-space-mods
sudo reinit-openibd restart
2.Chuyển đổi chế độ hoạt động (Link Type):Chỉ áp dụng cho RoCE.
Mặc định, card mạng NVIDIA ConnectX-7 có thể chạy song song cả 2 chế độ InfiniBand hoặc Ethernet. Để cấu hình RoCE, ta cần ép card mạng chạy ở chế độ Ethernet bằng công cụ mlxconfig:
Bash
# Tra cứu ID của thiết bị
mst status -v
# Chuyển cổng 1 và cổng 2 sang chế độ Ethernet
sudo mlxconfig -d mt4129_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2
sudo reboot
(Ghi chú: Nếu cấu hình thuần InfiniBand, thiết lập giá trị trên bằng 1).
3.Cấu hình RoCE Version và Priority (Dành riêng cho RoCEv2):Cấu hình mạng lớp Layer 3.
RoCEv2 chạy trên nền IP định tuyến (Layer 3). Ta cần thiết lập phiên bản RoCEv2 và bật tính năng kiểm soát lưu lượng PFC (Priority Flow Control) trên card mạng để tránh mất gói tin (Lossless Ethernet):
Bash
# Thiết lập RoCE v2 làm mặc định
sudo cma_roce_mode -d mlx5_0 -p 1 -m 2
# Bật tính năng kiểm soát nghẽn mạng RoCE CC (Congestion Control)
echo 1 > /sys/class/infiniband/mlx5_0/tc/1/traffic_class
4.Xác thực trạng thái kết nối phần cứng:Bước cuối cùng kiểm tra.
Sử dụng lệnh ibv_devinfo hoặc ibstat để kiểm tra xem hệ thống đã nhận diện chính xác băng thông và giao thức RDMA hay chưa:
Bash
ibstat
Màn hình hiển thị trạng thái State: Active và Physical state: LinkUp cùng tốc độ chính xác (ví dụ: 400 Gb/s) tức là hệ thống đã sẵn sàng kết nối cụm tính toán AI H200.
4. Kiểm Tra Hiệu Năng Truyền Tải Dữ Liệu (Benchmarking)
Sau khi cấu hình xong, các kỹ sư hệ thống cần đo đạc băng thông thực tế bằng công cụ perftest được tích hợp sẵn trong gói OFED để đảm bảo không bị suy hao tín hiệu:
Lệnh kiểm tra băng thông ghi bộ nhớ trực tiếp (RDMA Write Bandwidth):
- Trên Máy chủ 1 (Receiver):
ib_write_bw -d mlx5_0 -i 1- Trên Máy chủ 2 (Sender):
ib_write_bw -d mlx5_0 -i 1 <IP_Máy_chủ_1>
Hệ thống đạt tiêu chuẩn vận hành AI quy mô lớn khi biểu đồ băng thông đạt tiệm cận tốc độ thiết kế của card mạng (trên 95% line-rate) và độ trễ duy trì ở mức micro giây ($\mu s$).
5. Hola Group – Đơn Vị Tích Hợp Hạ Tầng Mạng Và Phần Cứng AI Chuyên Nghiệp
Việc thiết lập các cụm siêu máy tính AI sử dụng NVIDIA H200 đòi hỏi sự kết hợp nhuần nhuyễn giữa kiến thức phần cứng hiệu năng cao và kỹ thuật tối ưu hóa mạng lõi Data Center chuyên sâu. Rất nhiều doanh nghiệp gặp hiện tượng sụt giảm hiệu năng AI lên tới 40% chỉ vì cấu hình sai lệch các thông số kiểm soát nghẽn mạch (PFC/ECN) trên Switch.
Tại Việt Nam, Hola Group Co., Ltd tự hào là đối tác công nghệ chiến lược hàng đầu, cung cấp giải pháp trọn gói cho doanh nghiệp:
- Tư vấn và lắp đặt hệ thống máy chủ AI: Cung cấp hệ thống máy chủ GPU cấp doanh nghiệp cấu hình cao (NVIDIA H200, A100, hệ thống phân tán RTX 4090) kết hợp giải pháp lưu trữ NAS/SAN Synology chuyên dụng.
- Thiết kế hạ tầng mạng lõi băng thông siêu rộng: Chuyên cấu hình, tối ưu hóa các giao thức truyền tải dữ liệu tốc độ cao (InfiniBand, RoCE, mạng cáp quang trục tốc độ cao) cho tòa nhà, văn phòng và Data Center lớn.
- Giải pháp kết nối không biên giới: Đơn vị phân phối chính thức dịch vụ Internet vệ tinh Starlink tại Việt Nam, sẵn sàng triển khai hạ tầng kết nối dự phòng (Bridge mode) siêu tin cậy cho các hệ thống phần mềm lõi SAP ERP, Core-Banking hoạt động liên tục bất chấp mọi sự cố gián đoạn đường truyền cáp quang.
Liên hệ ngay với đội ngũ System Engineer của Hola Group để nhận tư vấn kiến trúc hạ tầng mạng AI tối ưu và báo giá tốt nhất cho doanh nghiệp của bạn!
THÔNG TIN LIÊN HỆ HOLA GROUP CO., LTD:
- Website: holagroup.com.vn
- Hotline: 0973.157.932
- Email: sale@holagroup.com.vn