Trong kỷ nguyên Trí tuệ nhân tạo tạo sinh (Generative AI) và các mô hình ngôn ngữ lớn (LLM), siêu chip NVIDIA H200 Tensor Core chính là “quái vật” hiệu năng được săn đón hàng đầu. Tuy nhiên, khi kết nối hàng loạt máy chủ H200 để tạo thành một cụm GPU Cluster mạnh mẽ, bài toán nan giải nhất chính là hiện tượng nghẽn cổ chai đường truyền (Network Bottleneck).

Để giải phóng 100% sức mạnh tính toán phân tán của GPU, việc thiết lập một mạng lưới kết nối tốc độ cao, độ trễ siêu thấp là bắt buộc. Bài viết này, Hola Group sẽ hướng dẫn chi tiết cách cấu hình hai giao thức mạng cốt lõi: InfiniBand và RoCE (RDMA over Converged Ethernet) cho hệ thống máy chủ AI NVIDIA H200.

1. Tổng quan về InfiniBand và RoCE trong hạ tầng AI

Trước khi đi vào cấu hình, chúng ta cần hiểu rõ tại sao hệ thống NVIDIA H200 lại bắt buộc phải sử dụng InfiniBand hoặc RoCE thay vì mạng Ethernet truyền thống.

Cả hai giao thức này đều dựa trên công nghệ RDMA (Remote Direct Memory Access). RDMA cho phép các máy chủ AI truyền dữ liệu trực tiếp từ bộ nhớ (VRAM/RAM) của máy chủ này sang máy chủ khác mà không cần thông qua hệ điều hành hay CPU trung gian. Từ đó, độ trễ được giảm xuống mức microsecond ($10^{-6}$ giây).

• InfiniBand (IB): Giao thức mạng chuyên dụng cho điện toán hiệu năng cao (HPC), được phát triển độc quyền về cả phần cứng lẫn phần mềm (bởi NVIDIA Mellanox). Nó mang lại băng thông tối đa (lên đến 800Gbps với NDR), độ trễ thấp nhất và khả năng quản lý luồng không tổn hao (Lossless) tuyệt đối.
• RoCE v2: Giải pháp chạy giao thức RDMA trực tiếp trên hạ tầng mạng Ethernet sẵn có (thường yêu cầu Switch hỗ trợ kết nối 200Gbps/400Gbps và tính năng PFC – Priority Flow Control). RoCE giúp tiết kiệm chi phí đầu tư phần cứng chuyên dụng nhưng đòi hỏi cấu hình tối ưu rất khắt khe.

2. Chuẩn bị hạ tầng trước khi cấu hình cho NVIDIA H200

Hệ thống máy chủ NVIDIA H200 (như các dòng HGX H200) thường tích hợp sẵn các card mạng cao cấp NVIDIA ConnectX-7 hoặc BlueField-3 DPU. Để chuẩn bị cấu hình, bạn cần tuân thủ các bước sau:

1. Cập nhật Firmware và Driver: Cài đặt gói phần mềm NVIDIA MLNX_OFED (Open Fabrics Enterprise Distribution) mới nhất tương thích với hệ điều hành (Ubuntu Server, RedHat Enterprise Linux).
2. Kiểm tra phần cứng: Đảm bảo các kết nối cáp quang (DAC, AOC) từ card mạng ConnectX-7 lên Switch (InfiniBand Quantum-2 hoặc Switch Ethernet 400G) đã sáng đèn kết nối vật lý.

3. Hướng dẫn chi tiết cấu hình InfiniBand cho cụm máy chủ H200

Mạng InfiniBand vận hành dựa trên một bộ quản lý trung tâm gọi là Subnet Manager (SM). SM có thể chạy trực tiếp trên Switch InfiniBand hoặc chạy trên một máy chủ trong cụm.

Bước 1: Kích hoạt Subnet Manager

Nếu sử dụng SM trên máy chủ Linux, hãy cài đặt và kích hoạt dịch vụ opensm:

Bash

sudo apt-get install opensm  # Đối với Ubuntu
sudo systemctl enable opensm
sudo systemctl start opensm

Bước 2: Kiểm tra trạng thái cổng InfiniBand

Sử dụng lệnh sau để kiểm tra xem các cổng mạng ConnectX-7 đã nhận diện đúng giao thức InfiniBand và đạt trạng thái Active hay chưa:

Bash

ibstat

Mẹo kỹ thuật: Đảm bảo dòng Link layer: hiển thị là InfiniBand và State: là Active. Nếu tốc độ hiển thị đúng định dạng (ví dụ: NDR 400Gbps) tức là phần cứng đã sẵn sàng.

Bước 3: Đo kiểm và cấu hình liên kết GPU (GDR – GPUDirect RDMA)

Để các chip GPU H200 truyền dữ liệu trực tiếp qua mạng InfiniBand mà không cần đi qua RAM hệ thống, hãy kích hoạt module nv_peer_mem:

Bash

sudo modprobe nv_peer_mem
lsmod | grep nv_peer

4. Hướng dẫn cấu hình RoCE v2 cho hệ thống NVIDIA H200

Nếu doanh nghiệp của bạn lựa chọn tối ưu chi phí bằng cách chạy RDMA trên nền mạng Ethernet truyền thống, hãy thực hiện cấu hình RoCE v2 theo các bước dưới đây.

Bước 1: Chuyển đổi chế độ Card mạng sang Ethernet

Mặc định một số card mạng NVIDIA ConnectX-7 có thể đang ở chế độ InfiniBand. Bạn cần dùng công cụ mlxconfig để chuyển sang chế độ Ethernet:

Bash

# Tìm tên thiết bị PCI của card mạng
mst status -v
# Chuyển đổi LINK_TYPE sang Ethernet (ký hiệu là 2)
sudo mlxconfig -d <device_pci_address> set LINK_TYPE_P1=2 LINK_TYPE_P2=2
sudo reboot

Bước 2: Cấu hình RoCE v2 và chế độ Lossless trên Switch Ethernet

Mạng RoCE v2 hoạt động dựa trên các gói tin UDP, rất dễ bị mất gói dữ liệu nếu mạng bị nghẽn. Do đó, trên các Switch Ethernet kết nối vào cụm H200, bạn bắt buộc phải bật tính năng PFC (Priority Flow Control) và ECN (Explicit Congestion Notification) để tạo môi trường mạng Lossless.

Bước 3: Thiết lập RoCE v2 trên Máy chủ H200

Sử dụng công cụ cma_roce_mode để ép hệ thống chạy giao thức RoCE v2 (thay vì v1 lỗi thời):

Bash

sudo cma_roce_mode -d mlx5_0 -p 1 -m 2

(Trong đó -m 2 đại diện cho chế độ RoCE v2).

5. Kiểm tra và tối ưu hóa hiệu năng sau cấu hình

Sau khi đã cấu hình xong InfiniBand hoặc RoCE, bước cuối cùng là chạy các công cụ đo kiểm để đảm bảo băng thông đạt mức tối đa và độ trễ ở mức tối thiểu.

• Kiểm tra băng thông RDMA: Sử dụng lệnh ib_write_bw trên máy chủ nhận và máy chủ gửi để đo tốc độ ghi băng thông.
• Kiểm tra độ trễ: Sử dụng lệnh ib_write_lat để đo độ trễ mạng. Hệ thống cấu hình chuẩn cho NVIDIA H200 phải đạt độ trễ dưới 1.5 microsecond.

Kết luận

Việc làm chủ cấu hình InfiniBand và RoCE chính là chìa khóa vàng để doanh nghiệp khai thác triệt để sức mạnh hủy diệt của hệ thống máy chủ AI NVIDIA H200. Tùy thuộc vào ngân sách và kiến trúc hạ tầng sẵn có, bạn có thể lựa chọn sự ổn định tuyệt đối của InfiniBand hoặc tính linh hoạt, kinh tế của RoCE v2.

Hola Group tự hào là đơn vị tiên phong cung cấp giải pháp, thiết bị phần cứng và dịch vụ cấu hình hệ thống máy chủ AI, GPU Cluster chuyên sâu tại Việt Nam.

Nếu doanh nghiệp của bạn đang gặp khó khăn trong việc triển khai, tối ưu hóa hạ tầng mạng cho các dòng chip AI cao cấp, hãy liên hệ ngay với đội ngũ chuyên gia của chúng tôi để được hỗ trợ kỹ thuật 24/7:

• Doanh nghiệp: Công ty TNHH Hola Group
• Hotline: 0973157932
• Email: sale@holagroup.com.vn
• Website: holagroup.com.vn