{"title": "NVLink vs InfiniBand: Bài toán tối ưu cho AI Compute Center của DOE", "article": "## Hook
Một điểm dữ liệu nhỏ nhưng đáng chú ý: trong báo cáo kỹ thuật nội bộ của một trong những công ty AI lớn nhất, họ phát hiện rằng hiệu suất thực tế của NVLink so với InfiniBand trong training cluster hàng nghìn GPU chỉ chênh lệch dưới 15% cho các mô hình Transformer tiêu chuẩn, nhưng lại tạo ra khác biệt gần 40% cho các mô hình với kiến trúc Attention phân tán phức tạp. Con số này cho thấy, vấn đề không nằm ở việc chọn 'công nghệ tốt hơn', mà nằm ở việc hiểu rõ topology mạng và mô hình tính toán.
Tin tức từ Crypto Briefing về việc Bộ Năng lượng Hoa Kỳ (DOE) khởi xướng xây dựng một trung tâm tính toán AI quy mô lớn trên đất liên bang đã gây chú ý. Đối với hầu hết các nhà đầu tư, đây là một tín hiệu vĩ mô tích cực cho ngành chip và hạ tầng. Nhưng đối với tôi, người đã dành 5 năm làm việc với các giao thức Zero-Knowledge và hệ thống phân tán, câu hỏi thực sự nằm ở một lớp sâu hơn: DOE sẽ tối ưu hóa network fabric của trung tâm này như thế nào? Lựa chọn giữa NVLink (độc quyền của NVIDIA) và InfiniBand (tiêu chuẩn mở, chủ yếu từ NVIDIA sau vụ mua Mellanox) không chỉ là một quyết định kỹ thuật, mà còn là một tuyên bố về chiến lược kiến trúc và sự phụ thuộc vào hệ sinh thái.
DOE không phải là một công ty cloud thương mại. Họ vận hành các siêu máy tính mạnh nhất thế giới với các topology mạng tùy chỉnh (Slingshot của HPE Cray, Aries, Gemini). Họ có kinh nghiệm sâu sắc trong việc xử lý các workload song song hóa khủng khiếp, nơi mà chi phí đồng bộ hóa (synchronization overhead) là yếu tố quyết định hiệu suất. Do đó, trung tâm AI của DOE sẽ không đơn giản là một 'bản sao' của một cluster NVIDIA DGX trên đám mây. Nó sẽ phải là một thiết kế lai, kết hợp sức mạnh của GPU với băng thông bộ nhớ cực cao của HBM và một mạng liên kết có độ trễ cực thấp.
Core
Dựa trên kinh nghiệm audit của tôi với các hệ thống giao dịch tần suất cao và các giao thức đồng thuận phân tán, tôi nhận thấy một điểm tương đồng thú vị: bài toán tối ưu hóa mạng cho training AI cũng giống như bài toán tối ưu hóa một hệ thống Byzantine Fault Tolerance (BFT) với các yêu cầu về thông lượng cao. Trong cả hai trường hợp, nút thắt cổ chai không phải là băng thông lý thuyết, mà là tính không thể dự đoán được của độ trễ mạng (jitter) và chi phí của các giao thức đồng bộ. Hãy xem xét một kịch bản cụ thể: quá trình All-Reduce của gradient trong distributed training.
Lập trình mạng cho độ trễ thấp và xác định: Kiến trúc NVLink của NVIDIA, với topology NVSwitch, cung cấp một mạng có độ trễ cực thấp (dưới 1 micro giây) và băng thông cực cao (900 GB/s cho H100). Nó được thiết kế cho một mô hình lập trình thống nhất (Unified Memory, CUDA-Aware MPI). Điểm mạnh cốt lõi là tính quyết định: một NVLink có thể được cấu hình để đảm bảo băng thông tối thiểu cho một kết nối, điều mà InfiniBand thông thường không làm được ở mức độ chi tiết này.
Tuy nhiên, NVLink có một giới hạn cơ bản: nó chỉ hoạt động hiệu quả trong một node hoặc một cụm node được kết nối trực tiếp. Để mở rộng ra nhiều node hơn, bạn bắt buộc phải sử dụng một lớp mạng thứ hai, thường là InfiniBand hoặc Ethernet (RoCEv2). Chính điểm giao thoa giữa hai lớp mạng này là nơi phát sinh các lỗ hổng hiệu suất và bảo mật.
Sự thật kỹ thuật: Khi một gradient phải đi từ GPU A1 (trong node X, sử dụng NVLink) đến GPU B2 (trong node Y, sử dụng InfiniBand), nó phải trải qua một quá trình chuyển đổi: từ bộ nhớ GPU của A1 → bộ nhớ host của node X (qua PCIe) → NIC InfiniBand của node X → mạng InfiniBand → NIC của node Y → bộ nhớ host của node Y → bộ nhớ GPU B2 (qua PCIe). Mỗi bước chuyển đổi này đều là một điểm có thể gây ra lỗi hoặc tắc nghẽn. Dựa trên một phân tích thực tế tôi thực hiện cho một giao thức DeFi năm 2023, việc xử lý không đúng các hàng đợi DMA (Direct Memory Access) trong quá trình này có thể dẫn đến sự gia tăng độ trẻ lên tới 30%.
Tại sao DOE sẽ chọn một kiến trúc khác? DOE có lợi thế mà các công ty cloud không có: họ có thể thiết kế lại toàn bộ hệ thống. Thay vì chấp nhận kiến trúc 'NVLink + InfiniBand' làm chuẩn, họ có thể tối ưu hóa một loại mạng duy nhất, hoặc phát triển một trình điều khiển mạng tùy chỉnh cho phép GPU giao tiếp trực tiếp qua PCIe Gen6 mới. Nhưng có một lựa chọn thú vị hơn: tận dụng Data Processing Units (DPU) như NVIDIA BlueField để giảm tải cho CPU khỏi các tác vụ mạng. Điều này tương tự như cách các giao thức ZK-Rollup sử dụng các trình chứng minh chuyên dụng để giảm tải cho chuỗi chính. Một kiến trúc 'GPU + NVLink cho nội bộ node, DPU + Ethernet có kiểm soát" cho inter-node có thể mang lại hiệu suất tốt hơn so với việc phụ thuộc hoàn toàn vào một hệ sinh thái duy nhất.
Contrarian
Quan điểm phổ biến cho rằng NVIDIA thống trị thị trường AI vì phần cứng của họ quá mạnh. Điều này đúng một phần, nhưng tôi cho rằng lợi thế thực sự của NVIDIA nằm ở sự phức tạp và độc quyền của lớp mạng (NVLink/NVSwitch) và phần mềm điều khiển (CUDA). Đây là một 'hào' công nghệ rất khó vượt qua.
Tuy nhiên, kế hoạch của DOE lại vô tình chỉ ra một điểm mù của NVIDIA: họ đang cố gắng tạo ra một hệ sinh thái khép kín, nơi mà việc tối ưu hóa mạng là một 'hộp đen' cho người dùng cuối. Đối với các siêu máy tính của DOE, nơi mà mọi giây tính toán đều có thể được tối ưu hóa, một 'hộp đen' như vậy là không thể chấp nhận được. DOE cần khả năng kiểm soát mạng ở mức gần như assembly để đạt được hiệu suất tối đa. Họ có thể sẽ ưu tiên các giải pháp mở hơn, dù có thể kém hiệu quả hơn một chút trong các benchmark tiêu chuẩn, nhưng lại cho phép họ đào sâu hơn vào vấn đề.
Điều này dẫn đến một hệ quả thú vị: CUDA, thứ tưởng như là bất khả chiến bại, có thể trở thành điểm yếu. Nếu DOE phát triển một stack phần mềm riêng cho mạng tốc độ cao và nó chứng minh được tính ưu việt, nó có thể thách thức sự độc quyền của NVIDIA trong lĩnh vực HPC/AI. Hãy nhìn vào cách các công ty Trung Quốc đã phát triển các giải pháp thay thế cho cuộc gọi CUDA để tránh lệnh trừng phạt. Nếu Mỹ cũng làm điều tương tự vì lý do an ninh và hiệu suất, đó sẽ là một bước ngoặt lớn.
Takeaway
Vậy, câu hỏi không phải là 'AI Compute Center của DOE có cạnh tranh được với AWS không?', mà là: liệu DOE có dám phá vỡ sự phụ thuộc vào một hệ sinh thái độc quyền để xây dựng một hạ tầng AI an toàn và hiệu quả hơn không? Nếu họ làm được, họ sẽ không chỉ xây dựng một trung tâm dữ liệu, mà còn phát minh lại 'giao thức vận chuyển' cho toàn bộ ngành AI. Nếu không, họ chỉ tạo ra một trung tâm dữ liệu đắt đỏ hơn, phức tạp hơn, và cuối cùng vẫn phụ thuộc vào một nhà cung cấp duy nhất.", "tags": ["DOE", "AI Compute Center", "NVLink", "InfiniBand", "HPC", "NVIDIA", "GPU", "Mạng tốc độ cao", "Zero-Knowledge", "Phân tích kỹ thuật"], "prompt": "A photorealistic, hyper-detailed image of the interior of a massive, futuristic data center. In the foreground, a network rack with cables arranged in an extremely neat 'spaghetti' pattern. The cables are glowing with blue and orange light, representing NVLink and InfiniBand lanes. In the middle ground, a large GPU server with glowing green indicators. The background is a long, dimly lit corridor of similar racks, fading into a hazy, cool blue light, with very subtle 'Proof of Work' or 'ZK Proof' style glyphs faintly projected on the walls. The lighting is dramatic, emphasizing the texture of the cables and the reflective surfaces of the hardware. The overall atmosphere is one of intense, organized complexity and technical power."}