The rise of AI infrastructure — GPU shortage và cuộc đua data

📖 Cấp độ: Advanced ⏱️ Thời gian đọc: ~12 phút 📰 Chủ đề: AI / Infrastructure

📰 Bài đọc (English)

The generative-AI boom has exposed a truth that venture capitalists and hyperscalers alike are scrambling to address: the world does not have nearly enough computational infrastructure to support the models being built today, let alone the ones planned for tomorrow. What was once a niche concern for chip designers has become a geopolitical issue involving export controls, sovereign investment funds, and multi-billion-dollar construction projects.

At the center of the crisis sits Nvidia. The company’s A100 and H100 graphics processing units have become the de facto standard for training large language models, and demand far outstrips supply. Lead times for H100 orders stretched to over six months in early 2023, and secondary-market prices surged to more than double the list price. Nvidia’s data-center revenue hit a record 10.3 billion dollars in a single quarter, a year-over-year increase of 171 percent — a figure that would have seemed implausible just eighteen months earlier.

The shortage has sparked a data-center building frenzy. Microsoft has committed over ten billion dollars in capital expenditure for AI-related infrastructure in fiscal 2024 alone. Google is constructing new facilities in Ohio and Malaysia specifically designed around liquid-cooled GPU clusters. Amazon Web Services, not wanting to be left behind, has earmarked billions for custom Trainium and Inferentia chips manufactured by its Annapurna Labs subsidiary, aiming to reduce its own reliance on Nvidia silicon.

Startups are also capitalizing on the infrastructure gap. CoreWeave, originally a cryptocurrency-mining operation, pivoted to GPU cloud services and recently secured a 2.3-billion-dollar debt facility — one of the largest in startup history. Lambda Labs and Together AI offer on-demand GPU clusters tailored for model training, while Cerebras and Graphcore are betting that entirely new chip architectures can circumvent the GPU bottleneck altogether.

The geopolitical dimension adds another layer of complexity. Washington’s October 2022 export controls restrict the sale of advanced AI chips to China, prompting Beijing to accelerate domestic alternatives through Huawei’s Ascend line and state-backed fabrication plants. The Middle East has emerged as an unexpected player: Saudi Arabia and the UAE are channeling sovereign wealth into GPU procurement and data-center construction, positioning themselves as neutral compute hubs.

Energy consumption is the final piece of the puzzle. Training a frontier model like GPT-4 is estimated to require gigawatt-hours of electricity — equivalent to the annual consumption of a small city. As data centers proliferate, grid operators in Virginia, Ireland, and Singapore have already flagged capacity constraints. The industry’s carbon footprint is rising at precisely the moment when climate commitments demand it shrink.

The AI infrastructure race is, in many ways, the defining industrial story of the decade. Whoever controls the compute controls the models — and, increasingly, the economic and strategic advantages that flow from them.

📚 Từ vựng chính

🇻🇳 Bản dịch tiếng Việt

Cơn bùng nổ AI tạo sinh đã phơi bày một sự thật mà cả các nhà đầu tư mạo hiểm lẫn các tập đoàn hyperscaler đều đang chạy đua giải quyết: thế giới không có đủ hạ tầng tính toán để hỗ trợ các mô hình đang được xây dựng ngày nay, chưa nói đến những mô hình được lên kế hoạch cho ngày mai. Điều từng là mối quan tâm ngách của các nhà thiết kế chip đã trở thành vấn đề địa chính trị liên quan đến kiểm soát xuất khẩu, quỹ đầu tư quốc gia và các dự án xây dựng trị giá hàng tỷ đô.

Ở trung tâm cuộc khủng hoảng là Nvidia. Các đơn vị xử lý đồ họa A100 và H100 của công ty đã trở thành chuẩn trên thực tế để huấn luyện các mô hình ngôn ngữ lớn, và nhu cầu vượt xa nguồn cung. Thời gian chờ đơn đặt H100 kéo dài hơn sáu tháng vào đầu 2023, và giá thị trường thứ cấp tăng vọt lên hơn gấp đôi giá niêm yết. Doanh thu data center của Nvidia đạt kỷ lục 10,3 tỷ đô trong một quý duy nhất, tăng 171% so với cùng kỳ năm trước — con số có vẻ khó tin chỉ mười tám tháng trước đó.

Tình trạng thiếu hụt đã châm ngòi cơn sốt xây dựng data center. Microsoft đã cam kết hơn mười tỷ đô chi tiêu vốn cho hạ tầng liên quan đến AI chỉ riêng trong năm tài chính 2024. Google đang xây dựng các cơ sở mới tại Ohio và Malaysia được thiết kế đặc biệt cho các cụm GPU làm mát bằng chất lỏng. Amazon Web Services, không muốn bị bỏ lại phía sau, đã dành riêng hàng tỷ đô cho các chip Trainium và Inferentia tùy chỉnh do công ty con Annapurna Labs sản xuất, nhằm giảm sự phụ thuộc vào chip Nvidia.

Các startup cũng đang tận dụng khoảng trống hạ tầng. CoreWeave, ban đầu là một hoạt động đào tiền mã hóa, đã chuyển hướng sang dịch vụ GPU cloud và gần đây đã huy động được 2,3 tỷ đô vay nợ — một trong những khoản lớn nhất lịch sử startup. Lambda Labs và Together AI cung cấp cụm GPU theo yêu cầu được thiết kế riêng cho huấn luyện mô hình, trong khi Cerebras và Graphcore đặt cược rằng các kiến trúc chip hoàn toàn mới có thể vượt qua nút thắt GPU hoàn toàn.

Chiều hướng địa chính trị thêm một lớp phức tạp nữa. Các biện pháp kiểm soát xuất khẩu tháng 10/2022 của Washington hạn chế bán chip AI tiên tiến cho Trung Quốc, thúc đẩy Bắc Kinh đẩy nhanh các giải pháp thay thế nội địa thông qua dòng Ascend của Huawei và các nhà máy chế tạo được nhà nước hậu thuẫn. Trung Đông nổi lên như một bên tham gia bất ngờ: Ả Rập Saudi và UAE đang rót quỹ tài sản quốc gia vào thu mua GPU và xây dựng data center, tự định vị là các trung tâm tính toán trung lập.

Tiêu thụ năng lượng là mảnh ghép cuối cùng. Huấn luyện một mô hình tiên phong như GPT-4 ước tính cần hàng gigawatt-giờ điện — tương đương mức tiêu thụ hàng năm của một thành phố nhỏ. Khi data center mọc lên khắp nơi, các nhà vận hành lưới điện tại Virginia, Ireland và Singapore đã cảnh báo về giới hạn công suất. Dấu chân carbon của ngành đang tăng đúng lúc các cam kết khí hậu đòi hỏi nó phải giảm.

Cuộc đua hạ tầng AI, theo nhiều cách, là câu chuyện công nghiệp mang tính quyết định của thập kỷ. Ai kiểm soát năng lực tính toán sẽ kiểm soát các mô hình — và ngày càng nhiều hơn, các lợi thế kinh tế và chiến lược phát sinh từ chúng.

📝 Phân tích ngữ pháp

Câu 1: “The generative-AI boom has exposed a truth that venture capitalists and hyperscalers alike are scrambling to address: the world does not have nearly enough computational infrastructure to support the models being built today, let alone the ones planned for tomorrow.”

• Cấu trúc: S + has V-ed + O + that-clause: S + does not have + nearly enough + N + to-V, let alone + noun phrase
• Ngữ pháp: “Let alone” = chưa nói đến — dùng để nhấn mạnh nếu điều nhỏ hơn đã khó thì điều lớn hơn càng không thể. “Being built” (present participle passive) và “planned” (past participle) làm hậu tố bổ nghĩa cho danh từ
• Ví dụ tương tự: The team doesn’t have enough engineers to maintain current systems, let alone the new features on the roadmap.

Câu 2: “Lead times for H100 orders stretched to over six months in early 2023, and secondary-market prices surged to more than double the list price.”

• Cấu trúc: S1 + V + to + time expression, and S2 + V + to + more than + multiplier + O
• Ngữ pháp: “More than double” — cấu trúc bội số (multiplier structure) dùng trong so sánh kinh tế. “Stretched to” và “surged to” đều dùng “to” chỉ đích đến của sự tăng trưởng
• Ví dụ tương tự: Delivery timelines extended to three quarters, and component costs rose to nearly triple pre-pandemic levels.

Câu 3: “CoreWeave, originally a cryptocurrency-mining operation, pivoted to GPU cloud services and recently secured a 2.3-billion-dollar debt facility — one of the largest in startup history.”

• Cấu trúc: S + , appositive phrase, + V1 + to + O + and + V2 + O — appositive
• Ngữ pháp: Hai cụm đồng vị (appositive phrases) — “originally a cryptocurrency-mining operation” bổ nghĩa cho CoreWeave, và “one of the largest in startup history” bổ nghĩa cho debt facility. Kỹ thuật viết báo để nén nhiều thông tin vào một câu
• Ví dụ tương tự: Stripe, originally a payments API, expanded into lending and recently launched a banking-as-a-service product — one of the most ambitious moves in fintech.

Câu 4: “Washington’s October 2022 export controls restrict the sale of advanced AI chips to China, prompting Beijing to accelerate domestic alternatives through Huawei’s Ascend line and state-backed fabrication plants.”

• Cấu trúc: S + V + O, prompting + O + to-V + O + through + means
• Ngữ pháp: Phân từ hiện tại (present participle) “prompting” dùng làm mệnh đề kết quả (result clause) — diễn tả hệ quả tự nhiên của hành động trước. “Through” chỉ phương tiện/cách thức
• Ví dụ tương tự: The EU’s AI Act imposes strict compliance requirements, prompting tech companies to restructure their data pipelines across the region.

Câu 5: “The industry’s carbon footprint is rising at precisely the moment when climate commitments demand it shrink.”

• Cấu trúc: S + is V-ing + at precisely the moment + when-clause (demand + S + V-subjunctive)
• Ngữ pháp: Thể giả định (subjunctive mood) sau “demand” — “demand it shrink” thay vì “demand it shrinks”. Đây là cách dùng formal trong tiếng Anh viết. “At precisely the moment when” tạo irony — sự mâu thuẫn đầy ý nghĩa
• Ví dụ tương tự: Cloud spending is accelerating at precisely the moment when CFOs insist budgets contract.

✏️ Bài tập

Comprehension (Đọc hiểu)

1. Why have Nvidia’s H100 GPUs become so difficult to obtain?
2. How are hyperscalers like Microsoft, Google, and AWS responding to the GPU shortage?
3. What role is geopolitics playing in the AI infrastructure race?

Vocabulary (Từ vựng)

Điền từ thích hợp:

1. The startup ___ from B2C e-commerce to enterprise SaaS after failing to find product-market fit.
2. The government has ___ $500 million for semiconductor research grants.
3. Demand for cloud GPUs far ___ the available supply.
4. Training large models requires ___ resources equivalent to powering a small city.
5. Companies are looking for ways to ___ US export restrictions on advanced chips.