Mức tiêu thụ điện năng khổng lồ của các trung tâm dữ liệu AI

Nhu cầu về AI đang rất lớn hiện nay. Công ty Schneider Electric của Pháp ước tính rằng mức tiêu thụ điện năng của các khối lượng công việc AI sẽ đạt khoảng 4,3 GW vào năm 2023, thấp hơn một chút so với mức tiêu thụ điện năng của quốc gia Cyprus (4,7 GW) vào năm 2021. Công ty dự đoán rằng mức tiêu thụ điện năng của các khối lượng công việc AI sẽ tăng trưởng với tốc độ tăng trưởng kép hàng năm (CAGR) từ 26% đến 36%, điều này cho thấy rằng vào năm 2028, các khối lượng công việc AI sẽ tiêu thụ từ 13,5 GW đến 20 GW, nhiều hơn mức tiêu thụ của Iceland vào năm 2021.

Vào năm 2023, tổng mức tiêu thụ điện năng của tất cả các trung tâm dữ liệu ước tính là 54 GW, với các khối lượng công việc AI chiếm 4,3 GW nhu cầu này, theo Schneider Electric. Trong các khối lượng công việc AI này, sự phân bổ giữa đào tạo và suy luận được đặc trưng bởi 20% năng lượng được tiêu thụ cho mục đích đào tạo và 80% được phân bổ cho các nhiệm vụ suy luận. Điều này có nghĩa là khối lượng công việc AI sẽ chịu trách nhiệm cho khoảng 8% tổng mức tiêu thụ điện năng của các trung tâm dữ liệu trong năm nay. Nhìn về năm 2028, Schneider dự đoán rằng tổng mức tiêu thụ điện năng của các trung tâm dữ liệu sẽ tăng lên 90 GW, với các khối lượng công việc AI tiêu thụ từ 13,5 GW đến 20 GW trong tổng số này. Điều này cho thấy rằng vào năm 2028, AI có thể chịu trách nhiệm tiêu thụ khoảng 15% đến 20% tổng mức sử dụng điện của các trung tâm dữ liệu, cho thấy sự gia tăng đáng kể tỷ trọng điện năng tiêu thụ bởi các khối lượng công việc AI trong các trung tâm dữ liệu trong khoảng thời gian 5 năm. Sự phân bổ giữa đào tạo và suy luận dự kiến sẽ thay đổi một chút, với đào tạo tiêu thụ 15% năng lượng và suy luận chiếm 85%, theo ước tính của Schneider Electric.

Mức tiêu thụ điện năng ngày càng tăng trong các trung tâm dữ liệu AI chủ yếu là do sự gia tăng của khối lượng công việc AI, những tiến bộ của GPU AI và bộ xử lý AI, và các yêu cầu ngày càng tăng của phần cứng trung tâm dữ liệu khác. Ví dụ: A100 của Nvidia từ năm 2020 tiêu thụ tới 400W, H100 từ năm 2022 tiêu thụ tới 700W. Ngoài GPU, các máy chủ AI cũng chạy CPU và card mạng ngốn điện.

Các khối lượng công việc AI, đặc biệt là những khối lượng công việc liên quan đến đào tạo, đòi hỏi nguồn tài nguyên tính toán đáng kể, bao gồm các máy chủ chuyên dụng được trang bị GPU AI, ASIC chuyên dụng hoặc CPU. Quy mô của các cụm AI, bị ảnh hưởng bởi độ phức tạp và độ lớn của các mô hình AI, là yếu tố quyết định chính đến mức tiêu thụ điện năng. Các mô hình AI lớn hơn đòi hỏi một số lượng GPU đáng kể hơn, do đó làm tăng nhu cầu năng lượng tổng thể. Ví dụ, một cụm với 22.000 GPU H100 sử dụng khoảng 700 giá đỡ. Một giá đỡ dựa trên H100, khi được trang bị tám máy chủ tăng tốc GPU HPE Cray XD670, dẫn đến tổng mật độ giá đỡ là 80 kW. Do đó, toàn bộ cụm yêu cầu khoảng 31 MW điện, không bao gồm năng lượng cần thiết cho các nhu cầu cơ sở hạ tầng bổ sung như làm mát, Schneider Electric lưu ý.

Các cụm và GPU này thường hoạt động gần hết công suất trong suốt quá trình đào tạo, đảm bảo rằng mức sử dụng năng lượng trung bình gần như đồng nghĩa với mức tiêu thụ điện năng cao nhất. Tài liệu chỉ rõ rằng mật độ giá đỡ trong các cụm AI đáng kể dao động từ 30 kW đến 100 kW, tùy thuộc vào số lượng và kiểu máy của GPU.

Độ trễ mạng cũng đóng một vai trò