CEO của Lamini đùa cợt về tình trạng thiếu hụt GPU của Nvidia, tuyên bố phần mềm LLMs của công ty có thể chạy trên GPU AMD có sẵn

Sharon Zhou, CEO của Lamini, một công ty khởi nghiệp về mô hình ngôn ngữ lớn (LLM) trí tuệ nhân tạo (AI), đã đăng một video lên Twitter/X để chế giễu tình trạng thiếu hụt GPU của Nvidia đang diễn ra. Người đứng đầu Lamini hiện đang khá tự mãn, và điều này dường như là do phần lớn các LLM của công ty chạy độc quyền trên kiến trúc GPU AMD có sẵn. Hơn nữa, công ty tuyên bố rằng GPU AMD sử dụng ROCm đã đạt được "sự tương đương về phần mềm" với nền tảng Nvidia CUDA vốn thống trị trước đây.

Video cho thấy Sharon Zhou, CEO của Lamini, đang kiểm tra lò nướng để tìm kiếm một số GPU AI LLM. Đầu tiên, bà đi vào một nhà bếp, bề ngoài giống với coquina nổi tiếng của Jensen Huang ở California, nhưng khi kiểm tra lò nướng, bà lưu ý rằng có "thời gian chờ 52 tuần - chưa sẵn sàng." Thất vọng, Zhou kiểm tra vỉ nướng trong sân, và có một GPU AMD Instinct mới được BBQ sẵn sàng để lấy.

Chúng ta không biết lý do kỹ thuật nào khiến GPU Nvidia cần nấu trong lò trong thời gian dài trong khi GPU AMD có thể được chế biến trên vỉ nướng. Hy vọng rằng, độc giả của chúng tôi có thể làm sáng tỏ một số câu hỏi về chất bán dẫn này trong phần bình luận. Trên một lưu ý nghiêm túc hơn, nếu chúng ta nhìn kỹ hơn vào Lamini, công ty khởi nghiệp LLM hàng đầu, chúng ta có thể thấy rằng họ không phải là trò đùa. CRN đã cung cấp một số thông tin cơ bản về công ty khởi nghiệp có trụ sở tại Palo Alto, Calif. vào thứ Ba. Một số điều quan trọng được đề cập trong phạm vi bao gồm thực tế là CEO của Lamini, Sharon Zhou là một chuyên gia về học máy và CTO Greg Diamos là cựu kiến trúc sư phần mềm Nvidia CUDA.

Hóa ra Lamini đã "bí mật" chạy LLM trên GPU AMD Instinct trong năm qua, với một số doanh nghiệp hưởng lợi từ LLM riêng trong thời gian thử nghiệm. Khách hàng đáng chú ý nhất của Lamini có lẽ là AMD, những người đã "triển khai Lamini trong cụm Kubernetes nội bộ của chúng tôi với GPU AMD Instinct và đang sử dụng finetuning để tạo các mô hình được huấn luyện trên cơ sở mã AMD trên nhiều thành phần cho các tác vụ phát triển cụ thể." Một tuyên bố quan trọng từ Lamini là chỉ cần "3 dòng mã" để chạy LLM sẵn sàng sản xuất trên GPU AMD Instinct. Ngoài ra, Lamini được cho là có lợi thế chính là hoạt động trên GPU AMD sẵn có. CTO Diamos cũng khẳng định rằng hiệu suất của Lamini không bị lu mờ bởi các giải pháp của Nvidia, vì AMD ROCm đã đạt được "sự tương đương về phần mềm" với Nvidia CUDA cho LLM.

Chúng tôi mong đợi điều đó từ một công ty tập trung vào việc cung cấp các giải pháp LLM sử dụng phần cứng AMD, mặc dù họ không sai hẳn. GPU AMD Instinct có thể cạnh tranh với GPU Nvidia A100 và H100, đặc biệt nếu bạn có đủ số lượng. Ví dụ, Instinct MI250 cung cấp lên đến 362 teraflop tính toán BF16/FP16 cao điểm cho khối lượng công việc AI và MI250X đẩy nó lên 383 teraflop. Cả hai đều có bộ nhớ HBM2e 128GB, điều này có thể rất quan trọng cho việc chạy LLM. Instinct MI300X sắp tới của AMD đồng thời tăng dung lượng bộ nhớ lên 192GB, gấp đôi những gì bạn có thể có với Hopper H100 của Nvidia. Tuy nhiên, AMD vẫn chưa chính thức tiết lộ hiệu suất tính toán của MI300, nhưng có thể chắc chắn rằng nó sẽ cao hơn MI250X, nhưng cao hơn bao nhiêu thì chưa được biết đầy