Nghiên cứu đột phá: Tái tạo công nghệ AI tiên tiến với chi phí chỉ 30 đô la

Một nhóm nghiên cứu AI từ Đại học California, Berkeley, dẫn đầu bởi nghiên cứu sinh tiến sĩ Jiayi Pan, đã công bố một thành tựu đáng kinh ngạc: họ đã tái tạo thành công các công nghệ cốt lõi của mô hình AI DeepSeek R1-Zero chỉ với chi phí 30 đô la. Nhóm nghiên cứu đã sử dụng trò chơi "Countdown" (Đếm ngược) làm nền tảng để phát triển mô hình ngôn ngữ nhỏ với 3 tỷ tham số. Mô hình này đã tự học được khả năng tự kiểm chứng và tìm kiếm thông tin thông qua quá trình học tăng cường.
Jiayi Pan chia sẻ rằng, họ bắt đầu với một mô hình ngôn ngữ cơ bản, một lời nhắc và một phần thưởng thực tế. Từ đó, họ tiến hành học tăng cường dựa trên trò chơi Countdown. Trong trò chơi này, người chơi phải tìm ra một số mục tiêu ngẫu nhiên từ một nhóm các số được cho bằng cách sử dụng các phép toán số học cơ bản. Ban đầu, mô hình đưa ra các kết quả ngẫu nhiên, nhưng dần dần, nó đã phát triển các chiến thuật như sửa lỗi và tìm kiếm để đưa ra câu trả lời đúng. Mô hình thậm chí còn tự đề xuất câu trả lời, xác minh tính đúng sai và lặp lại quá trình này cho đến khi tìm ra giải pháp chính xác.
Không chỉ dừng lại ở trò chơi Countdown, nhóm nghiên cứu còn thử nghiệm mô hình với phép nhân. Mô hình đã sử dụng một kỹ thuật khác, đó là phân tích vấn đề bằng cách sử dụng tính chất phân phối của phép nhân, tương tự như cách chúng ta thường nhân nhẩm các số lớn.
Nhóm nghiên cứu cũng thử nghiệm với các mô hình cơ bản khác nhau. Khi bắt đầu với mô hình chỉ có 500 triệu tham số, mô hình chỉ đoán một kết quả có thể và dừng lại, bất kể có tìm được câu trả lời đúng hay không. Tuy nhiên, khi sử dụng mô hình 1,5 tỷ tham số, mô hình bắt đầu học được các kỹ thuật khác nhau để đạt điểm số cao hơn. Các mô hình có số lượng tham số lớn hơn, từ 3 đến 7 tỷ, đã tìm ra câu trả lời đúng trong ít bước hơn.
Điều đáng chú ý là toàn bộ quá trình này chỉ tốn khoảng 30 đô la. Để so sánh, các API O1 của OpenAI hiện có giá 15 đô la cho mỗi triệu token đầu vào, đắt hơn gấp 27 lần so với mức 0,55 đô la của DeepSeek-R1. Pan cho biết dự án này nhằm mục đích làm cho nghiên cứu về mở rộng học tăng cường trở nên dễ tiếp cận hơn, đặc biệt là với chi phí thấp như vậy.
Tuy nhiên, chuyên gia học máy Nathan Lambert lại cho rằng, chi phí 5 triệu đô la được báo cáo cho việc đào tạo mô hình ngôn ngữ lớn 671 tỷ tham số của DeepSeek chưa phản ánh đầy đủ bức tranh toàn cảnh. Các chi phí khác như nhân sự nghiên cứu, cơ sở hạ tầng và điện dường như không được tính đến. Lambert ước tính chi phí hoạt động hàng năm của DeepSeek AI có thể lên tới từ 500 triệu đến hơn 1 tỷ đô la. Dù vậy, thành tựu của nhóm nghiên cứu Berkeley vẫn rất ấn tượng, đặc biệt khi các mô hình AI của Mỹ đang chi tới 10 tỷ đô la mỗi năm cho các nỗ lực AI của họ.