Module AI Memryx MX3 M.2: Công nghệ AI mạnh mẽ, nhỏ gọn và tiết kiệm năng lượng!

Công ty khởi nghiệp công nghệ Memryx đến từ Đại học Michigan vừa ra mắt module AI M.2 (giá chỉ $149!) cực kỳ ấn tượng. Với kích thước nhỏ gọn và khả năng tích hợp dễ dàng vào hệ thống có khe cắm PCIe Gen 3 M.2, module này là giải pháp lý tưởng cho các ứng dụng Edge Computing.
Module MX3 M.2 tích hợp 4 chip tăng tốc AI Memryx MX3, mang đến hiệu năng xử lý lên tới 24 TOPS (Tera Operations Per Second) – một con số đáng kinh ngạc – nhưng chỉ tiêu thụ điện năng khiêm tốn từ 6 đến 8W! Không cần làm mát chủ động, module vẫn hoạt động ổn định nhờ bộ tản nhiệt thụ động đi kèm.
Khả năng tương thích phần mềm cũng rất tốt, hỗ trợ các framework phổ biến như TensorFlow và ONNX. Module hoạt động hiệu quả với các mô hình AI nhỏ và vừa, hỗ trợ nhiều định dạng dữ liệu (4-bit, 8-bit, 16-bit và bfloat16). Tuy nhiên, hiện tại bộ nhớ trong (DRAM) còn hạn chế (42 triệu tham số 8-bit). Memryx dự kiến sẽ khắc phục điểm yếu này với card PCIe mới vào năm 2025.
Phoronix đã đánh giá module này và khẳng định tính dễ sử dụng nhờ driver và công cụ phát triển mã nguồn mở của Memryx. Hiệu năng 24 TOPS đủ mạnh cho nhiều tác vụ suy luận (inference), đặc biệt là những tác vụ được tối ưu cho trọng số 8-bit.
Memryx sẽ trình diễn module MX3 tại CES 2025, Las Vegas. Đây là cơ hội tuyệt vời để chứng kiến sức mạnh của công nghệ AI nhỏ gọn, tiết kiệm năng lượng và giá cả phải chăng này!