Module AI Memryx MX3 M.2: Công nghệ AI mạnh mẽ, nhỏ gọn và tiết kiệm năng lượng!

Công ty khởi nghiệp công nghệ Memryx đến từ Đại học Michigan vừa ra mắt module AI M.2 (giá chỉ $149!) cực kỳ ấn tượng. Với kích thước nhỏ gọn và khả năng tích hợp dễ dàng vào hệ thống có khe cắm PCIe Gen 3 M.2, module này là giải pháp lý tưởng cho các ứng dụng Edge Computing.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.

Module AI Memryx MX3 M.2: Công nghệ AI mạnh mẽ, nhỏ gọn và tiết kiệm năng lượng!

Công ty khởi nghiệp công nghệ Memryx đến từ Đại học Michigan vừa ra mắt module AI M.2 (giá chỉ $149!) cực kỳ ấn tượng. Với kích thước nhỏ gọn và khả năng tích hợp dễ dàng vào hệ thống có khe cắm PCIe Gen 3 M.2, module này là giải pháp lý tưởng cho các ứng dụng Edge Computing.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.