Nvidia tuyên bố Superchip Grace Hopper và GPU L4 cung cấp hiệu suất AI vượt trội

Nvidia hôm nay đã công bố rằng họ đã đệ trình kết quả điểm chuẩn đầu tiên cho Superchip CPU + GPU Grace Hopper và bộ tăng tốc GPU L4 của họ cho phiên bản mới nhất của MLPerf, một điểm chuẩn AI tiêu chuẩn công nghiệp được thiết kế để cung cấp một sân chơi bình đẳng để đo lường hiệu suất AI trong các tác vụ khác nhau.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.

Nvidia tuyên bố Superchip Grace Hopper và GPU L4 cung cấp hiệu suất AI vượt trội

Nvidia hôm nay đã công bố rằng họ đã đệ trình kết quả điểm chuẩn đầu tiên cho Superchip CPU + GPU Grace Hopper và bộ tăng tốc GPU L4 của họ cho phiên bản mới nhất của MLPerf, một điểm chuẩn AI tiêu chuẩn công nghiệp được thiết kế để cung cấp một sân chơi bình đẳng để đo lường hiệu suất AI trong các tác vụ khác nhau.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.