Công cụ TensorRT của NVIDIA tăng hiệu suất cho các tác vụ AI như Stable Diffusion và Llama 2

NVIDIA đã và đang nỗ lực cải tiến bộ công cụ AI/ML (trí tuệ nhân tạo/học máy) và LLM (mô hình ngôn ngữ lớn) của mình. Bổ sung mới nhất là TensorRT và TensorRT-LLM, được thiết kế để tối ưu hóa hiệu suất của GPU tiêu dùng và nhiều card đồ họa tốt nhất để chạy các tác vụ như Stable Diffusion và tạo văn bản Llama 2. Chúng tôi đã thử nghiệm một số GPU mới nhất của NVIDIA bằng TensorRT và nhận thấy hiệu suất trong Stable Diffusion được cải thiện tới 70%. TensorRT hiện có sẵn để tải xuống tại trang GitHub của NVIDIA, mặc dù chúng tôi đã có quyền truy cập sớm cho mục đích của cái nhìn ban đầu này.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.

Công cụ TensorRT của NVIDIA tăng hiệu suất cho các tác vụ AI như Stable Diffusion và Llama 2

NVIDIA đã và đang nỗ lực cải tiến bộ công cụ AI/ML (trí tuệ nhân tạo/học máy) và LLM (mô hình ngôn ngữ lớn) của mình. Bổ sung mới nhất là TensorRT và TensorRT-LLM, được thiết kế để tối ưu hóa hiệu suất của GPU tiêu dùng và nhiều card đồ họa tốt nhất để chạy các tác vụ như Stable Diffusion và tạo văn bản Llama 2. Chúng tôi đã thử nghiệm một số GPU mới nhất của NVIDIA bằng TensorRT và nhận thấy hiệu suất trong Stable Diffusion được cải thiện tới 70%. TensorRT hiện có sẵn để tải xuống tại trang GitHub của NVIDIA, mặc dù chúng tôi đã có quyền truy cập sớm cho mục đích của cái nhìn ban đầu này.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.