AMD Instinct MI300: GPU trung tâm dữ liệu nhanh nhất của AMD với doanh thu 1 tỷ đô la trong năm đầu tiên

Trong nhiều năm qua, AMD đã cố gắng giành lấy một phần thị trường GPU trung tâm dữ liệu từ tay Nvidia. Tuy nhiên, công ty đã không đạt được nhiều thành công, chủ yếu là do sự hỗ trợ phần mềm kém cho GPU Instinct của mình. Nhưng có vẻ như tình hình đang được cải thiện và công ty cuối cùng đã có sản phẩm đột phá.

Công cụ TensorRT của NVIDIA tăng hiệu suất cho các tác vụ AI như Stable Diffusion và Llama 2

NVIDIA đã và đang nỗ lực cải tiến bộ công cụ AI/ML (trí tuệ nhân tạo/học máy) và LLM (mô hình ngôn ngữ lớn) của mình. Bổ sung mới nhất là TensorRT và TensorRT-LLM, được thiết kế để tối ưu hóa hiệu suất của GPU tiêu dùng và nhiều card đồ họa tốt nhất để chạy các tác vụ như Stable Diffusion và tạo văn bản Llama 2. Chúng tôi đã thử nghiệm một số GPU mới nhất của NVIDIA bằng TensorRT và nhận thấy hiệu suất trong Stable Diffusion được cải thiện tới 70%. TensorRT hiện có sẵn để tải xuống tại trang GitHub của NVIDIA, mặc dù chúng tôi đã có quyền truy cập sớm cho mục đích của cái nhìn ban đầu này.

Gaudi 2 của Intel vượt trội so với Nvidia trong việc tăng tốc AI Vision-Language

Mặc dù Nvidia thống trị thị trường AI acceleration (thông qua tầm nhìn xa tuyệt vời, một ngăn xếp phần mềm được suy nghĩ và tài liệu tốt, và hiệu suất xử lý thuần túy), các nhà chơi khác cũng muốn chiếm lấy một phần thị trường AI cho riêng mình. Và ít nhất đối với BridgeTower, silicon Gaudi 2 của Intel (được thiết kế và sản xuất thông qua việc Intel mua lại Habana trị giá 2 tỷ USD vào năm 2019) đã được Hugging Face chứng minh rằng nó vượt trội so với A100 80 GB của Nvidia một cách đáng kinh ngạc 2,5 lần - và thậm chí nó còn đánh bại đứa con cưng của Nvidia là H100 1,4 lần

AMD Instinct MI300: GPU trung tâm dữ liệu nhanh nhất của AMD với doanh thu 1 tỷ đô la trong năm đầu tiên

Trong nhiều năm qua, AMD đã cố gắng giành lấy một phần thị trường GPU trung tâm dữ liệu từ tay Nvidia. Tuy nhiên, công ty đã không đạt được nhiều thành công, chủ yếu là do sự hỗ trợ phần mềm kém cho GPU Instinct của mình. Nhưng có vẻ như tình hình đang được cải thiện và công ty cuối cùng đã có sản phẩm đột phá.

Công cụ TensorRT của NVIDIA tăng hiệu suất cho các tác vụ AI như Stable Diffusion và Llama 2

NVIDIA đã và đang nỗ lực cải tiến bộ công cụ AI/ML (trí tuệ nhân tạo/học máy) và LLM (mô hình ngôn ngữ lớn) của mình. Bổ sung mới nhất là TensorRT và TensorRT-LLM, được thiết kế để tối ưu hóa hiệu suất của GPU tiêu dùng và nhiều card đồ họa tốt nhất để chạy các tác vụ như Stable Diffusion và tạo văn bản Llama 2. Chúng tôi đã thử nghiệm một số GPU mới nhất của NVIDIA bằng TensorRT và nhận thấy hiệu suất trong Stable Diffusion được cải thiện tới 70%. TensorRT hiện có sẵn để tải xuống tại trang GitHub của NVIDIA, mặc dù chúng tôi đã có quyền truy cập sớm cho mục đích của cái nhìn ban đầu này.

Gaudi 2 của Intel vượt trội so với Nvidia trong việc tăng tốc AI Vision-Language

Mặc dù Nvidia thống trị thị trường AI acceleration (thông qua tầm nhìn xa tuyệt vời, một ngăn xếp phần mềm được suy nghĩ và tài liệu tốt, và hiệu suất xử lý thuần túy), các nhà chơi khác cũng muốn chiếm lấy một phần thị trường AI cho riêng mình. Và ít nhất đối với BridgeTower, silicon Gaudi 2 của Intel (được thiết kế và sản xuất thông qua việc Intel mua lại Habana trị giá 2 tỷ USD vào năm 2019) đã được Hugging Face chứng minh rằng nó vượt trội so với A100 80 GB của Nvidia một cách đáng kinh ngạc 2,5 lần - và thậm chí nó còn đánh bại đứa con cưng của Nvidia là H100 1,4 lần