AMD ra mắt Gaia: Chạy AI trực tiếp trên máy tính Windows, không cần 'mây'!

AMD vừa tung ra Gaia, một dự án mã nguồn mở cho phép bạn chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên máy tính Windows của mình, mà không cần phải phụ thuộc vào dịch vụ đám mây. Điều này có nghĩa là gì? Tưởng tượng bạn có một trợ lý ảo mạnh mẽ, có thể tóm tắt văn bản, giải quyết các vấn đề phức tạp, thậm chí kể chuyện cười, và tất cả đều diễn ra trên máy tính của bạn, ngay cả khi không có kết nối internet! Gaia được thiết kế để tương thích với nhiều loại LLM khác nhau và được tối ưu hóa đặc biệt cho các máy tính sử dụng bộ xử lý Ryzen AI của AMD. Ứng dụng này sử dụng Lemonade SDK, một công cụ mã nguồn mở, để suy luận LLM. Gaia có thể hoạt động như một "agent" RAG (Retrieval-Augmented Generation), kết hợp LLM với một cơ sở kiến thức để đưa ra các phản hồi chính xác và phù hợp hơn với ngữ cảnh. Hiện tại, Gaia bao gồm bốn "agent": * Simple Prompt Completion: Cho phép bạn trực tiếp tương tác với mô hình để thử nghiệm và đánh giá. * Chaty: Phần chatbot để trò chuyện với người dùng. * Clip: Tìm kiếm và trả lời câu hỏi từ YouTube. * Joker: Tạo ra những câu chuyện cười để thêm phần hài hước vào chatbot. Gaia có hai phiên bản cài đặt: một phiên bản phổ thông cho mọi máy tính Windows và một phiên bản "hybrid" được tối ưu hóa cho máy tính Ryzen AI. Phiên bản "hybrid" tận dụng sức mạnh của bộ xử lý thần kinh (NPU) và đồ họa tích hợp (GPU) trên CPU Ryzen AI để tăng hiệu suất. Gaia tham gia vào thị trường ứng dụng LLM cục bộ đang ngày càng phát triển, cùng với các đối thủ như LM Studio và ChatRTX. Việc chạy LLM cục bộ có nhiều lợi ích, bao gồm bảo mật tốt hơn, độ trễ thấp hơn và hiệu suất có thể cao hơn, tùy thuộc vào cấu hình phần cứng. Quan trọng nhất, bạn có thể sử dụng LLM mà không cần kết nối internet.