Chat with RTX của NVIDIA là một chatbot AI chạy cục bộ trên PC

Vừa qua, NVIDIA đã trình làng phiên bản đầu tiên của Chat with RTX, một ứng dụng cho phép người dùng chạy chatbot AI ngay trên PC của mình. Trong thông tin mà hãng đưa ra, người dùng có thể cung cấp cho Chat with RTX một video YouTube hay các tài liệu cá nhân để tạo tóm tắt nội dung và nhận các câu trả lời liên quan dựa trên dữ liệu. đầu vào.

NVIDIA ra mắt chatbot AI cho PC

Theo The Verge, Chat with RTX có thể xử lý nhiều tác vụ khác nhau. Chẳng hạn, người dùng chỉ cần nhập đường dẫn của một video YouTube, sau đó yêu cầu chatbot tóm tắt nội dung từ bản ghi. Họ cũng có thể đưa một file bất kỳ vào, sau đó nhờ Chat with RTX tìm kiếm hoặc phân tích một chi tiết phức tạp nào đó.

Chatbot AI này cũng hỗ trợ quét và xử lý các tệp PDF tương tự Copilot của Microsoft. Tuy nhiên, công cụ đến từ NVIDIA cho tốc độ phản hồi gần như lập tức, không xuất hiện độ trễ như đối thủ.

Hạn chế lớn nhất của Chat with RTX đến từ quá trình cài đặt phức tạp. Khi mới thiết lập, ứng dụng sẽ tải xuống một máy chủ web và các gói cài đặt của Python3 vào PC của người dùng. Sau đó, Chat with RTX sẽ sử dụng mô hình Mistral hay Llama 2 để truy vấn dữ liệu đầu vào, rồi dùng lõi Tensor trên GPU NVIDIA để tăng tốc độ xử lý.

Để sử dụng Chat with RTX, người dùng cần có một chiếc PC trang bị card đồ hoạ rời RTX 30 hoặc 40-series cùng ít nhất 8GB VRAM. Ngoài ra, NVIDIA cũng khuyến cáo người dùng chỉ nên cài đặt nếu có nhu cầu trải nghiệm công nghệ, chứ không dùng làm công cụ hỗ trợ công việc thường ngày.

Yêu cầu hệ thống

Nguồn: The Verge