Google vừa chính thức ra mắt mô hình âm thanh Gemini 3.5 Live Translate nhằm cung cấp khả năng dịch thuật giọng nói theo thời gian thực cho người dùng toàn cầu. Mô hình mới này tự động nhận diện và hỗ trợ hơn 70 ngôn ngữ, giúp các cuộc hội thoại đa quốc gia diễn ra liên tục mà không cần chờ người nói kết thúc câu. Hiện tại, Google đã triển khai tính năng này thông qua Gemini Live API, đồng thời tích hợp vào các ứng dụng quen thuộc như Google Meet và Google Translate trên cả hai nền tảng Android lẫn iOS.
Khả năng của mô hình Gemini 3.5 Live Translate
Mô hình âm thanh mới này thay đổi hoàn toàn cách hoạt động so với các hệ thống dịch thuật truyền thống trước đây. Thay vì bắt người dùng phải luân phiên nói và chờ đợi câu dịch hoàn chỉnh, Gemini 3.5 Live Translate tiến hành xử lý và phát âm thanh dịch thuật theo dạng luồng liên tục. Quá trình này diễn ra song song với lời nói của người giao tiếp, duy trì khoảng cách chỉ vài giây để đảm bảo sự tự nhiên của cuộc trò chuyện.
Mô hình có khả năng tự động xử lý tốt trong môi trường nhiều tạp âm, tiếng ồn xung quanh hoặc khi người dùng nói chuyện xen lẫn nhau. Điểm đặc biệt là công nghệ của Google không tạo ra những giọng nói đơn điệu như trước. Công cụ này cố gắng giữ lại các yếu tố đặc trưng từ người nói gốc như tốc độ, ngữ điệu, cao độ và cảm xúc biểu đạt, giúp cuộc hội thoại trở nên dễ theo dõi và chân thực hơn.
Google đang bắt đầu đưa mô hình này vào các sản phẩm thuộc hệ sinh thái của mình. Gemini 3.5 Live Translate đã sẵn sàng dưới dạng thử nghiệm công khai thông qua Gemini Live API và công cụ Google AI Studio. Các đối tác như Agora, Fishjam, LiveKit, Pipecat và Vision Agents đã tích hợp mô hình này để giúp các nhà phát triển xây dựng ứng dụng dịch thuật giọng nói dễ dàng hơn mà không cần tự xử lý hạ tầng truyền phát phức tạp.
Người dùng sử dụng Google Meet sẽ được trải nghiệm tính năng này thông qua bản thử nghiệm giới hạn dành cho một số khách hàng Google Workspace từ tháng này, trước khi mở rộng quy mô vào cuối năm. Bản cập nhật tăng số lượng ngôn ngữ hỗ trợ từ 5 lên hơn 70, cho phép kết hợp hơn 2000 cặp ngôn ngữ trong cùng một phòng họp trực tuyến thay vì chỉ giới hạn dịch sang tiếng Anh như trước. Giao diện phòng họp cũng được làm mới để người tham gia truy cập nhanh vào tính năng dịch giọng nói.
Người dùng cá nhân có thể sử dụng thông qua ứng dụng Google Translate trên hệ điều hành Android và iOS. Khi kết nối tai nghe, tính năng dịch trực tiếp sẽ mô phỏng lại tông giọng của người nói một cách liền mạch. Riêng trên hệ điều hành Android, người dùng chỉ cần áp điện thoại lên tai giống như đang nghe một cuộc gọi thông thường để lắng nghe phần dịch âm thanh trực tiếp mà không cần dùng tai nghe hay để người xung quanh nghe thấy, rất phù hợp khi công tác hoặc du lịch nước ngoài.
Grab đang tiến hành thử nghiệm mô hình này để hỗ trợ giao tiếp cho tài xế và hành khách tại các điểm đón. Giám đốc Sản phẩm Grab là ông Philipp Kandal cho biết đơn vị đánh giá cao khả năng tự động phát hiện nhiều ngôn ngữ và dịch thuật chính xác với độ trễ thấp của công cụ này. Đây là giải pháp quan trọng khi người dùng thực hiện hơn 10 triệu cuộc gọi thoại mỗi tháng qua ứng dụng gọi xe này. Nhiều đơn vị khác như công ty giải trí CJ ENM và nền tảng LiveKit cũng đưa ra những phản hồi tích cực về chất lượng dịch thuật.
Để đảm bảo tính trách nhiệm và an toàn thông tin, toàn bộ âm thanh do mô hình tạo ra đều được tích hợp hình mờ mã hóa SynthID. Dấu chìm đặc biệt này được nhúng trực tiếp vào đầu ra âm thanh nhằm giúp các hệ thống nhận biết nội dung do AI tạo ra, góp phần ngăn chặn việc phát tán thông tin sai lệch.
Nguồn: Google blog
