Cho rằng các công cụ đo lường hiện tại chưa phản ánh đúng thực tế, Samsung đã tự phát triển nền tảng TRUEBench để đánh giá hiệu suất của các mô hình trí tuệ nhân tạo.

Trong thông báo mới nhất, Samsung cho biết đã phát triển công cụ độc quyền có tên TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark). Quyết định này được đưa ra sau khi đội ngũ Samsung Research nhận thấy những thiếu sót lớn trong các công cụ đo lường hiệu năng AI hiện có trên thị trường. Theo công ty, hầu hết các nền tảng này còn nhiều hạn chế, chủ yếu tập trung vào tiếng Anh và chỉ giới hạn ở cấu trúc hỏi-đáp một lượt, không phản ánh được các kịch bản sử dụng phức tạp trong đời thực.

Samsung ra mắt công cụ đo hiệu năng AI của riêng mình

Điểm khác biệt của TRUEBench là khả năng đánh giá AI trong các kịch bản hội thoại đa dạng và điều kiện đa ngôn ngữ. Nền tảng này tập trung vào 10 tác vụ doanh nghiệp phổ biến nhất như tạo nội dung, phân tích dữ liệu, tóm tắt văn bản và dịch thuật. Hệ thống bao gồm một bộ dữ liệu lớn với 2.485 bài thử nghiệm, trải rộng trên 10 danh mục, 46 danh mục phụ và hỗ trợ đến 12 ngôn ngữ. Các bài kiểm tra có độ dài đa dạng, từ 8 ký tự cho các câu lệnh đơn giản đến hơn 20.000 ký tự cho các tác vụ phức tạp như tóm tắt tài liệu dài.

Để đảm bảo tính khách quan, TRUEBench sử dụng hệ thống chấm điểm tự động vận hành bằng AI, được cả con người và máy móc cùng thiết kế và hiệu chỉnh. Hiện tại, các mẫu dữ liệu và bảng xếp hạng của công cụ này đã được công bố trên nền tảng mã nguồn mở Hugging Face, cho phép người dùng thử nghiệm và so sánh hiệu năng của tối đa năm mô hình AI khác nhau.

Ông Paul (Kyungwhoon) Cheun, Giám đốc Công nghệ bộ phận Trải nghiệm Kỹ thuật số (DX) và người đứng đầu Samsung Research, nhấn mạnh: “Kinh nghiệm ứng dụng AI trong thực tế mang lại cho Samsung Research chuyên môn sâu và lợi thế cạnh tranh. Chúng tôi kỳ vọng TRUEBench sẽ thiết lập các tiêu chuẩn mới trong việc đánh giá năng suất, đồng thời củng cố vị thế dẫn đầu về công nghệ của Samsung”.

Trước đó, Samsung là một trong những thương hiệu tiên phong tích hợp bộ tính năng AI toàn diện lên smartphone và liên tục tung ra các cải tiến mới sau mỗi 6 tháng.

Theo: SamMobile