66B là một mô hình ngôn ngữ dựa trên kiến trúc Transformer, được huấn luyện trên quy mô dữ liệu lớn với 66 tỷ tham số nhằm xử lý ngôn ngữ tự nhiên và sinh văn bản có chất lượng cao.
Nó được thiết kế để hỗ trợ các tác vụ như trả lời câu hỏi, viết văn bản, phân tích ngữ nghĩa và tham gia vào các hệ thống đối thoại tự động.
66B sử dụng nhiều lớp Transformer với cơ chế tự chú ý. Các tham số được tối ưu thông qua học máy quy mô lớn. Phương pháp phân tách từ vựng có thể dựa trên thuật toán phù hợp cho ngôn ngữ đa dạng.
Quá trình huấn luyện kết hợp mục tiêu ngôn ngữ tổng quát và điều chỉnh theo hướng dẫn (instruction tuning) để tăng khả năng tuân theo yêu cầu người dùng.
Để xây dựng 66B, nhóm nghiên cứu thu thập nguồn dữ liệu văn bản đa ngôn ngữ và đa lĩnh vực, đồng thời tiến hành tiền xử lý để giảm nhiễu và loại bỏ nội dung không phù hợp. Quá trình huấn luyện tập trung vào chất lượng dữ liệu và tối ưu hóa hiệu suất mô hình.
66B có khả năng sinh văn bản trôi chảy, trả lời câu hỏi phức tạp và hỗ trợ viết mã. Tuy nhiên nó còn gặp phải hiện tượng ảo giác thông tin, thiên vị dữ liệu và chi phí vận hành cao.
So với các mô hình có kích thước tham số tương đương, 66B cho thấy hiệu suất tốt trên nhiều tác vụ ngôn ngữ và khả năng thích nghi với ngữ cảnh. Trong tương lai, sự tiến bộ có thể tập trung vào cải thiện độ an toàn, sự khái quát và khả năng tùy chỉnh cho từng ứng dụng mà vẫn duy trì tính linh hoạt.