66B hay 66 tỉ tham số là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi và thực hiện nhiều tác vụ NLP khác. Với quy mô tham số khủng, nó có khả năng học các đại diện ngữ nghĩa phức tạp và các mối quan hệ ngữ cảnh ở mức cao.
66B thường dựa trên kiến trúc transformer với nhiều lớp tự attention và cơ chế feed-forward mạnh mẽ. Quy mô 66 tỉ tham số đòi hỏi hạ tầng tính toán và lưu trữ lớn, áp dụng pretraining trên tập dữ liệu khổng lồ và kỹ thuật tối ưu hóa để tối ưu hiệu suất và chất lượng văn bản.
Khả năng của 66B bao gồm sinh văn bản mạch lạc, tóm tắt, trả lời câu hỏi và chuyển ngữ. Tuy vậy, nó có thể gặp hiện tượng sai lệch thông tin (hallucination), thiên vị và yêu cầu dữ liệu và nguồn lực đáng kể để đảm bảo an toàn và chất lượng ra kết quả.
66B có thể được ứng dụng trong hỗ trợ viết nội dung, trợ lý ảo, phân tích văn bản và hệ thống hỏi đáp. Tuy nhiên, quản trị rủi ro, kiểm duyệt nội dung và thiết kế hệ thống để giảm thiểu sai lệch và sai lệch ngữ nghĩa là rất quan trọng để triển khai thực tế.
