66b là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, tạo văn bản, tóm tắt, trả lời câu hỏi và nhiều tác vụ phức tạp khác. Nó nằm ở giữa các mô hình nhỏ và lớn trên thị trường, mang lại sự cân bằng giữa hiệu suất và chi phí đào tạo.
66b được phát triển bởi một nhóm nghiên cứu chuyên về học sâu và tối ưu hóa kiến trúc. Dòng 66b thuộc thế hệ mô hình ngôn ngữ mới nhờ quy trình huấn luyện mở rộng, dữ liệu đa dạng và kiến trúc tối ưu cho hiệu suất suy luận nhanh hơn. Các phiên bản trước có tới vài chục tỷ tham số, 66b tăng đáng kể khả năng hiểu và sáng tạo văn bản.
66b sử dụng kiến trúc Transformer với nhiều lớp tự chú ý và cơ chế tối ưu hóa tham số. Quá trình huấn luyện kết hợp nhiều nguồn dữ liệu như văn bản, mã code, và đối thoại để cải thiện khả năng đáp ứng trong nhiều ngữ cảnh. Khi triển khai, 66b có thể sinh văn bản mạch lạc, trả lời câu hỏi, tạo ý tưởng và hỗ trợ viết lách một cách linh hoạt.
66b hứa hẹn mở ra nhiều ứng dụng từ trợ lý ảo, giảng dạy, tới phân tích ngôn ngữ tự động. Tuy nhiên, mô hình này cũng đối mặt với thách thức về đạo đức, sai lệch thông tin và nguy cơ lạm dụng. Việc kiểm soát chất lượng, an toàn và bảo mật dữ liệu sẽ đóng vai trò lõi trong sự phát triển bền vững của 66b.