66B là một mô hình ngôn ngữ quy mô lớn được thiết kế với 66 tỷ tham số, thuộc thế hệ các mô hình Transformer. Nó được huấn luyện để thực hiện nhiều tác vụ ngôn ngữ tự nhiên như sinh văn bản, trả lời câu hỏi, tóm tắt và dịch thuật với hiệu suất linh hoạt trên nhiều ngôn ngữ.
Kiến trúc của 66B dựa trên Transformer với nhiều lớp tự attention và mạng feed-forward sâu. Mô hình được tối ưu để khai thác ngữ cảnh rộng, đồng thời cân bằng giữa độ phức tạp tính toán và khả năng tổng quát. Việc điều chỉnh tham số và cấu hình cho từng tác vụ giúp cải thiện hiệu suất mà vẫn duy trì độ ổn định.
66B được huấn luyện trên tập dữ liệu đa nguồn gồm văn bản từ sách, bài báo, tài liệu kỹ thuật và nội dung web. Quá trình học nhấn mạnh sự đa dạng, cân nhắc kiểm soát thiên vị và an toàn thông tin, và tiến bộ trong việc giảm sai lệch so với phần dữ liệu huấn luyện.
Khả năng của 66B gồm sinh văn bản tự nhiên, phân tích ngữ nghĩa, hỗ trợ viết sáng tạo, trợ lý ảo và tóm tắt thông tin. Tuy nhiên, mức tham số lớn đòi hỏi phần cứng mạnh, chi phí vận hành cao và cần các biện pháp quản lý rủi ro liên quan đến đạo đức, xác thực và bảo vệ người dùng.
