66B là một mô hình ngôn ngữ lớn do một nhóm kỹ sư phát triển nhằm xử lý ngôn ngữ tự nhiên ở mức độ cao. Với quy mô 66 tỷ tham số, nó có khả năng hiểu và sinh văn bản, trả lời câu hỏi, viết mã mẫu và hỗ trợ người dùng trong nhiều ngữ cảnh. Mô hình này được thiết kế để hoạt động trên nhiều ngữ cảnh khác nhau và có thể được tinh chỉnh cho từng ứng dụng.
66B sử dụng kiến trúc Transformer sâu, với 66 tỷ tham số, được huấn luyện trên tập dữ liệu đa dạng gồm văn bản, mã nguồn và tài liệu kỹ thuật. Nó có khả năng nắm bắt ngữ nghĩa, phong cách và ngữ cảnh, cho phép trả lời câu hỏi, tóm tắt văn bản và tạo nội dung sáng tạo. Tuy vậy, hiệu suất có thể phụ thuộc vào chất lượng dữ liệu và việc tinh chỉnh cho từng tác vụ.
Quy trình huấn luyện kết hợp dữ liệu công khai, dữ liệu cấp phép hợp lệ và dữ liệu do khách hàng cung cấp trong các khuôn khổ bảo mật. Việc xử lý đạo đức và quyền riêng tư được chú trọng, với các biện pháp để giảm thiên lệch và nguy cơ sai lệch. Quá trình huấn luyện đòi hỏi nguồn lực tính toán lớn, kết hợp nhiều giai đoạn tiền huấn luyện và tinh chỉnh sau huấn luyện.
66B có thể hỗ trợ viết nội dung, trả lời câu hỏi chuyên môn, hỗ trợ lập trình, phân tích dữ liệu và hỗ trợ ngôn ngữ đa ngữ. Trong doanh nghiệp, nó có thể làm trợ lý ảo, hỗ trợ khách hàng, và tự động hoá quy trình văn bản. Người dùng nên đánh giá hạn chế, kiểm tra đầu ra và áp dụng biện pháp an toàn khi triển khai.
