66B là một mô hình ngôn ngữ khối lượng lớn được thiết kế cho nhiều tác vụ NLP như sinh văn bản, trả lời câu hỏi, dịch ngôn ngữ và tóm tắt nội dung. Với quy mô 66 tỷ tham số, nó thể hiện khả năng hiểu ngôn ngữ ở ngưỡng cao và mô phỏng phong cách viết đa dạng.
Mô hình dựa trên kiến trúc Transformer với khối chú ý tự động và cơ chế tối ưu hoá tham số. Đào tạo trên một tập dữ liệu đa chủ đề cho phép nó nhận diện ngữ nghĩa phức tạp, ngữ cảnh dài và sinh ra văn bản có liên kết logic.
66B cho thấy hiệu suất tốt trên nhiều benchmark NLP, có thể tham gia vào các hệ thống hội thoại, hỗ trợ viết nội dung, phân tích cảm xúc và trợ giúp ngôn ngữ học. Tuy nhiên, còn tồn tại thách thức về rủi ro thông tin sai lệch và đòi hỏi quản trị AI.
Những hướng phát triển tiếp theo cho 66B gồm tối ưu chi phí tính toán, tăng độ tin cậy và kiểm soát chất lượng sinh văn bản, cũng như đảm bảo quyền riêng tư và xử lý ngôn ngữ địa phương tốt hơn.
