66B là một mô hình ngôn ngữ tự nhiên có quy mô lớn, được thiết kế để xử lý văn bản, sinh ngôn ngữ và giải quyết các tác vụ AI khác. Với 66 tỷ tham số, nó cân bằng giữa hiệu suất và yêu cầu dự trữ tài nguyên, phù hợp cho các ứng dụng thương mại và nghiên cứu.
66B được xây dựng dựa trên kiến trúc transformer, có nhiều lớp tự chú ý và cơ chế feed-forward. Tham số 66 tỷ cho phép nó học được ngữ nghĩa phức tạp và cấu trúc câu đa dạng, đồng thời tối ưu hoá hiệu suất trên nhiều tác vụ như trả lời câu hỏi, viết văn, tóm tắt và dịch thuật.
Huấn luyện của 66B được thực hiện trên tập dữ liệu khổng lồ, bao gồm văn bản công khai và nguồn dữ liệu đã được làm sạch. Quy trình huấn luyện cân bằng giữa mục tiêu ngôn ngữ và an toàn, với các kỹ thuật như tiền huấn luyện tự giám sát và lọc nội dung nhạy cảm.
Nhờ kích thước hợp lý, 66B có thể được tích hợp vào hệ thống trả lời câu hỏi, hỗ trợ viết văn, tạo nội dung và phân tích dữ liệu. Tuy nhiên, những thách thức về đánh giá, cân bằng sáng tạo và đảm bảo an toàn vẫn tồn tại, đòi hỏi giám sát và cập nhật mô hình liên tục.