66B là một phiên bản mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, nằm trong nhóm các mô hình hiện đại được huấn luyện để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ.
Mô hình có kiến trúc transformer với hàng tỷ tham số, tối ưu cho hiệu suất và khả năng tổng hợp ngôn ngữ. Nó có lớp tự chú ý và mạng feed-forward nhiều tầng.
Việc huấn luyện bao gồm dữ liệu đa ngôn ngữ và đa nguồn, giúp nó xử lý văn bản từ nhiều ngữ cảnh khác nhau.
66B được đánh giá trên nhiều benchmark NLP và có khả năng sinh văn bản mạch lạc, trả lời câu hỏi, viết tóm tắt và thực hiện bài tập sáng tạo.
Trong công nghiệp, 66B có thể hỗ trợ phân tích văn bản, hỗ trợ khách hàng tự động, và làm nền tảng cho các ứng dụng ngôn ngữ AI. Tuy vậy, nó đặt ra thách thức về chi phí, đạo đức và nguồn dữ liệu.