66B là một mô hình ngôn ngữ lớn có 66 tỷ tham số, được thiết kế để hiểu và sinh văn bản ở mức ngữ nghĩa và ngữ cảnh cao. Nó có thể tham gia vào hội thoại, sinh nội dung, tóm tắt văn bản và trả lời câu hỏi với mức độ chi tiết.
Kiến trúc dựa trên một biến thể của Transformer, với hàng triệu lớp ẩn gắn kết và cơ chế chú ý đa đầu. Số tham số khoảng 66 tỷ cho phép nó lưu trữ ngữ liệu phong phú, nhưng cũng đòi hỏi hạ tầng phần cứng mạnh và kỹ thuật tối ưu để vận hành hiệu quả.
Quá trình đào tạo kết hợp dữ liệu công khai và dữ liệu từ các nguồn được cấp phép, nhằm giữ tính đa dạng và khả năng tổng quát. Việc huấn luyện tốn kém tài nguyên tính toán, và cần kiểm soát chất lượng dữ liệu để giảm thiên lệch.
66B có thể được áp dụng cho chat bot, trợ lý ảo, hỗ trợ viết, tóm tắt thông tin và phân tích ngôn ngữ tự nhiên. Tuy nhiên, nó cũng có hạn chế như có thể sinh sai sự thật (hallucination), chứa thiên lệch từ dữ liệu huấn luyện và đòi hỏi quản trị rủi ro khi xử lý thông tin nhạy cảm.
Những triển vọng cho 66B gồm tối ưu hóa hiệu suất trên phần cứng phổ thông, tăng khả năng kiểm soát đầu ra và tích hợp tốt với hệ thống doanh nghiệp. Việc áp dụng an toàn và có trách nhiệm sẽ là trọng tâm để đảm bảo người dùng được hưởng lợi từ công nghệ này.