66B là một mô hình ngôn ngữ có quy mô khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ như sinh ngôn ngữ, trả lời câu hỏi và tóm tắt nội dung.
Mô hình dựa trên kiến trúc Transformer với chuỗi tham số khổng lồ và cơ chế chú ý tự. Số tham số gần 66 tỷ cho phép nắm bắt ngữ cảnh dài và mối quan hệ phức tạp trong văn bản.
66B được huấn luyện trên tập dữ liệu đa nguồn, bao gồm văn bản từ web, sách và tài liệu công khai. Quá trình huấn luyện tối ưu hóa trọng số để dự đoán từ tiếp theo dựa trên ngữ cảnh và gặp gỡ phân bổ từ vựng rộng.
Với kích thước và khả năng hiểu ngôn ngữ tốt, 66B có thể được dùng trong hỗ trợ viết, trợ lý ảo, phân tích văn bản và nhiều hệ thống tương tác. Tuy nhiên, vẫn còn thách thức về an toàn, thiên vị dữ liệu và chi phí tính toán.
