66B là kích thước tham số nổi bật trong các mô hình ngôn ngữ lớn, ước tính khoảng 66 tỉ tham số. Mô hình ở kích thước này có khả năng nắm bắt ngữ cảnh phức tạp, sinh văn bản tự nhiên và trả lời câu hỏi ở nhiều chủ đề khác nhau. Tuy nhiên nó đòi hỏi tài nguyên tính toán đáng kể và mang đến các rủi ro liên quan đến an toàn, quản trị nội dung và chi phí triển khai.
Một mô hình 66B thường dựa trên kiến trúc transformer với nhiều lớp, tham số và kỹ thuật tối ưu hóa hiện đại. Phạm vi sử dụng của loại mô hình này rất rộng, từ tổng hợp văn bản, dịch máy, tóm tắt đến trợ lý ảo cho doanh nghiệp. Nhược điểm chính gồm nhu cầu phần cứng cao, thời gian inference dài và chi phí vận hành lớn. Việc áp dụng cần kiểm soát nội dung và an toàn.
Kiến trúc điển hình cho 66B là biến thể của transformer với phân chia tham số và kỹ thuật phân tách mô hình như đồng bộ hóa trạng thái, có thể dùng wrap hoặc MoE để mở rộng khả năng. Quy trình huấn luyện thường gồm tiền huấn luyện trên tập dữ liệu khổng lồ, sau đó tinh chỉnh cho các tác vụ cụ thể và bổ sung các công cụ kiểm soát chất lượng nội dung và an toàn. Dữ liệu huấn luyện đa ngôn ngữ và nhiều loại nguồn có thể giúp mô hình hiểu biết rộng, nhưng cũng đặt ra thách thức về chất lượng và độ thiên vị.
Ưu điểm của 66B bao gồm khả năng nắm ngữ cảnh dài, sinh văn bản tự nhiên, và hỗ trợ nhiều tác vụ NLP với hiệu suất tốt trên nhiều chủ đề. Nhược điểm là tiêu thụ tài nguyên cao, tiềm ẩn sai lệch và thông tin chưa xác thực, cùng với rủi ro phát sinh nội dung gây hại hoặc xâm phạm quyền riêng tư. Thách thức an toàn tập trung vào kiểm soát đầu ra, giảm thiên vị, đánh giá và lọc thông tin, cũng như cân bằng giữa hiệu suất và chi phí vận hành.
