66B mô tả một khái niệm về hệ thống mô hình ngôn ngữ quy mô lớn với tham số ở mức 66 tỷ, tập trung vào sự mở và khả năng tuỳ biến trên nhiều nền tảng. Nền tảng này nhắm tới cân bằng giữa hiệu suất, chi phí vận hành và khả năng mở rộng, cho phép các tổ chức tuỳ biến trong công tác nghiên cứu và triển khai AI.
Cấu trúc của 66B thường gồm: một kiến trúc mô hình với 66 tỷ tham số, các trình tăng tốc AI, hệ thống lưu trữ và dữ liệu huấn luyện, cùng các công cụ tối ưu hoá và an toàn. Thông qua các chuẩn mở, 66B cho phép đào tạo và suy luận trên nhiều hệ thống, từ đám mây tới biên giới của thiết bị.
Về quy mô và chi phí, 66B nằm ở giữa các mô hình lớn và trung bình, mang lại hiệu suất đáng kể mà vẫn giữ mức chi phí vận hành hợp lý. So với các mô hình có tham số cao hơn, 66B có thể tối ưu hoá cho latency thấp và tiêu thụ điện năng tối thiểu trên phần cứng phổ thông, đồng thời giữ được khả năng nhận dạng ngữ cảnh và đa ngôn ngữ ở mức chất lượng tốt.
