66B là một mô hình ngôn ngữ lớn được thiết kế với khoảng 66 tỷ tham số, tập trung vào việc hiểu và sinh ngôn ngữ tự nhiên. Nó có khả năng kết hợp nhiều nguồn dữ liệu để xử lý ngôn ngữ với độ phức tạp cao, và có thể được tùy chỉnh cho nhiều tác vụ khác nhau như trả lời câu hỏi, tóm tắt văn bản và hỗ trợ lập trình.
Để tối ưu hiệu suất, 66B sử dụng kiến trúc Transformer với nhiều lớp tự attention và feed-forward. Việc huấn luyện diễn ra trên tập dữ liệu khổng lồ, thu thập từ sách, bài viết và nguồn web, với các kỹ thuật như làm mờ từ khóa, điều chỉnh trọng số và chuẩn hóa layer. Các thí nghiệm cho thấy kích thước tham số ảnh hưởng trực tiếp đến khả năng hiểu ngôn ngữ, đồng thời tốn kém về tài nguyên tính toán và năng lượng.
66B có thể hỗ trợ trả lời câu hỏi, sinh ngôn ngữ tự nhiên, hỗ trợ viết mã và phân tích ngữ nghĩa. Tuy nhiên, nó cũng đối mặt với các rủi ro như sai lệch thông tin, hiện tượng quá tin cậy và yêu cầu nguồn dữ liệu đáng tin cậy. Việc triển khai cần có giám sát người dùng, đánh giá đầu ra và cơ chế an toàn để ngăn chặn nội dung độc hại hoặc gây hại. Bên cạnh đó, chi phí vận hành và khả năng tuỳ biến cao cũng là thách thức đối với các tổ chức nhỏ hoặc cá nhân.
