Token là đơn vị nhỏ nhất mà các mô hình AI dùng để xử lý văn bản. Trước khi đọc một câu, ChatGPT, Claude hay Gemini đều cắt câu chữ thành các token. Vì vậy, hiểu khái niệm token AI sẽ giúp người mới giải thích nhiều câu hỏi quen thuộc. Tuy nhiên, không ít người dùng AI hằng ngày vẫn chưa rõ token là gì và vì sao nó quan trọng.
Mô hình ngôn ngữ không đọc chữ giống con người. Trước khi xử lý, văn bản bị cắt thành các mảnh gọi là token. Đó có thể là một từ ngắn, một phần của từ dài hoặc một dấu câu. Mỗi mảnh được gán một con số trong bảng từ vựng. Bảng này thường chứa từ 50.000 tới vài trăm nghìn mục. Cuối cùng, mạng nơ-ron chỉ làm việc với các con số đó. (tham khảo: Coursera)
Trong tiếng Anh, quy tắc nhanh khá đơn giản: bốn ký tự tương đương một token. Một trăm từ thường mất khoảng 130 token. Tuy nhiên, quy tắc này không áp đúng cho tiếng Việt. Lý do nằm ở dấu thanh và cấu trúc âm tiết. Chẳng hạn, từ “phương pháp” thường tốn 3-4 token, trong khi từ “method” chỉ tốn một. Vì vậy cùng một câu trả lời, bài tiếng Việt ngốn token gấp 1,5 đến 2 lần.
Mục lục bài viết
Cách token AI quyết định giới hạn và chi phí
Khái niệm thứ hai cần biết là context window, hay cửa sổ ngữ cảnh. Đây là số token tối đa mô hình nhớ trong một phiên, gồm cả phần người dùng nhập và phần mô hình trả lời. Hiện tại GPT-4o ở mức 128.000 token, tương đương khoảng 300 trang sách. Khi vượt ngưỡng, mô hình cắt phần đầu hội thoại để nhường chỗ cho nội dung mới. Do đó các bot trả lời chính xác lúc đầu vẫn có thể quên yêu cầu ban đầu sau hàng chục lượt chat.
Với người dùng trả phí, token là đơn vị tính tiền. OpenAI niêm yết GPT-4o ở hai mức giá: token đầu vào 2,5 USD mỗi triệu, token đầu ra 10 USD mỗi triệu. Ngược lại các bản nhỏ như GPT-4o mini hay Claude Haiku rẻ hơn nhiều. Token đầu ra đắt hơn vì mô hình phải chạy một lượt tính toán riêng cho từng token. Trong khi đó cả khối token đầu vào được xử lý song song.
Bảng từ vựng quyết định cách tách token. OpenAI dùng thuật toán Byte Pair Encoding, gộp các cặp ký tự xuất hiện nhiều thành một token.
Bảng tiếng Anh được tối ưu cho từ phổ biến, nên một từ thường rơi vào một token. Ngược lại các ngôn ngữ ít gặp trong dữ liệu huấn luyện bị tách thành nhiều mảnh nhỏ hơn. Tiếng Việt có dấu nằm trong nhóm này. Tuy vậy, các mô hình mới như GPT-4o đã mở rộng từ vựng và rút ngắn dần khoảng cách.
Người mới ở Việt Nam thường gặp giới hạn token theo một cách khác. Bản miễn phí của ChatGPT, Claude hay Gemini không hiển thị số token đã dùng, nhưng có giới hạn ngầm theo lượt và phiên. Khi nhập file PDF dài hàng trăm trang, hệ thống có thể báo “nội dung quá dài”. Thực tế đó là lúc token vượt ngưỡng bản miễn phí. Vì vậy mẹo phổ biến là chia tài liệu thành khối nhỏ rồi tóm tắt từng phần.
Hiểu token AI cũng giúp viết prompt tiết kiệm hơn. Trước hết, câu hỏi quá dài hay nhồi nhiều ngữ cảnh không cần thiết là lỗi thường gặp. Ngoài ra yêu cầu “phân tích toàn bộ” cũng khiến phiên chat chạm trần cửa sổ rất nhanh. Người làm việc với AI hằng ngày thường tách prompt làm hai phần: vai trò và yêu cầu cụ thể đặt trước, dữ liệu nguồn đặt riêng để dễ chỉnh sửa.
OpenAI cung cấp công cụ Tokenizer trực tuyến. Người dùng dán văn bản và xem ngay số token tương ứng. Đây là cách kiểm tra trước một prompt nặng. Bên cạnh đó, trên các nền tảng trả phí, bảng điều khiển thường có mục Usage. Mục này hiển thị token tiêu thụ theo ngày và theo mô hình. Vì vậy việc theo dõi định kỳ giúp tránh hóa đơn bất ngờ khi tự động hóa quy trình bằng API.
Token cũng ảnh hưởng đến chất lượng câu trả lời. Khi giới hạn token đầu ra thấp, mô hình buộc cắt ngắn ý hoặc bỏ chi tiết. Trong các công cụ trả phí, người dùng có thể chỉnh tham số max_tokens để cho phép trả lời dài hơn. Tuy nhiên đặt max_tokens quá lớn không làm câu trả lời chất lượng hơn nếu prompt thiếu ngữ cảnh, mà chỉ làm chi phí tăng theo.
Năm 2026 chứng kiến cuộc đua mở rộng cửa sổ ngữ cảnh. Gemini 1.5 Pro hỗ trợ 1 triệu token, GPT-5.4 vượt mốc một triệu, một số bản thử nghiệm chạm 10 triệu. Tuy nhiên cửa sổ lớn hơn không đồng nghĩa mô hình thông minh hơn. Bảng giá OpenAI cập nhật giá token theo từng quý. Nghiên cứu của Anthropic và Google cũng cùng quan điểm: độ chính xác giảm khi nội dung nằm giữa cửa sổ rất dài.
Tóm lại, token rẻ đi và cửa sổ lớn lên là xu hướng dài hạn. Với người mới học AI, việc theo dõi mức giá token và dung lượng cửa sổ giúp chọn công cụ vừa hợp túi tiền vừa đáp ứng nhu cầu. Đây cũng là khái niệm nền cho các chủ đề sâu hơn như context engineering, RAG hay fine-tuning sau này. (xem thêm: DeepLearning.AI)
Nguồn: Microsoft Learn, OpenAI, The New Stack. Xem thêm: Hướng dẫn học AI từ A-Z cho người mới bắt đầu.
