Khi dùng ChatGPT hay Claude, người mới thường thấy trợ lý AI dường như “quên” chi tiết đầu cuộc trò chuyện. Hiện tượng đó liên quan trực tiếp đến context window — phần bộ nhớ làm việc của mô hình ngôn ngữ lớn, theo định nghĩa của IBM. Hiểu rõ context window giúp người dùng viết prompt hiệu quả hơn và tránh mất thông tin.
Context window được đo bằng đơn vị token, không phải ký tự hay từ. Một token tiếng Anh tương đương khoảng bốn ký tự hoặc gần một từ. Tiếng Việt có dấu thường tốn nhiều token hơn tiếng Anh cùng độ dài, do cách tokenizer mã hóa nguyên âm có dấu và thanh điệu. (xem thêm: DeepLearning.AI)
Các mô hình hiện nay có context window chênh lệch lớn. Gemini 3 Pro của Google đứng đầu với 2 triệu token, tương đương khoảng 3.000 trang sách. GPT-5 của OpenAI và Llama 4 hỗ trợ 1 triệu token. Claude của Anthropic mặc định 200.000 token, đủ chứa toàn bộ một cuốn tiểu thuyết dày. (tham khảo: Coursera)
Trước đây vài năm, các mô hình lớn chỉ xử lý 2.000-4.000 token mỗi lần. Anthropic mở rộng lên 100.000 token vào năm 2023, sau đó Google đẩy lên 1 triệu rồi 2 triệu. Cuộc đua này phản ánh nhu cầu thực tế: người dùng muốn nạp sách, bộ tài liệu pháp lý hoặc toàn bộ codebase vào một lần hỏi.
Mục lục bài viết
Chi tiết về context window
Bài viết phân tích sâu hơn về context window: bối cảnh, tác động và lời khuyên thực tế cho người Việt năm 2026.
Câu chuyện về context window cho thấy AI đang lan vào đời sống.
Khi hội thoại hoặc tài liệu vượt quá context window, mô hình buộc cắt bỏ phần văn bản cũ nhất để chừa chỗ cho nội dung mới. Đó là lý do AI có vẻ “quên” mở đầu cuộc trò chuyện dài. Đây là giới hạn kiến trúc, không phải lỗi của mô hình.
Một vấn đề tinh tế hơn được giới nghiên cứu gọi là “lost in the middle”.
Thử nghiệm cho thấy ngay cả khi tài liệu vừa khít context window, mô hình vẫn nhớ tốt đoạn đầu và đoạn cuối, còn đoạn giữa dễ bị bỏ sót. Đẩy ngữ cảnh lên hàng triệu token không đồng nghĩa AI xử lý đều mọi phần như nhau.
Tận dụng context window hiệu quả không phải nhồi tài liệu thật dài, mà chọn lọc thông tin liên quan đặt ở đầu hoặc cuối prompt. Khi cần phân tích văn bản dài, người dùng nên chia nhỏ, yêu cầu AI tóm tắt từng phần rồi tổng hợp. Một số công cụ tự động trích đoạn liên quan thay vì dán toàn bộ tài liệu.
Một câu hỏi thường gặp là context window bao nhiêu thì đủ. Câu trả lời phụ thuộc vào việc người dùng làm gì. Trả lời email hoặc hỏi đáp đơn giản chỉ tốn vài trăm token. Đọc và tóm tắt một bài báo trung bình cần 5.000-10.000 token. Phân tích cuốn sách 200 trang đã ngốn 100.000-150.000 token.
Ở Việt Nam, người dùng phổ thông không cần model context window lớn nhất. Với công việc văn phòng, dịch tài liệu hay viết content marketing, 200.000 token của Claude hoặc gói ChatGPT phổ thông đã thoải mái cho hầu hết tác vụ thường ngày. Một số nền tảng AI nội địa cũng đang mở rộng cửa sổ ngữ cảnh để bắt kịp.
Lập trình viên xử lý codebase lớn, luật sư đọc hồ sơ vài trăm trang, hay nhà nghiên cứu tổng hợp tài liệu mới cần context window 1-2 triệu token của Gemini. Với những công việc đó, dung lượng lớn tiết kiệm thời gian chia nhỏ tài liệu. Khi chọn gói trả phí, nên cân nhắc cả tốc độ phản hồi và giá theo token.
Người dùng cũng nên phân biệt context window với bộ nhớ dài hạn của AI. Một số sản phẩm như ChatGPT có tính năng “memory” lưu thông tin cá nhân giữa các phiên, nhưng phần đó vẫn được nạp lại vào context window mỗi khi trò chuyện. Khi bộ nhớ dài hạn ngày càng nhiều, nó cũng chiếm chỗ trong cửa sổ ngữ cảnh.
Một mẹo hữu ích là theo dõi số token tiêu hao trong mỗi phiên. ChatGPT và Claude bản trả phí đều hiển thị thanh chỉ báo khi gần ngưỡng. Lúc đó, người dùng nên yêu cầu AI tóm tắt cuộc hội thoại, mở phiên mới và dán bản tóm tắt vào — cách này giữ mạch công việc mà không tốn token vô ích.
Context window đang là cuộc đua âm thầm giữa các hãng AI, song điều quan trọng hơn với người dùng cuối là biết tận dụng dung lượng đang có. Mô hình “nhớ nhiều” chỉ phát huy khi prompt được tổ chức gọn gàng và thông tin quan trọng được đặt đúng vị trí.
Nguồn: IBM, DataCamp, McKinsey. Xem thêm: Token AI là gì và vì sao người dùng cần biết và Hướng dẫn học AI từ A-Z cho người mới.
