# AI Tokenization tách đơn vị từ

Tiếng Anh: Tokenization

Bước tiền xử lý văn bản thành các đơn vị nhỏ (token) để mô hình ngôn ngữ xử lý, ảnh hưởng lớn đến chi phí và chất lượng phân tích hợp đồng ngân hàng.

Nguồn: https://vieclam.nganhang.com/thuat-ngu/ai-tokenization-tach-don-vi-tu-la-gi
Danh mục: AI & Machine Learning trong ngân hàng
Cập nhật: 13/09/2026

**AI Tokenization** (hay còn gọi là **tách đơn vị từ**) là bước tiền xử lý nền tảng trong mọi hệ thống xử lý ngôn ngữ tự nhiên (NLP — *Natural Language Processing*), trong đó một chuỗi văn bản đầu vào được phân tách thành các đơn vị nhỏ hơn gọi là **token** (đơn vị từ). Mỗi token sau đó sẽ được ánh xạ thành một vector số thông qua bảng embedding để mô hình học sâu (deep learning) có thể "hiểu" và xử lý. Nói cách khác, đây chính là chiếc "cầu nối" giúp máy tính — vốn chỉ làm việc với con số — có thể làm việc được với ngôn ngữ của con người.

Trong bối cảnh ngân hàng, **tokenization** đóng vai trò then chốt vì hầu hết các ứng dụng AI hiện nay — từ trợ lý ảo chăm sóc khách hàng, hệ thống phân tích hợp đồng tín dụng, thẩm định rủi ro tự động cho đến phát hiện gian lận — đều phải đi qua bước này trước tiên. Chất lượng của **tokenization** quyết định trực tiếp đến độ chính xác của mô hình: nếu tách từ sai, các bước phân tích về sau như nhận dạng thực thể có tên (NER — *Named Entity Recognition*), phân loại văn bản hay trích xuất thông tin đều có thể bị sai lệch, dẫn đến những quyết định nghiêm trọng như duyệt khoản vay không chính xác hoặc đánh giá sai rủi ro tín dụng.

Đặc biệt với tiếng Việt — một ngôn ngữ đơn lập với hệ thống dấu thanh phức tạp và nhiều từ ghép — việc **tokenization** đòi hỏi sự chính xác cao hơn so với tiếng Anh. Chẳng hạn, các thuật ngữ "ngân hàng", "thế chấp", "tín dụng", "tài sản đảm bảo" nếu bị tách sai thành "ngân" + "hàng", "thế" + "chấp" sẽ làm mô hình hiểu sai hoàn toàn. Bên cạnh đó, số lượng **token** đầu vào còn ảnh hưởng trực tiếp đến chi phí sử dụng API của các mô hình ngôn ngữ lớn (LLM — *Large Language Model*) theo cơ chế tính phí theo token, cũng như dung lượng bộ nhớ GPU cần dùng và tốc độ phản hồi của hệ thống.

**Thuật ngữ tiếng Anh:** Tokenization
**Lĩnh vực:** AI & Machine Learning trong ngân hàng

---

## Đặc điểm và phân loại

**Tokenization** trong AI có thể được phân loại theo nhiều tiêu chí khác nhau, tùy thuộc vào ngôn ngữ, mục đích sử dụng và kiến trúc mô hình. Dưới đây là bảng tổng hợp các phương pháp phổ biến nhất:

| Phương pháp | Đặc điểm | Ưu điểm | Nhược điểm | Ứng dụng trong ngân hàng |
|---|---|---|---|---|
| **Word Tokenization** (tách theo từ) | Tách văn bản thành các từ dựa trên khoảng trắng và dấu câu | Đơn giản, dễ triển khai, kết quả dễ hiểu | Từ vựng ngoài từ điển (OOV) không xử lý được; kích thước bộ từ vựng lớn | Phân tích hợp đồng đơn giản, đếm từ khóa |
| **Character Tokenization** (tách theo ký tự) | Tách văn bản thành từng ký tự riêng lẻ | Không có vấn đề OOV; xử lý tốt chính tả | Số token nhiều, mô hình học chậm hơn, mất ngữ nghĩa từ | Kiểm tra chính tả trong tên khách hàng, số tài khoản |
| **Subword Tokenization** (tách đơn vị con) | Tách từ phức tạp thành các đoạn nhỏ, dùng thuật toán thống kê | Giải quyết OOV hiệu quả; cân bằng giữa kích thước từ vựng và số token | Phức tạp hơn; cần dữ liệu huấn luyện lớn | Hầu hết các hệ thống AI ngân hàng hiện đại |
| **Byte Pair Encoding (BPE)** | Thuật toán ghép cặp ký tự xuất hiện thường xuyên nhất | Được dùng trong GPT, RoBERTa; hiệu quả với nhiều ngôn ngữ | Kết quả có thể không khớp với đơn vị ngữ nghĩa thực | Trợ lý ảo, tóm tắt hợp đồng |
| **WordPiece** | Tương tự BPE nhưng chọn cặp dựa trên xác suất có điều kiện | Được dùng trong BERT; xử lý tốt từ hiếm | Tốc độ huấn luyện chậm hơn BPE | Phân tích sentiment khách hàng, NER hợp đồng |
| **SentencePiece** | Xử lý trực tiếp trên chuỗi byte, không cần tách trước | Phù hợp với tiếng Việt, tiếng Nhật, tiếng Hàn | Cần cấu hình kỹ thuật phù hợp | Hệ thống đa ngôn ngữ tại các ngân hàng lớn |
| **Unigram Language Model** | Dựa trên mô hình xác suất, chọn tập token tối ưu | Linh hoạt, có thể sinh nhiều cách tách khác nhau | Tốn tài nguyên tính toán khi huấn luyện | Dùng trong XLNet, ALBERT |

### Một số đặc điểm quan trọng của **Tokenization** trong ngân hàng

- **Ảnh hưởng đến chi phí API:** Các mô hình ngôn ngữ lớn như GPT-4, Claude, Gemini tính phí theo số **token** đầu vào và đầu ra. Một hợp đồng tín dụng 20 trang có thể chứa khoảng **5.000–8.000 token**, tương ứng chi phí xử lý khoảng **0,05–0,15 USD** cho mỗi lần phân tích (tùy thuộc vào nhà cung cấp).
- **Yếu tố tiếng Việt:** Do đặc thù ngôn ngữ đơn lập và dấu thanh, các mô hình **tokenization** được huấn luyện trên tiếng Anh khi áp dụng cho tiếng Việt thường cho kết quả kém hơn so với mô hình được huấn luyện riêng (như **vinai/PhoTokenizer** của Ngân hàng A đã triển khai).
- **Tác động đến tốc độ:** Mỗi **token** cần được xử lý qua các lớp transformer; vì vậy văn bản dài khiến thời gian phản hồi tăng theo cấp số nhân. Một cuộc hội thoại 4.000 token có thể mất **2–5 giây** để mô hình sinh phản hồi.
- **Quan trọng với NER:** Trong phân tích hợp đồng, các thực thể như số CMND/CCCD, số tài khoản, mã số thuế, tên pháp nhân đòi hỏi **tokenization** chính xác để trích xuất đúng.
- **Giới hạn ngữ cảnh:** Hầu hết các mô hình hiện nay có cửa sổ ngữ cảnh từ **4.000 đến 128.000 token**; các ngân hàng phải thiết kế chiến lược cắt/cắt-trích-tóm tắt phù hợp.

---

## Ví dụ thực tế trong ngành ngân hàng

### Ví dụ 1: Phân tích hợp đồng tín dụng bất động sản tại Ngân hàng A

**Ngân hàng A** triển khai hệ thống AI phân tích hợp đồng vay mua bất động sản trung bình **3.200 hồ sơ mỗi tháng**. Một hợp đồng điển hình dài **18–25 trang**, chứa khoảng **6.500 token** sau khi qua bước **tokenization**. Hệ thống sử dụng mô hình **WordPiece** (tương tự BERT đa ngôn ngữ) kết hợp với **SentencePiece** được tinh chỉnh trên tập dữ liệu tiếng Việt ngân hàng gồm **1,2 triệu văn bản**.

Cụ thể, khi đoạn văn *"Bên vay cam kết tài sản đảm bảo là quyền sử dụng đất tại thửa đất số 123, tờ bản đồ số 45, phường XYZ, quận Bình Thạnh"* được đưa vào hệ thống, **tokenizer** sẽ tách thành các token: `["Bên_vay", "cam_kết", "tài_sản_đảm_bảo", "là", "quyền_sử_dụng_đất", "tại", "thửa_đất_số", "123", ...]`. Nhờ vậy, hệ thống NER tiếp theo có thể nhận diện chính xác các thực thể: tài sản đảm bảo là **quyền sử dụng đất**, địa chỉ là **phường XYZ, quận Bình Thạnh**. Kết quả giúp giảm **42% thời gian thẩm định** so với phương pháp thủ công, từ trung bình **35 phút/hồ sơ** xuống còn **20 phút/hồ sơ**.

### Ví dụ 2: Trợ lý ảo chăm sóc khách hàng của Ngân hàng B

**Ngân hàng B** vận hành chatbot hỗ trợ **1,8 triệu khách hàng** trên ứng dụng di động, xử lý trung bình **85.000 câu hỏi/ngày**. Hệ thống sử dụng mô hình ngôn ngữ lớn với bộ **tokenizer** SentencePiece được huấn luyện riêng trên **8 triệu câu tiếng Việt** trong lĩnh vực tài chính. Điều này giúp hệ thống hiểu đúng các câu hỏi phức tạp có dấu thanh như *"Tôi muốn hỏi về lãi suất tiết kiệm 12 tháng"*, *"Cách tra cứu số dư tài khoản"*, *"Làm sao để mở thẻ tín dụng online"*.

Với mỗi câu hỏi trung bình sinh ra **28–45 token**, chi phí xử lý ước tính khoảng **0,0008–0,002 USD/lượt hỏi**. Tổng chi phí vận hành AI cho chatbot vào khoảng **7.500–9.000 USD/tháng**, thấp hơn **67%** so với chi phí nhân sự tổng đài. Nhờ chất lượng **tokenization** cao, tỷ lệ giải quyết câu hỏi đúng lần đầu đạt **78,4%**, tỷ lệ khách hàng hài lòng (CSAT) đạt **4,3/5 sao**.

### Ví dụ 3: Hệ thống phát hiện gian lận tại Ngân hàng C

**Ngân hàng C** triển khai hệ thống AI giám sát giao dịch xử lý khoảng **12 triệu giao dịch/ngày**, trong đó sử dụng kỹ thuật **tokenization** để phân tích nội dung chuyển khoản, mô tả giao dịch, SMS và email giữa các bên. Ví dụ: khi phân tích chuỗi *"Chuyen tien mua xe may - STK 1234567890 - Nguyen Van A"*, hệ thống tách thành các token `["Chuyen", "tien", "mua", "xe", "may", "STK", "1234567890", "Nguyen", "Van", "A"]` rồi phát hiện các mẫu bất thường như xuất hiện từ khóa *"vay nóng"*, *"nạp tiền nhanh"*, *"đáo hạn"* kèm theo số điện thoại lạ. Hệ thống đã giúp **Ngân hàng C** phát hiện sớm **2.400 vụ việc** nghi ngờ gian lận trong năm 2024, giảm thiệt hại ước tính **180 tỷ đồng**.

---

## AI Tokenization (tách đơn vị từ) trong các ngôn ngữ khác

| Ngôn ngữ | Thuật ngữ | Phiên âm |
|---|---|---|
| Tiếng Anh | Tokenization | /ˌtəʊkənaɪˈzeɪʃən/ |
| Tiếng Nhật | トークナイゼーション (Tōkunaizēshon) | Tō-ku-na-i-zē-shon |
| Tiếng Hàn | 토큰화 (Tokenhwa) | To-keun-hwa |
| Tiếng Trung | 标记化 / 分词 (Biāojìhuà / Fēncí) | Biaao-jì-huà / Fēn-cí |
| Tiếng Tây Ban Nha | Tokenización | /tokeˈnisaˈθjon/ |

---

## Câu hỏi thường gặp

### AI Tokenization khác gì so với Tokenization trong bảo mật thanh toán?

**AI Tokenization** (tách đơn vị từ trong NLP) là quá trình phân tách văn bản thành các đơn vị nhỏ để mô hình ngôn ngữ xử lý. Trong khi đó, **Tokenization** trong bảo mật thanh toán (gọi là **payment tokenization**) là kỹ thuật thay thế dữ liệu nhạy cảm như số thẻ tín dụng 16 chữ số bằng một chuỗi mã ngẫu nhiên (token) để bảo vệ thông tin khi giao dịch trực tuyến, tuân thủ tiêu chuẩn PCI DSS. Hai khái niệm này hoàn toàn khác nhau về mục đích và bối cảnh ứng dụng, mặc dù cùng chia sẻ tên gọi "tokenization". Đây là câu hỏi "bẫy" rất phổ biến trong các kỳ thi tuyển dụng ngân hàng, đặc biệt tại **Ngân hàng A**, **Ngân hàng B** và các kỳ thi chứng chỉ quốc tế.

### Khi nào cần nắm về AI Tokenization trong ngân hàng?

Người học ôn thi ngân hàng cần nắm vững kiến thức **tokenization** khi: (1) thi vào các vị trí chuyên viên phân tích dữ liệu, kỹ sư AI, chuyên viên quản trị rủi ro mô hình tại các ngân hàng lớn; (2) thi các chứng chỉ quốc tế như **FRM**, **PRM** hoặc kiến thức về hệ thống AI trong Basel III/IV; (3) tham gia các dự án chuyển đổi số liên quan đến xử lý hợp đồng, thẩm định tín dụng, chatbot chăm sóc khách hàng. Bên cạnh đó, khi gặp bài thi có câu hỏi về chi phí vận hành AI, cần nhớ nguyên tắc chi phí tỉ lệ thuận với số token đầu vào.

### AI Tokenization ảnh hưởng thế nào đến khách hàng và chi phí vận hành ngân hàng?

**Tokenization** chất lượng cao giúp mô hình AI hiểu đúng câu hỏi, yêu cầu của khách hàng, từ đó phản hồi chính xác và nhanh chóng — nâng cao trải nghiệm và sự hài lòng. Ngược lại, nếu tách từ sai, hệ thống có thể trả lời sai nghĩa các thuật ngữ chuyên ngành như "thế chấp", "đáo hạn", "lãi suất điều chỉnh", gây hiểu lầm nghiêm trọng. Về chi phí, mỗi hợp đồng tín dụng khoảng **6.000–8.000 token**, nếu ngân hàng xử lý **100.000 hồ sơ/năm**, tổng chi phí API có thể lên tới **15.000–30.000 USD/năm** — đó là lý do nhiều ngân hàng lựa chọn mô hình on-premise hoặc áp dụng kỹ thuật tóm tắt trước khi đưa vào mô hình lớn.

---

## Tổng kết

**AI Tokenization** (tách đơn vị từ) tuy là bước kỹ thuật tưởng chừng đơn giản nhưng lại là **nền tảng quyết định chất lượng** của mọi hệ thống AI trong ngân hàng. Từ phân tích hợp đồng tín dụng, thẩm định rủi ro, đến chăm sóc khách hàng và phát hiện gian lận — tất cả đều khởi đầu bằng một bước **tokenization** chính xác. Đối với tiếng Việt với đặc thù là ngôn ngữ có dấu và nhiều từ ghép, việc lựa chọn đúng phương pháp tách đơn vị từ (như **SentencePiece** tinh chỉnh cho tiếng Việt) không chỉ nâng cao độ chính xác mà còn tối ưu chi phí vận hành đáng kể. Người ôn thi ngân hàng nên nắm vững cả hai nghĩa của thuật ngữ này — một trong AI/NLP, một trong bảo mật thanh toán — vì đây là điểm phân biệt quan trọng thường xuất hiện trong các kỳ thi tuyển dụng vào các ngân hàng lớn như **Ngân hàng A**, **Ngân hàng B** hay các kỳ thi chứng chỉ quốc tế về tài chính ngân hàng.

## Thuật ngữ liên quan

- [Bảo vệ dữ liệu cá nhân](https://vieclam.nganhang.com/thuat-ngu/bao-ve-du-lieu-ca-nhan-la-gi) — Yêu cầu pháp lý ngân hàng phải thu thập, lưu trữ và xử lý dữ liệu cá nhân khách hàng theo Nghị định 13/2023/NĐ-CP và các quy định liên quan.
- [Lãi suất điều chỉnh](https://vieclam.nganhang.com/thuat-ngu/lai-suat-dieu-chinh-la-gi) — Lãi suất cho vay được xem xét và thay đổi theo các kỳ điều chỉnh đã thỏa thuận trong hợp đồng tín dụng.
- [Nghị định 13/2023/NĐ-CP](https://vieclam.nganhang.com/thuat-ngu/nghi-dinh-132023nd-cp-la-gi) — Văn bản pháp lý quan trọng quy định về xử lý và bảo vệ dữ liệu cá nhân tại Việt Nam có hiệu lực từ ngày 01/07/2023.
- [Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân](https://vieclam.nganhang.com/thuat-ngu/nghi-dinh-132023nd-cp-ve-bao-ve-du-lieu-ca-nhan-la-gi) — Văn bản pháp lý quan trọng quy định bảo vệ dữ liệu cá nhân tại Việt Nam, áp dụng cho dịch vụ tài chính số.
- [Quyết định 2345/QĐ-NHNN](https://vieclam.nganhang.com/thuat-ngu/quyet-dinh-2345qd-nhnn-la-gi) — Quyết định của Ngân hàng Nhà nước Việt Nam ban hành năm 2023 quy định về bảo đảm an toàn thông tin trong hoạt động ngân hàng.
- [Tiền xử lý dữ liệu](https://vieclam.nganhang.com/thuat-ngu/tien-xu-ly-du-lieu-la-gi) — Bước làm sạch, chuẩn hóa và biến đổi dữ liệu thô thành định dạng phù hợp để huấn luyện mô hình học máy trong ngân hàng.
- [Trợ lý ảo ngân hàng](https://vieclam.nganhang.com/thuat-ngu/tro-ly-ao-ngan-hang-la-gi) — Phần mềm AI hỗ trợ khách hàng 24/7 về số dư, lịch sử giao dịch và các dịch vụ tài chính.
- [Xử lý ngôn ngữ tự nhiên](https://vieclam.nganhang.com/thuat-ngu/xu-ly-ngon-ngu-tu-nhien-la-gi) — Công nghệ giúp máy tính hiểu, phân tích và tạo ra ngôn ngữ của con người, ứng dụng trong chatbot ngân hàng.