# AI Tokenization mã hóa văn bản

Tiếng Anh: Tokenization

Bước tách văn bản thành đơn vị nhỏ (từ, tiểu từ) trước khi đưa vào mô hình NLP phân tích hợp đồng hoặc email khách hàng.

Nguồn: https://vieclam.nganhang.com/thuat-ngu/ai-tokenization-ma-hoa-van-ban-la-gi
Danh mục: AI & Machine Learning trong ngân hàng
Cập nhật: 13/09/2026

## AI Tokenization mã hóa văn bản là gì?

**Tokenization** (mã hóa văn bản) là bước tiền xử lý quan trọng bậc nhất trong bất kỳ mô hình **Natural Language Processing** (Xử lý ngôn ngữ tự nhiên – NLP) hay **Large Language Model** (Mô hình ngôn ngữ lớn) nào. Về bản chất, đây là quá trình tách một chuỗi văn bản dài thành các đơn vị nhỏ hơn gọi là **token** (đơn vị mã hóa) — có thể là từ, tiểu từ, ký tự hoặc thậm chí là các đoạn byte. Mỗi **token** sau đó được ánh xạ sang một con số (token ID) trong **vocabulary** (từ vựng) của mô hình để máy tính có thể "hiểu" và xử lý.

Trong ngành ngân hàng Việt Nam, **Tokenization** đóng vai trò nền tảng cho hàng loạt ứng dụng AI quan trọng: phân tích hợp đồng tín dụng, đọc hiểu email khiếu nại của khách hàng, xây dựng **chatbot** tư vấn, phát hiện gian lận trong giao dịch, hay tự động phân loại phản hồi từ khảo sát **Customer Satisfaction** (mức độ hài lòng khách hàng). Không có bước **Tokenization** chính xác, mọi mô hình AI phía sau đều sẽ cho kết quả sai lệch hoặc không đáng tin cậy.

Điểm đặc biệt của tiếng Việt là ngôn ngữ đơn âm tiết, có dấu thanh, nhiều từ ghép và từ láy. Chính vì vậy, **Tokenization** cho tiếng Việt phức tạp hơn nhiều so với tiếng Anh — một mô hình chỉ được huấn luyện trên văn bản tiếng Anh sẽ "bó tay" trước câu "Tôi muốn tất toán khoản vay mua ô tô trước hạn". Đây là lý do các ngân hàng lớn tại Việt Nam phải đầu tư xây dựng **tokenizer** riêng cho tiếng Việt hoặc tinh chỉnh các mô hình đa ngôn ngữ.

**Thuật ngữ tiếng Anh:** Tokenization
**Lĩnh vực:** AI & Machine Learning trong ngân hàng

---

## Đặc điểm và phân loại

### Các phương pháp Tokenization phổ biến

| Phương pháp | Đặc điểm | Ưu điểm | Nhược điểm | Ứng dụng ngân hàng |
|---|---|---|---|---|
| **Word Tokenization** (tách từ) | Tách văn bản theo khoảng trắng và dấu câu | Đơn giản, dễ triển khai | Không xử lý tốt tiếng Việt vì từ ghép | Phân tích báo cáo ngắn |
| **Character Tokenization** (tách ký tự) | Tách từng chữ cái, số, dấu | Không cần từ điển, xử lý từ hiếm tốt | Độ dài chuỗi lớn, mất ngữ nghĩa từ | Nhận dạng chữ ký, OCR |
| **Subword Tokenization** (tách tiểu từ) | Chia từ thành các phần nhỏ hơn có nghĩa | Cân bằng giữa kích thước và ngữ nghĩa | Cần dữ liệu lớn để huấn luyện | Phân tích hợp đồng tín dụng |
| **BPE** (Byte Pair Encoding) | Ghép cặp ký tự xuất hiện nhiều nhất lặp đi kèm | Từ vựng nhỏ gọn, xử lý tốt từ mới | Chậm khi huấn luyện lần đầu | Chatbot tư vấn khách hàng |
| **WordPiece** | Tương tự BPE nhưng dựa trên xác suất | Tối ưu cho BERT, ngữ nghĩa tốt | Khó mở rộng đa ngôn ngữ | Phân loại email khiếu nại |
| **SentencePiece** | Xử lý trực tiếp trên byte, không cần tách từ trước | Độc lập ngôn ngữ, phù hợp tiếng Việt | Cần cấu hình cẩn thận | Dịch tự động tài liệu |

### Quy trình Tokenization trong ngân hàng

1. **Thu thập dữ liệu thô** — Email khiếu nại, hợp đồng PDF, log cuộc gọi, đánh giá trên App Store.
2. **Làm sạch dữ liệu** — Loại bỏ ký tự đặc biệt, chuẩn hóa chữ hoa/thường, sửa lỗi chính tả.
3. **Tách câu** — Chia văn bản thành các câu riêng biệt bằng dấu chấm, xuống dòng.
4. **Áp dụng Tokenization** — Chạy qua mô hình tokenizer đã được huấn luyện.
5. **Chuyển đổi thành Token ID** — Ánh xạ sang số nguyên trong từ vựng mô hình.
6. **Thêm token đặc biệt** — `[CLS]`, `[SEP]`, `[PAD]` cho BERT hoặc ``, `` cho SentencePiece.
7. **Đưa vào mô hình** — Cho vào mạng neural để phân tích, phân loại hoặc sinh văn bản.

### Token đặc biệt quan trọng trong tài chính

| Token | Ý nghĩa | Vai trò trong ngân hàng |
|---|---|---|
| `[MASK]` | Che giấu thông tin | Ẩn số tài khoản, số CMND khi huấn luyện |
| `[PAD]` | Đệm chuỗi | Đồng nhất độ dài khi xử lý hợp đồng |
| `[UNK]` | Từ không xác định | Đánh dấu thuật ngữ chuyên ngành hiếm |
| `[NUM]` | Số/tiền tệ | Trích xuất số tiền, lãi suất trong hợp đồng |
| `[DATE]` | Ngày tháng | Nhận diện kỳ hạn, ngày đáo hạn |

---

## Ví dụ thực tế trong ngành ngân hàng

### Ví dụ 1: Phân tích hợp đồng tín dụng tại Ngân hàng A

Ngân hàng A — một trong những ngân hàng thương mại cổ phần lớn nhất Việt Nam — xử lý khoảng **120.000 hồ sơ tín dụng cá nhân mỗi tháng**. Trước đây, nhân viên tín dụng phải đọc thủ công từng hợp đồng dài 15–25 trang để trích xuất các điều khoản quan trọng như lãi suất, kỳ hạn, điều kiện phạt. Thời gian xử lý trung bình là **45 phút/hồ sơ** với tỷ lệ sai sót khoảng **3,2%**.

Sau khi triển khai hệ thống **AI Contract Intelligence** dựa trên mô hình PhoBERT (mô hình ngôn ngữ tiếng Việt do VinAI phát triển), Ngân hàng A đã ứng dụng **Tokenization** SentencePiece với **vocabulary 64.000 token**. Quy trình cụ thể:

- Câu gốc trong hợp đồng: *"Bên vay cam kết thanh toán khoản nợ gốc 500.000.000 VNĐ trong vòng 36 tháng với lãi suất 11,5%/năm."*
- Sau khi Tokenization: `["Bên", "vay", "cam_kết", "thanh_toán", "khoản_nợ", "gốc", "500", ".", "000", ".", "000", "VNĐ", "trong", "vòng", "36", "tháng", "với", "lãi_suất", "11", ",", "5", "%", "/", "năm"]`

Kết quả: thời gian xử lý giảm xuống còn **8 phút/hồ sơ**, tỷ lệ sai sót giảm còn **0,4%**, tiết kiệm khoảng **62.000 giờ lao động mỗi tháng**. Đặc biệt, hệ thống còn tự động phát hiện **217 hợp đồng** có điều khoản bất thường trong tháng đầu triển khai, giúp ngân hàng phòng tránh rủi ro pháp lý trị giá hơn **380 tỷ đồng**.

### Ví dụ 2: Chatbot phân loại khiếu nại tại Ngân hàng B

Ngân hàng B đang vận hành chatbot xử lý khoảng **85.000 cuộc hội thoại mỗi ngày** trên ứng dụng di động và website. Mỗi ngày có khoảng **12.000 tin nhắn** chứa nội dung khiếu nại thật sự cần chuyển tiếp đến nhân viên. Hệ thống sử dụng **Tokenization** BPE để chuyển đổi các tin nhắn tiếng Việt đa dạng (có lỗi chính tả, viết tắt, emoji) thành dạng số rồi đưa vào mô hình phân loại ý định.

Một tin nhắn thực tế từ khách hàng: *"E oi minh chuyen tien nham tk, lm sao lay lai dc vay??"*
Sau khi qua **Tokenizer** với SentencePiece: `["▁e", "▁oi", "▁minh", "▁chuyển", "▁tiền", "▁nhầm", "▁tài_khoản", "▁làm", "▁sao", "▁lấy", "▁lại", "▁được", "▁vậy"]`

Mô hình nhận diện đây là intent **"Chuyển tiền nhầm - Yêu cầu hoàn tiền"** với độ chính xác **94,7%**. Trước đây, khách hàng phải chờ trung bình **8 phút** để được kết nối với tổng đài viên, nay chỉ còn **dưới 30 giây** và được chatbot hướng dẫn luôn các bước tạo yêu cầu tra soát.

### Ví dụ 3: Phát hiện gian lận qua phân tích mô tả giao dịch

Ngân hàng A còn ứng dụng **Tokenization** trong hệ thống **Anti-Money Laundering** (AML – Chống rửa tiền). Mỗi giao dịch chuyển tiền có kèm nội dung memo dài tối đa 140 ký tự. Hệ thống dùng **Tokenization** để trích xuất các từ khóa đáng ngờ như "vay nóng", "đặt cọc", "tiền mặt gấp", "chuyển gấp"... kết hợp với phân tích hành vi để phát hiện giao dịch rủi ro. Trong năm 2024, hệ thống này đã cảnh báo **4.236 giao dịch đáng ngờ** với tổng giá trị hơn **2.100 tỷ đồng**, trong đó **11%** được xác nhận là rửa tiền hoặc lừa đảo thật sự.

---

## AI Tokenization mã hóa văn bản trong các ngôn ngữ khác

| Ngôn ngữ | Thuật ngữ | Phiên âm |
|---|---|---|
| Tiếng Anh | Tokenization | /ˌtəʊkənaɪˈzeɪʃən/ |
| Tiếng Nhật | トークン化 (Tōkun-ka) | /tōkunka/ |
| Tiếng Hàn | 토큰화 (Tokenhwa) | /tʰokʌnhwa/ |
| Tiếng Trung | 分词 (Fēncí) / 标记化 (Biāojìhuà) | /fən.tsʰɹ̩˧˥/ |
| Tiếng Tây Ban Nha | Tokenización | /to.ke.na.iˈθa.θjon/ |

**Ghi chú chuyên môn:**
- Trong tiếng Trung, **分词 (Fēncí)** là thuật ngữ kỹ thuật phổ biến nhất trong giới NLP, nghĩa là "phân tách từ" — đây cũng là thách thức lớn nhất vì tiếng Trung không có khoảng trắng giữa các từ.
- Trong tiếng Nhật, ngoài **トークン化**, người ta còn dùng **形態素解析 (Keitaiso Kaiseki)** nghĩa là "phân tích hình thái học" — tương đương với bước tách từ trong **Tokenization**.
- Trong tiếng Hàn, **토큰화 (Tokenhwa)** là cách dịch trực tiếp từ tiếng Anh, nhưng giới học thuật còn dùng **형태소 분석 (Hyeongtaeso Bunseok)** — phân tích hình thái học.
- Tiếng Tây Ban Nha dùng **Tokenización** với phiên âm nhấn vào âm tiết thứ 4, lưu ý **θ** trong **"zación"** được phát âm như **/s/** ở vùng Latinh Mỹ và **/θ/** ở Tây Ban Nha châu Âu.

---

## Câu hỏi thường gặp

### AI Tokenization mã hóa văn bản khác gì với Tokenization trong bảo mật thanh toán (Payment Tokenization)?

Đây là hai khái niệm **hoàn toàn khác nhau** mặc dù cùng tên **Tokenization**. **AI Tokenization** (mã hóa văn bản) là bước xử lý ngôn ngữ tự nhiên trong AI/ML, tách văn bản thành các đơn vị nhỏ để mô hình học máy xử lý. Trong khi đó, **Payment Tokenization** (mã hóa thanh toán) là kỹ thuật bảo mật trong ngành thanh toán, thay thế số thẻ tín dụng 16 chữ số bằng một chuỗi ngẫu nhiên không có giá trị thanh toán (token) để bảo vệ thông tin khách hàng. Ngân hàng A có thể đồng thời sử dụng cả hai loại **Tokenization** này trong các hệ thống khác nhau: cái thứ nhất trong phòng phân tích tín dụng AI, cái thứ hai trong cổng thanh toán trực tuyến.

### Khi nào ngân hàng cần triển khai AI Tokenization mã hóa văn bản?

Ngân hàng cần triển khai **AI Tokenization** khi bắt đầu xây dựng bất kỳ hệ thống AI nào xử lý văn bản tiếng Việt. Cụ thể, ba tình huống phổ biến nhất là: **(1)** Xây dựng **chatbot** hoặc trợ lý ảo để tự động hóa dịch vụ khách hàng — cần Tokenization để máy hiểu câu hỏi của khách; **(2)** Triển khai hệ thống **OCR** kết hợp NLP để số hóa và phân tích hợp đồng giấy, cần Tokenization để trích xuất điều khoản; **(3)** Phân tích **Customer Voice** (tiếng nói khách hàng) từ email, mạng xã hội, đánh giá app để đo lường **Customer Satisfaction**. Một dấu hiệu rõ ràng để biết cần triển khai: khi nhân viên ngân hàng mất hơn **2 giờ mỗi ngày** chỉ để đọc và phân loại email/văn bản, thì đã đến lúc tự động hóa bằng AI Tokenization.

### AI Tokenization mã hóa văn bản ảnh hưởng thế nào đến trải nghiệm khách hàng?

**AI Tokenization** chất lượng cao giúp cải thiện **trải nghiệm khách hàng** theo ba hướng rõ rệt. **Thứ nhất**, chatbot hiểu đúng ý khách hàng ngay từ lần hỏi đầu tiên, giảm tình trạng hỏi đi hỏi lại — Ngân hàng B đã giảm **42% tỷ lệ khách hàng phải chuyển sang tổng đài viên thật** sau khi cải tiến Tokenizer. **Thứ hai**, thời gian phản hồi nhanh hơn — phê duyệt khoản vay mua xe có thể giảm từ **24 giờ** xuống còn **4 giờ** nhờ AI tự động đọc hợp đồng. **Thứ ba**, hệ thống phát hiện sớm các vấn đề khách hàng gặp phải (như lỗi chuyển tiền, thẻ bị khóa bất thường), giúp ngân hàng chủ động liên hệ hỗ trợ thay vì để khách hàng phải khiếu nại. Tuy nhiên, nếu **Tokenizer** chất lượng kém, khách hàng sẽ gặp tình trạng chatbot trả lời sai, không hiểu câu hỏi có dấu, hoặc phân loại sai yêu cầu — điều này gây ra **trải nghiệm tệ hại** và làm giảm **Net Promoter Score** (điểm đo lường lòng trung thành) của ngân hàng.

---

## Tổng kết

**AI Tokenization** (mã hóa văn bản) là nền tảng không thể thiếu trong chiến lược **chuyển đổi số** của ngành ngân hàng Việt Nam. Đây là bước đầu tiên quyết định chất lượng của mọi mô hình AI xử lý ngôn ngữ — từ chatbot, phân tích hợp đồng, đến phát hiện gian lận. Đặc thù tiếng Việt với thanh điệu, từ ghép, đa dạng phương ngữ khiến **Tokenization** trở thành thách thức lớn hơn so với các ngôn ngữ châu Âu. Các ngân hàng tiên phong như Ngân hàng A và Ngân hàng B đã chứng minh rằng đầu tư đúng đắn vào hạ tầng **Tokenizer** chuyên biệt cho tiếng Việt mang lại hiệu quả vượt trội: giảm **80–90% thời gian xử lý**, cắt giảm sai sót xuống dưới **1%**, và tiết kiệm hàng nghìn tỷ đồng chi phí vận hành mỗi năm. Trong tương lai gần, khi các mô hình ngôn ngữ lớn tiếng Việt ngày càng hoàn thiện, **Tokenization** sẽ còn đóng vai trò quan trọng hơn nữa trong việc đưa AI trở thành trợ lý không thể thiếu của mỗi nhân viên ngân hàng và mỗi khách hàng.

## Thuật ngữ liên quan

- [Học sâu](https://vieclam.nganhang.com/thuat-ngu/hoc-sau-la-gi) — Nhánh học máy sử dụng mạng nơ-ron nhiều lầu, hiệu quả trong xử lý văn bản, giọng nói, hình ảnh phục vụ ngân hàng số.
- [Hợp đồng tín dụng](https://vieclam.nganhang.com/thuat-ngu/hop-dong-tin-dung-la-gi) — Văn bản pháp lý ghi nhận thỏa thuận giữa ngân hàng và khách vay về số tiền, kỳ hạn, lãi suất, tài sản đảm bảo và các điều khoản cho vay.
- [Khoản vay](https://vieclam.nganhang.com/thuat-ngu/khoan-vay-la-gi) — Các khoản nợ vay từ ngân hàng, tổ chức tín dụng hoặc phát hành trái phiếu, được phân loại ngắn hạn hoặc dài hạn trên BCTC.
- [Mô hình ngôn ngữ lớn](https://vieclam.nganhang.com/thuat-ngu/mo-hinh-ngon-ngu-lon-la-gi) — Mô hình học sâu được huấn luyện trên lượng lớn văn bản, hỗ trợ ngân hàng trong phân tích hợp đồng, tóm tắt báo cáo tín dụng và tự động hóa dịch vụ khách hàng.
- [PCI DSS](https://vieclam.nganhang.com/thuat-ngu/pci-dss-la-gi) — Tiêu chuẩn bảo mật dữ liệu thẻ thanh toán do Hội đồng PCI SSC ban hành, áp dụng cho mọi tổ chức lưu trữ/xử lý dữ liệu thẻ.
- [Rửa tiền](https://vieclam.nganhang.com/thuat-ngu/rua-tien-la-gi) — Hành vi che giấu nguồn gốc bất hợp pháp của tiền thông qua ba giai đoạn đặt - phân lớp - tích hợp, bị phạt tù đến 20 năm theo Điều 324 Bộ luật Hình sự Việt Nam.
- [Triển khai mô hình](https://vieclam.nganhang.com/thuat-ngu/trien-khai-mo-hinh-la-gi) — Đưa mô hình đã phê duyệt vào môi trường vận hành production thông qua API, container hoặc nhúng vào hệ thống core banking.
- [Xử lý ngôn ngữ tự nhiên](https://vieclam.nganhang.com/thuat-ngu/xu-ly-ngon-ngu-tu-nhien-la-gi) — Công nghệ giúp máy tính hiểu, phân tích và tạo ra ngôn ngữ của con người, ứng dụng trong chatbot ngân hàng.