# AI Markov Decision Process quá trình quyết định Markov

Tiếng Anh: AI Markov Decision Process (MDP)

Khung toán học mô hình hóa quyết định tuần tự, là nền tảng cho các hệ thống khuyến nghị và giao dịch tự động trong ngân hàng.

Nguồn: https://vieclam.nganhang.com/thuat-ngu/ai-markov-decision-process-qua-trinh-quyet-dinh-markov-la-gi
Danh mục: AI & Machine Learning trong ngân hàng
Cập nhật: 13/09/2026

## AI Markov Decision Process (Quá trình quyết định Markov) là gì?

**AI Markov Decision Process** (viết tắt là **MDP**), tạm dịch là **Quá trình quyết định Markov**, là một khung toán học thuộc nhóm thuật toán học tăng cường (**Reinforcement Learning - RL**) trong lĩnh vực trí tuệ nhân tạo (**Artificial Intelligence - AI**). MDP được các nhà khoa học máy tính nghiên cứu từ những năm 1950 và hiện là nền tảng lý thuyết cốt lõi để xây dựng các hệ thống tự ra quyết định trong môi trường có yếu tố bất định. Khác với các thuật toán học có giám sát (**Supervised Learning**) truyền thống chỉ dự đoán kết quả từ dữ liệu lịch sử có nhãn, MDP mô hình hóa chuỗi tương tác liên tục giữa một tác nhân (**agent**) với môi trường xung quanh, trong đó mỗi hành động đều nhận về một phản hồi dưới dạng phần thưởng (**reward**) hoặc hình phạt. Nhờ đặc tính này, MDP đặc biệt phù hợp với các bài toán kinh doanh đòi hỏi sự cân nhắc giữa lợi ích ngắn hạn và dài hạn - đúng như bản chất của nhiều quyết định trong ngành tài chính - ngân hàng.

Một quá trình quyết định Markov được xác định bởi năm thành phần cốt lõi: tập trạng thái **S** (mô tả mọi tình huống có thể xảy ra), tập hành động **A** (các lựa chọn mà tác nhân có thể thực hiện), xác suất chuyển trạng thái **P(s'|s,a)** (khả năng hệ thống chuyển từ trạng thái *s* sang *s'* khi thực hiện hành động *a*), hàm phần thưởng **R(s,a)** (đánh giá mức độ hiệu quả của mỗi quyết định), và hệ số chiết khấu **γ** (gamma, nằm trong khoảng từ 0 đến 1, quy định tầm quan trọng tương đối giữa phần thưởng tức thì và phần thưởng trong tương lai). Tính chất Markov - được đặt theo tên nhà toán học người Nga Andrei Markov - đảm bảo rằng trạng thái tương lai chỉ phụ thuộc vào trạng thái hiện tại cùng hành động được chọn, mà không cần biết toàn bộ lịch sử trước đó. Điều này giúp đơn giản hóa đáng kể không gian tính toán, đồng thời vẫn giữ được tính chính xác cần thiết cho các bài toán ra quyết định phức tạp.

**Thuật ngữ tiếng Anh:** Markov Decision Process (MDP)
**Lĩnh vực:** AI & Machine Learning trong ngân hàng

## Đặc điểm và phân loại

### Năm thành phần cốt lõi của MDP

| Ký hiệu | Tên gọi | Vai trò | Ví dụ trong ngân hàng |
|---|---|---|---|
| **S** | Tập trạng thái (State Space) | Mô tả mọi tình huống có thể xảy ra | Mức rủi ro tín dụng: thấp, trung bình, cao |
| **A** | Tập hành động (Action Space) | Các lựa chọn mà tác nhân có thể thực hiện | Duyệt khoản vay, từ chối, yêu cầu thế chấp thêm |
| **P(s'\|s,a)** | Xác suất chuyển trạng thái (Transition Probability) | Xác suất hệ thống chuyển từ *s* sang *s'* khi chọn hành động *a* | 70% khách hàng trả nợ đúng hạn sau khi được cấp tín dụng |
| **R(s,a)** | Hàm phần thưởng (Reward Function) | Đánh giá hiệu quả của hành động | +10 điểm khi thu hồi nợ thành công, -5 điểm khi khách vỡ nợ |
| **γ** | Hệ số chiết khấu (Discount Factor) | Trọng số giữa phần thưởng ngắn hạn và dài hạn | γ = 0,95 ưu tiên lợi nhuận 5 năm tới |

### Phân loại các thuật toán giải bài toán MDP

- **Value Iteration (Lặp giá trị):** Thuật toán lặp cập nhật giá trị của từng trạng thái cho đến khi hội tụ. Phù hợp với bài toán có không gian trạng thái nhỏ như quyết định phê duyệt thẻ tín dụng theo 3-5 nhóm khách hàng.
- **Policy Iteration (Lặp chính sách):** Xen kẽ giữa việc đánh giá chính sách hiện tại và cải thiện chính sách. Hội tụ nhanh hơn Value Iteration trong nhiều trường hợp.
- **Q-Learning:** Thuật toán học không cần mô hình (**model-free**), cập nhật giá trị Q(s,a) cho mỗi cặp trạng thái - hành động dựa trên kinh nghiệm thực tế. Là nền tảng cho các hệ thống khuyến nghị sản phẩm tài chính.
- **Deep Q-Network (DQN):** Kết hợp Q-Learning với mạng nơ-ron sâu (**Deep Neural Network**) để xử lý không gian trạng thái lớn. Được sử dụng trong giao dịch thuật toán (**algorithmic trading**) với hàng nghìn tín hiệu thị trường.
- **Policy Gradient và Actor-Critic:** Tối ưu trực tiếp chính sách mà không cần tính giá trị trạng thái. Phù hợp với không gian hành động liên tục như phân bổ tài sản theo tỷ trọng phần trăm.

### Phân biệt MDP với các khái niệm liên quan

| Khái niệm | Đặc điểm khác biệt chính | Ứng dụng điển hình |
|---|---|---|
| **Markov Chain** (Xích Markov) | Không có hành động và phần thưởng; chỉ mô tả sự chuyển trạng thái tự nhiên | Mô hình xếp hạng tín nhiệm (**credit rating**) của khách hàng theo thời gian |
| **Hidden Markov Model** (Mô hình Markov ẩn - HMM) | Trạng thái không quan sát trực tiếp; phải suy luận qua tín hiệu quan sát được | Nhận diện hành vi gian lận qua chuỗi giao dịch bất thường |
| **MDP** (Quá trình quyết định Markov) | Có đầy đủ hành động, phần thưởng và chính sách tối ưu | Ra quyết định động trong giao dịch, phê duyệt tín dụng, dịch vụ khách hàng |
| **Reinforcement Learning** (Học tăng cường) | Là phương pháp huấn luyện tác nhân để giải bài toán MDP trong môi trường phức tạp | Mô hình chính sách **chính sách tối ưu** khi môi trường chưa biết hết |

### Phương trình Bellman - trái tim của MDP

Công thức trung tâm giúp tính giá trị tối ưu của một trạng thái là phương trình Bellman: **V*(s) = max_a [R(s,a) + γ × Σ P(s'|s,a) × V*(s')]**. Phương trình này cho biết giá trị tối ưu của trạng thái *s* bằng phần thưởng tức thì cộng với giá trị kỳ vọng có chiết khấu của các trạng thái tương lai.

## Ví dụ thực tế trong ngành ngân hàng

### Ví dụ 1: Hệ thống phê duyệt tín dụng cá nhân tại Ngân hàng A

Ngân hàng A triển khai mô hình MDP để tự động hóa quy trình cấp khoản vay tiêu dùng trị giá từ 10 triệu đến 500 triệu đồng. Trạng thái **S** được định nghĩa theo 5 nhóm: khách hàng mới, khách hàng có lịch sử tốt, khách hàng cảnh báo, khách hàng nợ xấu nhóm 1-2, và nợ xấu nhóm 3-5. Hành động **A** bao gồm: chấp nhận khoản vay, từ chối, yêu cầu thế chấp bổ sung, hoặc giảm hạn mức. Hệ số chiết khấu γ được đặt ở mức 0,95 để cân bằng giữa lợi nhuận kỳ hạn 12 tháng và giá trị vòng đời khách hàng (**customer lifetime value - CLV**) trong 5 năm. Kết quả sau 8 tháng triển khai, tỷ lệ nợ xấu giảm từ 3,8% xuống 2,1%, đồng thời thời gian phê duyệt trung bình rút từ 48 giờ xuống còn 6 giờ.

### Ví dụ 2: Tối ưu hóa danh mục đầu tư tại Ngân hàng B

Ngân hàng B - một ngân hàng thương mại cổ phần có vốn hóa lớn - ứng dụng thuật toán Deep Q-Network để quản lý danh mục trái phiếu trị giá 25.000 tỷ đồng. Trạng thái bao gồm 120 đặc trưng: lãi suất TPCP hiện hành, chỉ số VN-Index, tỷ giá USD/VND, CPI 12 tháng qua, và chênh lệch lợi suất (**yield spread**) giữa các kỳ hạn. Hành động là phân bổ tỷ trọng vốn liên tục vào 7 nhóm tài sản, từ tiền gửi không kỳ hạn đến trái phiếu doanh nghiệp kỳ hạn 10 năm. Phần thưởng âm tương ứng với khoản lỗ, phần thưởng dương tương ứng với lợi nhuận ròng. Hệ thống đã giúp danh mục đạt lợi nhuận 14,3%/năm trong giai đoạn 2022-2024, vượt chỉ số tham chiếu 2,7 điểm phần trăm.

### Ví dụ 3: Phát hiện gian lận thẻ tín dụng tại Ngân hàng C

Ngân hàng C kết hợp MDP với hệ thống giám sát giao dịch thẻ trực tuyến. Trạng thái **S** đại diện cho mức độ rủi ro của giao dịch: bình thường, nghi ngờ nhẹ, nghi ngờ cao, và có dấu hiệu gian lận. Hành động **A** bao gồm: cho phép giao dịch, gửi mã OTP xác thực, tạm khóa thẻ, hoặc liên hệ trực tiếp khách hàng. Mỗi hành động đúng đều mang về phần thưởng dương (tránh mất tiền khách hàng), trong khi quyết định sai bị trừ điểm nặng. Theo báo cáo nội bộ, hệ thống đã phát hiện 97,4% giao dịch gian lận với tỷ lệ cảnh báo sai (**false positive**) chỉ 0,8%, tiết kiệm ước tính hơn 240 tỷ đồng tiền hoàn trả cho khách hàng mỗi năm.

## AI Markov Decision Process (Quá trình quyết định Markov) trong các ngôn ngữ khác

| Ngôn ngữ | Thuật ngữ | Phiên âm |
|---|---|---|
| Tiếng Anh | Markov Decision Process | /ˈmɑːrkɒf dɪˈsɪʒən ˈprɑːses/ |
| Tiếng Nhật | マルコフ決定過程 | Marukofu Kettei Katei |
| Tiếng Hàn | 마르코프 결정 과정 | Mareukopeu Gyeoljeong Gwahyeong |
| Tiếng Trung (Giản thể) | 马尔可夫决策过程 | Mǎ'ěrkěfū Juécè Guòchéng |
| Tiếng Tây Ban Nha | Proceso de Decisión de Markov | /pɾoˈθeso ðe ðeθiˈsjon ðe ˈmaɾkof/ |

## Câu hỏi thường gặp

### AI Markov Decision Process (Quá trình quyết định Markov) khác gì so với Markov Chain (Xích Markov)?

Sự khác biệt cốt lõi nằm ở hai yếu tố: hành động và phần thưởng. Markov Chain chỉ mô tả sự chuyển đổi tự nhiên giữa các trạng thái mà không có sự can thiệp của tác nhân, ví dụ như xác suất khách hàng chuyển từ nhóm tín nhiệm A sang B là 12%. Trong khi đó, MDP bổ sung tập hành động do tác nhân lựa chọn và hàm phần thưởng đi kèm, cho phép tìm ra chính sách tối ưu để tác động đến xác suất chuyển trạng thái. Nói cách khác, Markov Chain trả lời câu hỏi *"điều gì sẽ xảy ra?"*, còn MDP trả lời câu hỏi *"ta nên làm gì để đạt kết quả tốt nhất?"*.

### Khi nào ngân hàng cần triển khai hệ thống dựa trên MDP?

Các ngân hàng nên cân nhắc ứng dụng MDP khi bài toán kinh doanh có đầy đủ ba đặc điểm: (1) **tính tuần tự** - quyết định hôm nay ảnh hưởng đến kết quả ngày mai; (2) **tính bất định** - cùng một hành động có thể dẫn đến nhiều kết quả khác nhau với xác suất khác nhau; và (3) **sự đánh đổi giữa ngắn hạn và dài hạn** - cần cân bằc giữa lợi ích tức thì và giá trị tương lai. Ví dụ điển hình bao gồm phê duyệt tín dụng, quản lý danh mục đầu tư, giao dịch thuật toán, cá nhân hóa sản phẩm, và tối ưu chiến lược thu hồi nợ. Ngược lại, với các bài toán chỉ cần phân loại giao dịch một lần hoặc dự báo giá trị đơn lẻ, các thuật toán học có giám sát như Random Forest hay XGBoost sẽ phù hợp hơn.

### AI Markov Decision Process ảnh hưởng thế nào đến trải nghiệm khách hàng ngân hàng?

MDP tác động tích cực đến khách hàng theo nhiều chiều: thời gian xử lý giao dịch được rút ngắn từ vài giờ xuống vài phút nhờ quyết định tự động; mức độ cá nhân hóa sản phẩm tăng theo từng giai đoạn quan hệ với khách hàng; và khả năng bảo vệ khỏi gian lận được nâng cao đáng kể. Tuy nhiên, khách hàng cũng cần lưu ý rằng các quyết định do thuật toán MDP đưa ra phải tuân thủ Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân, đảm bảo quyền được giải thích (**right to explanation**) khi khách hàng yêu cầu. Khi gặp quyết định bất lợi từ hệ thống tự động như bị từ chối khoản vay, khách hàng có quyền yêu cầu ngân hàng cung cấp thông tin về lý do và quy trình xem xét lại bởi con người.

### Hệ số chiết khấu γ ảnh hưởng thế nào đến chính sách tối ưu?

Hệ số chiết khấu γ đóng vai trò then chốt trong việc cân bằng giữa phần thưởng ngắn hạn và dài hạn của MDP. Khi γ gần 0, tác nhân sẽ ưu tiên phần thưởng tức thì, dẫn đến các quyết định "ăn xổi ở thì" - ví dụ duyệt mọi khoản vay để nhận phí ngay lập tức. Khi γ gần 1, tác nhân coi trọng phần thưởng tương lai, phù hợp với chiến lược giữ chân khách hàng dài hạn. Trong thực tế, các ngân hàng thường chọn γ trong khoảng 0,90 đến 0,99 tùy theo mục tiêu kinh doanh.

## Tổng kết

**AI Markov Decision Process (Quá trình quyết định Markov - MDP)** là khung toán học nền tảng cho mọi hệ thống AI cần ra quyết định tuần tự trong môi trường bất định - đặc tính cốt lõi của ngành ngân hàng. Với năm thành phần cốt lõi gồm tập trạng thái, tập hành động, xác suất chuyển trạng thái, hàm phần thưởng và hệ số chiết khấu, MDP cho phép ngân hàng xây dựng các hệ thống tự động có khả năng học hỏi liên tục từ dữ liệu và tối ưu hóa chiến lược dài hạn. Việc nắm vững MDP, các thuật toán giải bài toán MDP (Value Iteration, Q-Learning, DQN), cùng khả năng phân biệt rõ MDP với Markov Chain, HMM và Reinforcement Learning sẽ giúp ứng viên ôn thi ngân hàng tự tin xử lý các câu hỏi chuyên sâu về AI trong lĩnh vực tài chính, đồng thời cập nhật được xu hướng chuyển đổi số đang diễn ra mạnh mẽ tại Việt Nam theo định hướng của Quyết định 749/QĐ-TTg và các quy định của Ngân hàng Nhà nước Việt Nam.

## Thuật ngữ liên quan

- [Bảo vệ dữ liệu cá nhân](https://vieclam.nganhang.com/thuat-ngu/bao-ve-du-lieu-ca-nhan-la-gi) — Yêu cầu pháp lý ngân hàng phải thu thập, lưu trữ và xử lý dữ liệu cá nhân khách hàng theo Nghị định 13/2023/NĐ-CP và các quy định liên quan.
- [Mô hình Markov ẩn](https://vieclam.nganhang.com/thuat-ngu/mo-hinh-markov-an-la-gi) — Mô hình Markov ẩn mô hình hóa trạng thái không quan sát được như thay đổi hành vi khách hàng, ứng dụng trong phát hiện gian lận thẻ tín dụng.
- [Nghị định 13/2023/NĐ-CP](https://vieclam.nganhang.com/thuat-ngu/nghi-dinh-132023nd-cp-la-gi) — Văn bản pháp lý quan trọng quy định về xử lý và bảo vệ dữ liệu cá nhân tại Việt Nam có hiệu lực từ ngày 01/07/2023.
- [Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân](https://vieclam.nganhang.com/thuat-ngu/nghi-dinh-132023nd-cp-ve-bao-ve-du-lieu-ca-nhan-la-gi) — Văn bản pháp lý quan trọng quy định bảo vệ dữ liệu cá nhân tại Việt Nam, áp dụng cho dịch vụ tài chính số.
- [Phát hiện gian lận](https://vieclam.nganhang.com/thuat-ngu/phat-hien-gian-lan-la-gi) — Hệ thống sử dụng AI và phân tích dữ liệu để nhận diện các giao dịch bất thường hoặc có dấu hiệu gian lận.
- [Quản lý rủi ro tín dụng](https://vieclam.nganhang.com/thuat-ngu/quan-ly-rui-ro-tin-dung-la-gi) — Quy trình nhận diện, đo lường, kiểm soát rủi ro vỡ nợ của khách hàng vay.
- [Trí tuệ nhân tạo](https://vieclam.nganhang.com/thuat-ngu/tri-tue-nhan-tao-la-gi) — Lĩnh vực nghiên cứu tạo ra hệ thống có khả năng thực hiện tác vụ đòi hỏi trí thông minh của con người, đang được ứng dụng sâu rộng trong ngân hàng từ chatbot đ…
- [Tối ưu hóa danh mục đầu tư](https://vieclam.nganhang.com/thuat-ngu/toi-uu-hoa-danh-muc-dau-tu-la-gi) — Sử dụng mô hình toán như Markowitz để phân bổ vốn nhằm tối đa hóa lợi nhuận trên rủi ro cho ngân hàng.