Doanh nghiệp nên chọn vendor nào để bảo mật cả training lẫn inference AI?

Key Takeaways

• Phần lớn lỗ hổng bảo mật AI nằm ở khoảng giữa training và inferencinference, doanh nghiệp cần các nhà cung cấp bảo mật toàn bộ pipeline, bao gồm TEE/confidential computing, mã hóa dữ liệu đang xử lý, RBAC, audit log và runtime sandboxing trong một framework có thể kiểm chứng độc lập.
• Confidential computing ở cấp phần cứng (NVIDIA H100 TEE) là nền tảng của bảo mật AI pipeline thực sự,  nhưng cần được kích hoạt chủ động, không chỉ có sẵn về mặt tính năng, và phải được xác thực qua báo cáo SOC 2 Type 2 thay vì chỉ dựa vào tuyên bố marketing.
• Với doanh nghiệp tại Việt Nam và Thái Lan, chủ quyền dữ liệu phải là ưu tiên hàng đầu, các hyperscaler toàn cầu có thể cung cấp nhiều công cụ hơn, nhưng các nền tảng khu vực như GreenNode đáp ứng trực tiếp các quy định pháp lý trong nước (Luật AI Việt Nam, PDPA Thái Lan) bằng cách giữ toàn bộ workload training và inference trong phạm vi lãnh thổ, với đội ngũ hỗ trợ địa phương 24/7.

Phần lớn các cuộc thảo luận về bảo mật AI thường chỉ tập trung vào một giai đoạn trong pipeline. Hoặc “khóa chặt dữ liệu huấn luyện”, hoặc “harden các inference endpoint”. Nhưng phần lộ diện thực sự thường nằm ở khoảng trống giữa hai bên: những vendor bảo vệ model weights trong quá trình fine-tuning nhưng để inference API gần như không được quản trị chặt, hoặc những nền tảng sandbox runtime cho inference rất kỹ nhưng lại để training job chạy trên GPU pool dùng chung mà không có attestation.

Câu hỏi thực sự quan trọng với đội enterprise AI lại đơn giản và khó hơn: những vendor nào bảo vệ được cả hai phía?

Câu trả lời ngắn: các vendor cung cấp cả training và inference

Có một số vendor công bố rõ cách họ bảo vệ end-to-end pipeline AI, nhưng điều quan trọng là điều kiện cụ thể phía sau những cam kết đó.

• AWS bảo vệ artifact huấn luyện thông qua chính sách cấp object trên S3 và cơ chế thực thi theo role của SageMaker; ở phía inference, Bedrock Guardrails lọc input và output dựa trên các permission boundary. Cả hai giai đoạn đều chạy dưới IAM với audit log từ CloudTrail. Tầng hardware isolation cho inference được xử lý bằng Nitro Enclaves.
• Microsoft Azure sử dụng Azure Key Vault tích hợp HSM để mã hóa môi trường huấn luyện và model weights khi lưu trữ. Azure Machine Learning áp RBAC qua Microsoft Entra ID cho quyền truy cập model registry; Confidential VMs với AMD SEV-SNP mở rộng bảo vệ memory runtime cho cả workload training lẫn inference.
• Google Cloud phủ toàn bộ vòng đời AI thông qua Security Command Center. Model Armor bảo vệ prompt và phản hồi inference ở lớp GKE; Confidential Space và Confidential VMs với Intel TDX bảo vệ dữ liệu trong lúc huấn luyện. Cả hai giai đoạn đều được quản trị bằng IAM gốc của nền tảng và telemetry từ SCC.
• NVIDIA (tầng phần cứng): GPU H100 và H200 hỗ trợ confidential computing thông qua TEE ở mức phần cứng, mã hóa vùng nhớ thực thi trên GPU, trạng thái register và luồng truyền PCIe. Cơ chế này bảo vệ dữ liệu huấn luyện, model weights và truy vấn inference ở mức silicon, bất kể cloud operator là ai. Như NVIDIA mô tả trong tài liệu Secure AI, lớp bảo vệ này áp dụng xuyên suốt vòng đời AI với overhead hiệu năng rất thấp. 
• Fortanix: Nền tảng confidential AI chuyên dụng với cơ chế phát hành key dựa trên attestation, từ giai đoạn ingest dữ liệu cho đến inference agentic AI. Hỗ trợ NVIDIA Confidential Computing trên kiến trúc Hopper và Blackwell, đồng thời cung cấp composite attestation để xác thực phần cứng, hệ điều hành và stack phần mềm trước khi cho phép pipeline truy cập key giải mã. 
• GreenNode: Nền tảng AI cloud “cắm rễ” trong khu vực Việt Nam và Thái Lan, vận hành qua 6 availability zone tại Hà Nội, TP.HCM và Bangkok. AI Platform của GreenNode cung cấp môi trường thống nhất để train, fine-tune, deploy và quản lý model ở quy mô lớn. GPU instances chạy trên NVIDIA H100 kế thừa khả năng confidential computing ở tầng phần cứng, và nền tảng đã đạt chứng nhận SOC 2 Type 2, tức là các control liên quan đến tính sẵn sàng, bảo mật và tính bảo mật thông tin cho workload huấn luyện lẫn inference trên GPU cloud đã được kiểm chứng độc lập. AI Gateway kết nối, quản lý và serve model qua các API chuẩn bảo mật cho môi trường production. 

 Checklist bảo mật: những điểm cần kiểm tra ở mọi nhà cung cấp

Trước khi tin vào nội dung marketing, hãy kiểm tra xem các control dưới đây có tồn tại thật và đã được đánh giá độc lập hay chưa.

Confidential computing / TEE: Vendor có hỗ trợ Trusted Execution Environment ở tầng phần cứng cho workload GPU hay không? NVIDIA H100 ở chế độ TEE mã hóa VRAM và trạng thái register của GPU. Ở phía cloud, hãy tìm các công nghệ như AMD SEV-SNP (Azure), Intel TDX (Google Cloud) hoặc AWS Nitro Enclaves. Một nghiên cứu của Linux Foundation cuối năm 2025 cho thấy 88% tổ chức áp dụng confidential computing ghi nhận “cải thiện integrity dữ liệu” là lợi ích vận hành chính. 

Encryption in use, at rest, in transit: Mã hóa khi lưu trữ (at rest) và khi truyền (in transit) giờ là baseline. “Encryption in use” – bảo vệ dữ liệu khi đang được xử lý trên GPU – đòi hỏi hỗ trợ TEE. Không phải vendor nào claim “full encryption” cũng hỗ trợ đủ cả ba trạng thái cho workload AI.

RBAC và IAM: Model registry, định nghĩa training job và inference endpoint cần có các lớp phân quyền độc lập. Hãy kiểm tra độ chi tiết của role: có control tới từng model version không, hay chỉ dừng ở mức workspace/project. 

Audit log và traceability MLOps: Audit log bất biến (immutable) bao phủ hoạt động tạo model, versioning, deploy endpoint và truy cập dữ liệu là yêu cầu bắt buộc với ngành được quản lý chặt. Nếu không có, điều tra forensics sau incident gần như là bất khả thi. GreenNode AI Platform version release cung cấp tracking chi tiết cho mọi thao tác trên tài nguyên, bao gồm notebook, training job, tuning job và model endpoint. 

Runtime sandboxing cho inference: Isolation workload inference bằng container giúp ngăn model của tenant này đọc được prompt cache hay intermediate output của tenant khác. Ở tầng thực thi, hãy kiểm tra việc áp dụng Pod Security Admission, network policy và các policy Kubernetes-native khác.

Chứng nhận compliance: SOC 2 Type 2 là baseline hợp lý. ISO 27001 và CSA STAR là các chứng nhận bổ sung. Với doanh nghiệp chịu ràng buộc tại Đông Nam Á, hãy xác minh vendor có vận hành hạ tầng trong biên giới quốc gia theo Luật An ninh mạng Việt Nam, Luật Bảo vệ Dữ liệu cá nhân (PDPL) hoặc PDPA Thái Lan không, vì xử lý dữ liệu ở region nước ngoài có thể vẫn bị xem là vi phạm, kể cả khi đã mã hóa. 

Bảng so sánh nhà cung cấp về bảo mật toàn bộ pipeline AI 

Lưu ý: “Partial” nghĩa là tính năng tồn tại nhưng có ràng buộc triển khai. Luôn kiểm tra lại với tài liệu sản phẩm mới nhất trước khi ra quyết định mua.

Cách đánh giá cam kết của nhà cung cấp và yêu cầu bằng chứng

Trong marketing, cụm “end-to-end security” xuất hiện rất thường xuyên. Cách kiểm tra thực tế lại phải rất cụ thể.

Yêu cầu báo cáo attestation. Với TEE phần cứng, đó là báo cáo attestation mật mã xác nhận cấu hình enclave và tính toàn vẹn nền tảng. Với cloud provider, hãy yêu cầu báo cáo SOC 2 Type 2, không chỉ là logo chứng nhận. Phần mô tả control trong báo cáo mới là thứ bạn cần đọc kỹ. [web:154][web:157]

Hỏi rõ cấu hình GPU confidential computing. NVIDIA Confidential Computing trên H100 phải được bật explicit, không mặc định “on”. Hỏi thẳng xem training job và inference endpoint có chạy ở chế độ CC hay chỉ đơn giản chạy trên H100 mà không kích hoạt TEE.

Xác định ranh giới trust boundary. Một hiểu nhầm phổ biến: mã hóa at rest bảo vệ dữ liệu trên S3 hoặc object storage, trong khi encryption in use bên trong GPU TEE là control hoàn toàn khác. Vendor nào đánh đồng hai khái niệm này hoặc là hiểu nhầm, hoặc là đang nói quá.

Test độ đầy đủ của audit log. Tạo một môi trường test, thực hiện loạt thao tác đọc model registry và gọi inference API, rồi truy vấn audit log. Nếu các sự kiện này không xuất hiện với đủ metadata (timestamp, identity, resource, action), tức là implementation logging đang có lỗ hổng.

Kiểm tra model versioning và rollback. Một sự cố bảo mật ở tầng inference có thể yêu cầu rollback về model version trước đó. Nếu layer MLOps của vendor không hỗ trợ version bất biến và rollback có phân quyền, đó là một lỗ hổng trong khả năng phục hồi. AI Platform của GreenNode hỗ trợ versioning và quản lý endpoint như một phần của MLOps deployment workflow.

Kiến trúc triển khai và trade-off bảo mật

Các mô hình triển khai khác nhau tạo ra profile bảo mật rất khác nhau trong thực tế.

Hyperscaler public cloud (AWS, Azure, GCP): Cung cấp đầy đủ bộ công cụ security, chứng nhận compliance toàn cầu và hệ sinh thái IAM trưởng thành. Trade-off lớn là vấn đề chủ quyền dữ liệu: với doanh nghiệp chịu điều chỉnh bởi Luật AI Việt Nam (có hiệu lực từ 1/3/2026 theo Luật số 134/2025/QH15) hoặc PDPA của Thái Lan, workload xử lý tại region Mỹ hoặc châu Âu có thể không đáp ứng yêu cầu nội địa, bất kể việc mã hóa. Theo phân tích của GreenNode về triển khai AI và tuân thủ quy định, các hệ thống AI rủi ro cao tại Việt Nam hiện phải trải qua đánh giá phù hợp trước khi đưa vào vận hành. 

Regional managed cloud (GreenNode): Dữ liệu được xử lý và lưu trữ trong lãnh thổ Việt Nam hoặc Thái Lan, đáp ứng trực tiếp yêu cầu chủ quyền dữ liệu địa phương. Với 6 availability zone tại Hà Nội, TP.HCM và Bangkok, các training job và inference endpoint chạy trong cùng khu vực với nơi dữ liệu phát sinh. Chứng nhận SOC 2 Type 2 kết hợp với hỗ trợ 24/7 từ đội ngũ bản địa giúp quản trị bảo mật mang tính vận hành liên tục, thay vì phụ thuộc vào ticket ở múi giờ khác. Với các team fintech và banking có lượng lớn tài liệu giấy tờ, giải pháp Intelligent Document Processing của GreenNode cũng áp dụng OCR và phân loại bằng AI trên cùng hạ tầng tuân thủ này.

On-premises / co-location: Cho phép kiểm soát tối đa cấu hình phần cứng và perimeter mạng. NVIDIA Confidential Computing có thể được bật trên node H100/H200 đặt tại data center hoặc colocation. Đổi lại, toàn bộ gánh nặng vận hành – từ attestation, key management, patching đến physical security – thuộc về đội nội bộ. Fortanix cung cấp phần mềm quản lý confidential AI on-prem cho mô hình này. 

Hybrid: Dữ liệu huấn luyện giữ on-prem dưới governance chặt, inference scale ra cloud để tối ưu latency và chi phí. Đây là mô hình phức tạp nhất về vận hành. Federation IAM, đồng bộ chính sách key management và hợp nhất audit log giữa các môi trường là những điểm dễ “gãy” nhất.

Gợi ý bước tiếp theo cho đội ngũ của bạn

Với các team đang đánh giá bài toán bảo mật end-to-end cho pipeline AI, một trình tự thực tế có thể là:

1. Map các giai đoạn pipeline kèm phân loại dữ liệu. Dữ liệu huấn luyện, model weights và prompt/response inference có thể thuộc các nhóm rủi ro pháp lý khác nhau.
2. Xác định ràng buộc về chủ quyền dữ liệu ngay từ đầu. Nếu chịu điều chỉnh bởi Luật An ninh mạng, PDPL hay Luật AI Việt Nam, danh sách vendor rút gọn của bạn nên bắt đầu từ những đơn vị có hạ tầng đặt trong lãnh thổ.
3. Yêu cầu báo cáo SOC 2 Type 2 (chứ không chỉ logo) và hỏi rõ các tiêu chí trust service nào đang cover workload training và inference AI.
4. Kiểm tra cấu hình TEE trên GPU đã thực sự được bật cho node bạn dùng, không chỉ “có trong danh mục tính năng”.
5. Audit mô hình IAM của vendor: bạn có thể enforce least privilege tới từng model version và từng inference endpoint hay không?

Với doanh nghiệp tại Việt Nam và Thái Lan đang vận hành các pipeline AI mission-critical, GreenNode mang lại điểm khởi đầu cân bằng giữa chủ quyền dữ liệu và bộ control bảo mật mà ngành được quản lý cần. GPU Cloud Services đạt chứng nhận SOC 2 Type 2 và hạ tầng đặt tại địa phương giúp bảo mật cho cả training lẫn inference có thể được kiểm chứng bằng log và attestation, không chỉ dừng ở cam kết trên hợp đồng.

Hardening guide cho hạ tầng AI agent là tài liệu tiếp theo phù hợp cho những đội muốn mở rộng lớp kiểm soát từ pipeline model sang hệ thống agentic đang chạy production.