10 thg 4, 2025·8 phút
Stack tính toán tăng tốc của NVIDIA: GPU, CUDA, hạ tầng AI
Tìm hiểu cách GPU của NVIDIA và CUDA giúp tính toán tăng tốc, và cách hạ tầng AI ngày nay — chip, mạng và phần mềm — vận hành công nghệ hiện đại.
Tìm hiểu cách GPU của NVIDIA và CUDA giúp tính toán tăng tốc, và cách hạ tầng AI ngày nay — chip, mạng và phần mềm — vận hành công nghệ hiện đại.
Tính toán tăng tốc là một ý tưởng đơn giản: thay vì bắt một CPU đa dụng làm mọi tác vụ, bạn chuyển những phần nặng và lặp lại sang một bộ xử lý chuyên dụng (thường là GPU) có thể làm công việc đó nhanh hơn và tiết kiệm năng lượng hơn.
CPU rất giỏi xử lý nhiều công việc nhỏ khác nhau — chạy hệ điều hành, phối hợp ứng dụng, đưa ra quyết định. GPU được thiết kế để thực hiện nhiều phép tính tương tự cùng lúc. Khi một workload có thể tách thành hàng nghìn (hoặc hàng triệu) phép toán song song — như nhân ma trận lớn hoặc áp cùng một phép toán cho một lô dữ liệu khổng lồ — thì GPU đóng vai trò như một “bộ tăng tốc” đẩy thông lượng lên rất cao.
Game làm cho GPU nổi tiếng, nhưng cùng loại toán song song đó xuất hiện khắp nơi trong tính toán hiện đại:
Đây là lý do tại sao tính toán tăng tốc dịch chuyển từ PC tiêu dùng vào trung tâm dữ liệu. Không chỉ là “chip nhanh hơn” — mà là biến những bài toán trước đây không khả thi về chi phí, thời gian hoặc năng lượng trở nên khả thi.
Khi người ta nói “stack tính toán tăng tốc của NVIDIA,” thường ý họ là ba lớp hoạt động cùng nhau:
Sau phần hướng dẫn này, bạn sẽ có mô hình tư duy rõ ràng về GPU vs CPU, tại sao AI hợp với GPU, CUDA thực chất làm gì, và những gì (ngoài GPU) bạn cần để xây hệ thống AI thực sự có thể mở rộng.
Hãy tưởng tượng CPU như một đội nhỏ các chuyên gia trình độ cao. Họ không nhiều, nhưng mỗi người đều giỏi đưa ra quyết định, chuyển đổi nhiệm vụ nhanh và xử lý logic phức tạp kiểu “nếu thì”.
GPU, trái lại, giống như hàng trăm hoặc hàng nghìn trợ lý có năng lực. Mỗi trợ lý có thể đơn giản hơn chuyên gia, nhưng cùng nhau họ có thể xử lý một núi công việc tương tự cùng lúc.
CPU xuất sắc ở điều khiển và phối hợp: chạy hệ điều hành, quản lý file, xử lý yêu cầu mạng và thực thi đường đi mã có nhiều nhánh. Chúng được thiết kế cho logic tuần tự — bước 1, rồi bước 2, rồi bước 3 — nhất là khi mỗi bước phụ thuộc vào bước trước.
GPU tỏa sáng khi cùng một phép toán phải áp dụng cho nhiều mảnh dữ liệu song song. Thay vì một nhân làm đi làm lại, nhiều nhân thực hiện cùng lúc.
Các workload phù hợp với GPU thường gặp gồm:
Trong hầu hết hệ thống thực tế, GPU không thay thế CPU — chúng bổ trợ cho nhau.
CPU thường chạy ứng dụng, chuẩn bị dữ liệu và điều phối công việc. GPU lo phần tính toán song song nặng. Đó là lý do các server AI hiện đại vẫn có CPU mạnh: nếu không có sự “chuyên gia” điều phối tốt, tất cả những “trợ lý” kia có thể phải ngồi không chờ lệnh.
GPU bắt đầu như bộ xử lý chuyên để vẽ điểm ảnh và cảnh 3D. Cuối thập niên 1990 và đầu 2000, NVIDIA và các hãng khác liên tục thêm nhiều đơn vị song song hơn để xử lý shading và geometry nhanh hơn. Các nhà nghiên cứu nhận ra rằng nhiều bài toán ngoài đồ họa cũng chỉ là lặp lại cùng phép toán trên nhiều điểm dữ liệu — chính xác kiểu pipeline đồ họa được dựng để xử lý.
Mốc thời gian thực tế:
Các workload đồ họa dựa nhiều vào đại số tuyến tính: vector, ma trận, tích vô hướng, convolution và hàng loạt phép nhân‑cộng. Tính toán khoa học dùng cùng các khối xây dựng (ví dụ mô phỏng, xử lý tín hiệu), và ML hiện đại càng tập trung vào chúng — đặc biệt là nhân ma trận và convolution đậm đặc.
Điểm then chốt là song song: nhiều tác vụ ML áp cùng một phép toán lên các lô dữ liệu lớn (pixel, token, feature). GPU được thiết kế để chạy hàng nghìn luồng tương tự hiệu quả, nên chúng đạt được nhiều phép toán trên giây hơn CPU trong các mẫu này.
Tác động của NVIDIA không chỉ ở chip nhanh hơn; mà còn ở việc khiến GPU dễ dùng cho nhà phát triển. CUDA làm cho lập trình GPU dễ tiếp cận hơn, và một hệ thư viện ngày càng phong phú (đại số tuyến tính, mạng nơ‑ron, xử lý dữ liệu) giảm nhu cầu viết kernel tùy chỉnh.
Khi nhiều đội tung sản phẩm tăng tốc GPU, hệ sinh thái càng mạnh: nhiều tutorial, công cụ tốt hơn, kỹ sư có kinh nghiệm hơn và hỗ trợ framework, làm cho đội tiếp theo dễ chấp nhận GPU hơn.
Một GPU mạnh chỉ hữu dụng nếu dev biết hướng dẫn nó làm gì. CUDA (Compute Unified Device Architecture) là nền tảng lập trình của NVIDIA giúp GPU cảm giác như một mục tiêu tính toán thực thụ, không chỉ là add‑on đồ họa.
CUDA làm hai việc lớn:
Nếu không có lớp này, mỗi đội sẽ phải tự reinvent lập trình GPU mức thấp, tối ưu hiệu năng và quản lý bộ nhớ cho từng thế hệ chip mới.
Trong CUDA, bạn viết một kernel, đơn giản là một hàm được thiết kế để chạy nhiều lần cùng lúc. Thay vì gọi nó một lần như trên CPU, bạn khởi chạy nó trên hàng nghìn (hoặc triệu) thread nhẹ. Mỗi thread xử lý một phần nhỏ của công việc tổng thể — như một pixel, một hàng ma trận, hoặc một phần tính toán trong mạng nơ‑ron.
Ý tưởng chính: nếu bài toán của bạn có thể cắt thành nhiều tác vụ độc lập tương tự, CUDA có thể xếp các tác vụ đó lên nhiều nhân GPU hiệu quả.
Hầu hết người dùng không viết CUDA thô cho AI. Nó thường nằm dưới các công cụ họ dùng:
Đó là lý do “hỗ trợ CUDA” thường là một mục kiểm tra trong kế hoạch hạ tầng AI: nó quyết định những building block tối ưu nào stack của bạn có thể tận dụng.
CUDA gắn chặt với GPU NVIDIA. Sự tích hợp này là lý do nó nhanh và trưởng thành — nhưng đồng thời có nghĩa di chuyển mã sang phần cứng không phải NVIDIA có thể cần điều chỉnh, backend thay thế hoặc framework khác.
Mô hình AI trông phức tạp, nhưng phần lớn công việc nặng đều là lặp lại cùng phép toán ở quy mô rất lớn.
Một tensor chỉ là mảng số nhiều chiều: vector (1D), ma trận (2D) hoặc các khối 3D/4D+. Trong mạng nơ‑ron, tensor biểu diễn input, trọng số, activation trung gian và output.
Phép toán cốt lõi là nhân và cộng các tensor — đặc biệt là nhân ma trận (và các convolution liên quan). Huấn luyện và suy luận lặp mẫu này hàng triệu đến hàng nghìn tỷ lần. Đó là lý do hiệu năng AI thường đo bằng tốc độ hệ thống thực hiện các phép nhân‑cộng đậm đặc.
GPU thiết kế để chạy nhiều phép toán tương tự song song. Thay vì vài nhân rất mạnh (kiểu CPU), GPU có rất nhiều nhân nhỏ xử lý lưới phép toán khổng lồ cùng lúc — hoàn hảo cho toán lặp trong workloads tensor.
GPU hiện đại còn có các đơn vị chuyên dụng tập trung vào tensor. Khái niệm là các bộ tăng tốc hướng tensor này crunch các mẫu nhân‑cộng phổ biến trong AI hiệu quả hơn nhân tổng quát, mang lại thông lượng cao hơn trên mỗi watt.
Huấn luyện tối ưu trọng số mô hình. Thường bị giới hạn bởi tổng compute và việc di chuyển tensor lớn qua bộ nhớ nhiều lần.
Suy luận phục vụ dự đoán. Thường bị giới hạn bởi mục tiêu độ trễ, thông lượng và tốc độ cung cấp dữ liệu cho GPU mà không lãng phí chu kỳ.
Các đội AI quan tâm tới:
Một “server GPU” hiện đại trông giống server bình thường ở bên ngoài, nhưng bên trong được xây dựng quanh việc cấp dữ liệu cho một hay nhiều card tăng tốc công suất cao càng hiệu quả càng tốt.
Mỗi GPU có bộ nhớ tốc độ cao gọi là VRAM. Nhiều công việc AI không thất bại vì GPU “quá chậm” — mà vì mô hình, activation và kích thước batch không vừa VRAM.
Đó là lý do bạn sẽ thấy người ta nói về “GPU 80GB” hoặc “bao nhiêu token vừa”. Nếu hết VRAM, bạn phải giảm batch, dùng precision thấp, shard mô hình hoặc thêm GPU.
Đưa nhiều GPU vào một hộp giúp, nhưng hiệu năng phụ thuộc vào mức độ GPU phải giao tiếp. Một số workload có thể mở rộng gần tuyến tính; số khác bị giới hạn bởi overhead đồng bộ, trùng lặp VRAM, hoặc nghẽn khi load dữ liệu.
GPU cao cấp có thể hút hàng trăm watt mỗi chiếc. Một server 8‑GPU có thể giống như một máy sưởi không phải là server rack bình thường. Điều đó có nghĩa:
Một hộp GPU không chỉ là “server có GPU” — mà là hệ thống thiết kế để giữ accelerator luôn được cấp dữ liệu, làm mát và giao tiếp ở tốc độ tối đa.
GPU chỉ nhanh như hệ thống bao quanh nó. Khi bạn chuyển từ “một server mạnh” sang “nhiều GPU phối hợp”, yếu tố giới hạn thường không còn là compute thô mà là tốc độ chuyển dữ liệu, chia sẻ kết quả và giữ mọi GPU luôn bận rộn.
Job một GPU chủ yếu lấy dữ liệu từ lưu trữ cục bộ và chạy. Huấn luyện đa GPU (và nhiều cấu hình suy luận) liên tục trao đổi dữ liệu: gradient, activation, tham số mô hình và kết quả trung gian. Nếu trao đổi đó chậm, GPU phải chờ—và thời gian GPU nhàn rỗi là loại đắt nhất.
Hai dấu hiệu chung của nghẽn mạng:
Trong một server, các GPU có thể được liên kết bằng kết nối rất nhanh, độ trễ thấp để phối hợp mà không phải vòng qua đường chậm hơn. Giữa các server, trung tâm dữ liệu dùng fabric mạng băng thông cao thiết kế cho hiệu năng ổn định dưới tải lớn.
Về mặt khái niệm, hãy nghĩ đến hai lớp:
Đó là lý do “số GPU” không đủ — bạn cũng cần hỏi cách những GPU đó giao tiếp.
GPU không huấn luyện trên “file”, chúng huấn luyện trên luồng các batch. Nếu load dữ liệu chậm, compute bị gián đoạn. Pipeline hiệu quả thường kết hợp:
Một pipeline tốt có thể làm cho cùng một cụm GPU cảm nhận nhanh hơn rất nhiều.
Trong môi trường thực tế, nhiều đội chia sẻ cùng một cluster. Lập lịch quyết định job nào có GPU, trong bao lâu và với tài nguyên gì (CPU, bộ nhớ, mạng). Lập lịch tốt giảm “đói GPU” (job chờ) và “lãng phí GPU” (đã cấp nhưng nhàn rỗi). Nó cũng cho phép chính sách như hàng đợi ưu tiên, preemption và right‑sizing — rất quan trọng khi giờ GPU là một khoản chi, không chỉ là tiện ích.
Phần cứng chỉ là một nửa câu chuyện. Lợi thế thực sự của NVIDIA là stack phần mềm biến GPU từ một con chip nhanh thành nền tảng khả dụng để các đội xây dựng, triển khai và vận hành.
Hầu hết đội không viết mã GPU ở mức thô. Họ lắp ráp ứng dụng từ các khối xây dựng: thư viện và SDK tối ưu xử lý các phép toán đắt tiền thường gặp. Hãy nghĩ chúng như các mảnh LEGO đã hoàn thiện cho tăng tốc — đại số ma trận, convolution, xử lý video, di chuyển dữ liệu — để bạn tập trung vào logic sản phẩm thay vì viết kernel mức thấp.
Các framework ML phổ biến tích hợp với stack NVIDIA để khi bạn chạy mô hình trên GPU, framework sẽ chuyển các phép toán chính tới các thư viện được tối ưu dưới lớp vỏ. Với người dùng, có thể chỉ là một chuyển đổi thiết bị đơn giản (“use GPU”), nhưng đằng sau đó là chuỗi: framework, runtime CUDA và thư viện hiệu năng phối hợp với nhau.
Ít nhất, bạn sẽ quản lý:
Đây là nơi nhiều dự án vấp. Driver, phiên bản CUDA và release framework có ràng buộc tương thích; mismatch có thể gây chậm hoặc lỗi triển khai. Nhiều đội chuẩn hóa trên các tổ hợp “đã thử và chạy tốt”, khoá phiên bản trong container và dùng rollout theo giai đoạn (dev → staging → production). Hãy coi stack phần mềm GPU như một dependency sản phẩm, không phải cài đặt một lần rồi quên.
Khi bạn chạy mô hình trên một GPU, câu hỏi tiếp theo là làm sao để nhanh hơn (hoặc chứa mô hình lớn hơn). Có hai hướng chính: scale up (thêm/chọn GPU mạnh hơn trong một máy) và scale out (nhiều máy phối hợp).
Với một GPU, mọi thứ là cục bộ: mô hình, dữ liệu và bộ nhớ GPU. Với nhiều GPU, bạn bắt đầu phối hợp công việc giữa các thiết bị.
Scale up thường là chuyển sang server có 2–8 GPU kết nối bằng liên kết tốc độ cao. Đây có thể là bước nhảy lớn vì GPU chia sẻ kết quả nhanh và cùng dùng CPU/ổ lưu trữ host.
Scale out là thêm nhiều server và nối chúng bằng mạng nhanh. Đây là cách huấn luyện đạt hàng chục hoặc hàng nghìn GPU — nhưng việc phối hợp trở thành mối quan tâm chính.
Data parallel: mỗi GPU giữ bản sao đầy đủ mô hình, nhưng mỗi GPU huấn luyện trên một lát dữ liệu khác nhau. Sau mỗi bước, các GPU “đồng ý” về trọng số bằng cách trao đổi gradient. Đây là cách khởi đầu phổ biến vì dễ hiểu.
Model parallel: chính mô hình được chia trên các GPU vì quá lớn hoặc quá chậm để chứa trên một GPU. GPU phải giao tiếp trong forward và backward, không chỉ lúc kết thúc bước. Cách này mở cửa cho mô hình lớn hơn nhưng tăng giao tiếp.
Nhiều hệ thống thực tế kết hợp cả hai: model parallel trong server, data parallel giữa server.
Thêm GPU làm tăng thời gian “nói chuyện”. Nếu workload nhỏ hoặc mạng chậm, GPU có thể ngồi chờ cập nhật. Bạn sẽ thấy lợi nhuận giảm khi:
Bạn nên cần multi‑GPU hoặc cluster khi:
Lúc đó, stack chuyển từ chỉ GPU sang cả interconnect nhanh, mạng và lập lịch — vì mở rộng liên quan nhiều tới phối hợp chứ không chỉ compute thô.
Tính toán tăng tốc không còn là “thủ thuật hậu trường” dành cho phòng thí nghiệm. Nó là một trong những lý do nhiều sản phẩm hàng ngày cảm thấy tức thì, mượt mà và ngày càng thông minh — vì một số workload chạy tốt hơn nhiều khi hàng nghìn phép toán nhỏ vận hành song song.
Phần lớn người dùng chú ý đến phía phục vụ: trợ lý chat, trình tạo ảnh, dịch thời gian thực, và tính năng “thông minh” trong app. Ở hậu trường, GPU hỗ trợ hai pha:
Trong production, điều này biểu hiện ở phản hồi nhanh hơn, thông lượng cao hơn (nhiều user trên mỗi server) và khả năng chạy mô hình lớn hơn trong ngân sách trung tâm dữ liệu nhất định.
Nền tảng streaming và app video dùng tăng tốc cho mã hóa, giải mã, upscaling, loại bỏ nền và hiệu ứng. Công cụ sáng tạo dùng nó cho phát lại timeline, color grading, kết xuất 3D và tính năng AI (giảm nhiễu, điền sinh tạo, chuyển phong cách). Kết quả thực tế là ít chờ đợi và phản hồi thời gian thực khi chỉnh sửa.
Tính toán tăng tốc dùng nhiều trong mô phỏng lặp lại cùng phép toán trên lưới lớn hoặc nhiều hạt: mô hình thời tiết, fluid dynamics, mô phỏng phân tử và kiểm chứng thiết kế kỹ thuật. Chu kỳ mô phỏng ngắn hơn dẫn đến R&D nhanh hơn, nhiều vòng thiết kế và kết quả tốt hơn.
Gợi ý, xếp hạng tìm kiếm, tối ưu quảng cáo và phát hiện gian lận thường cần xử lý luồng sự kiện lớn nhanh chóng. GPU có thể tăng tốc một phần xử lý feature và thực thi mô hình để quyết định xảy ra trong khi người dùng vẫn tương tác.
Không phải mọi việc đều nên chạy trên GPU. Nếu workload nhỏ, nhiều nhánh hoặc chủ yếu tuần tự, CPU có thể đơn giản và rẻ hơn. Tính toán tăng tốc phát huy khi bạn có thể chạy nhiều toán tương tự cùng lúc — hoặc khi độ trễ và thông lượng trực tiếp ảnh hưởng trải nghiệm sản phẩm.
Ghi chú thực tế: khi nhiều đội xây tính năng AI, nút thắt thường không còn là “chúng ta có thể viết CUDA không?” mà là “làm sao để phát hành app và lặp an toàn?” Các nền tảng như Koder.ai hữu ích ở đây: bạn có thể prototype và phát hành ứng dụng web/back-end/mobile qua workflow chat, rồi tích hợp dịch vụ suy luận có GPU phía sau khi cần tăng tốc — mà không phải xây lại toàn bộ pipeline phân phối.
Mua “một GPU” cho AI thực ra là mua một nền tảng nhỏ: compute, bộ nhớ, mạng, lưu trữ, nguồn, làm mát và hỗ trợ phần mềm. Có cấu trúc nhỏ từ đầu giúp bạn tránh bất ngờ khi mô hình lớn hơn hoặc sử dụng tăng nhanh.
Bắt đầu với thứ bạn sẽ chạy nhiều nhất — huấn luyện, fine‑tuning hay inference — và kích thước mô hình bạn dự kiến trong 12–18 tháng tới.
Một GPU mạnh vẫn có thể chạy kém trong một hộp không tương xứng. Chi phí ẩn thường gặp:
Một cách tiếp cận hybrid phổ biến: năng lực nền tảng on‑prem, burst lên cloud cho các lần huấn luyện đỉnh.
Hỏi nhà bán (hoặc đội nền tảng nội bộ):
Hãy xem câu trả lời như một phần của sản phẩm: GPU tốt nhất trên giấy không phải lúc nào cũng là nền tảng tốt nhất nếu bạn không thể cấp điện, làm mát hay cung cấp dữ liệu cho nó.
Tính toán tăng tốc có lợi ích thật, nhưng không phải “hiệu năng miễn phí.” Các quyết định về GPU, phần mềm và vận hành có thể tạo ra ràng buộc lâu dài — đặc biệt khi đội chuẩn hóa trên một stack.
CUDA và hệ sinh thái thư viện của NVIDIA giúp đội nhanh chóng năng suất, nhưng cùng tiện lợi đó có thể giảm tính di động. Mã phụ thuộc vào kernel CUDA, quản lý bộ nhớ hay thư viện độc quyền có thể cần tái cấu trúc lớn để di chuyển sang accelerator khác.
Cách tiếp cận thực tế là tách “logic nghiệp vụ” khỏi “logic accelerator”: giữ code mô hình, tiền xử lý dữ liệu và điều phối càng di động càng tốt, cô lập kernel GPU tùy chỉnh sau một giao diện sạch. Nếu tính di động quan trọng, hãy kiểm tra các workload then chốt trên ít nhất một đường khác sớm (dù chậm hơn) để hiểu chi phí chuyển đổi.
Nguồn cung GPU có thể biến động, và giá thường theo cầu. Tổng chi phí còn lớn hơn phần cứng: điện, làm mát, không gian rack và thời gian nhân sự có thể chiếm phần lớn.
Năng lượng là ràng buộc quan trọng. Huấn luyện nhanh hơn là tốt, nhưng nếu kéo theo tiêu thụ điện gấp đôi mà không cải thiện thời gian‑đến‑kết quả, bạn có thể trả nhiều hơn mà thu ít hơn. Theo dõi chỉ số như chi phí cho mỗi lần huấn luyện, token trên mỗi joule và độ sử dụng — không chỉ “giờ GPU.”
Khi nhiều đội chia sẻ GPU, vệ sinh cơ bản rất quan trọng: ranh giới tenancy chắc, truy cập được audit, driver được patch và quản lý cẩn trọng mô hình/lưu trữ dữ liệu. Ưu tiên primitives cô lập mà nền tảng hỗ trợ (container/VM, credential theo job, phân đoạn mạng) và coi node GPU như tài sản giá trị cao — vì đúng vậy.
Hãy mong tiến bộ ở ba hướng: hiệu quả hơn (hiệu năng trên mỗi watt), mạng nhanh hơn giữa GPU và các node, và các lớp phần mềm chín muồi hơn giảm friction vận hành (profiling, scheduling, reproducibility và chia sẻ multi‑tenant an toàn hơn).
Nếu bạn đang áp dụng tính toán tăng tốc, bắt đầu với một hoặc hai workload đại diện, đo end‑to‑end chi phí và độ trễ, và ghi lại giả định về tính di động. Rồi xây một “con đường vàng” nhỏ (image chuẩn, driver, monitoring và kiểm soát truy cập) trước khi mở rộng cho nhiều đội.
Để lập kế hoạch liên quan, xem /blog/choosing-gpus-and-platforms và /blog/scaling-up-and-scaling-out.
Accelerated computing có nghĩa là chạy “những phép toán nặng, lặp lại” trên một bộ xử lý chuyên biệt (thường là GPU) thay vì bắt CPU đa năng làm mọi thứ.
Trong thực tế, CPU điều phối ứng dụng và luồng dữ liệu, còn GPU thực hiện một lượng lớn các phép toán tương tự theo hàng loạt (ví dụ: nhân ma trận).
CPU được tối ưu cho luồng điều khiển: nhiều nhánh, chuyển đổi tác vụ và chạy hệ điều hành.
GPU được tối ưu cho thông lượng: áp dụng cùng một phép toán lên khối lượng dữ liệu khổng lồ cùng lúc. Nhiều tác vụ AI, video và mô phỏng phù hợp với kiểu song song dữ liệu này, nên GPU có thể nhanh hơn rất nhiều cho những phần công việc đó.
Không—hầu hết hệ thống thực tế dùng cả hai.
Nếu CPU, lưu trữ hoặc mạng không kịp cấp dữ liệu, GPU sẽ ngồi chờ và bạn sẽ không có được tốc độ mong đợi.
Người ta thường chỉ ba lớp hoạt động cùng nhau:
CUDA là nền tảng phần mềm của NVIDIA cho phép lập trình tổng quát trên GPU của họ.
Nó bao gồm mô hình lập trình (kernel/threads), toolchain biên dịch, runtime và driver—cùng một hệ sinh thái thư viện lớn để bạn thường không cần viết CUDA thô cho các phép toán phổ biến.
Một kernel là một hàm được khởi chạy để chạy nhiều lần song song.
Thay vì gọi một lần như hàm CPU, bạn khởi chạy nó trên hàng nghìn hoặc hàng triệu các thread nhẹ, mỗi thread xử lý một lát nhỏ của công việc (một phần tử, một pixel, một hàng, v.v.). GPU lập lịch các thread này lên nhiều nhân để tối đa hóa thông lượng.
Bởi vì phần lớn công việc đắt tiền là đại số tensor—đặc biệt là các mẫu nhân‑cộng đậm đặc như nhân ma trận và các phép toán convolution.
GPU được thiết kế để chạy hàng loạt phép toán tương tự cùng lúc, và GPU hiện đại còn có các đơn vị chuyên dụng cho các mẫu tensor này để tăng thông lượng trên mỗi watt.
Training thường bị giới hạn bởi tổng lượng tính toán và việc di chuyển các tensor lớn qua bộ nhớ nhiều lần (cộng thêm chi phí giao tiếp nếu phân tán).
Inference thường bị giới hạn bởi các mục tiêu chân trời độ trễ, thông lượng và việc chuyển dữ liệu—giữ cho GPU liên tục bận rộn trong khi đạt yêu cầu thời gian phản hồi. Các tối ưu (batching, quantization, pipeline tốt hơn) khác nhau nhiều giữa hai mục tiêu này.
Vì VRAM quyết định được những gì có thể tồn tại trên GPU cùng lúc: tham số mô hình, activation và dữ liệu batch.
Nếu hết VRAM, bạn thường phải:
Nhiều dự án gặp giới hạn bộ nhớ trước khi chạm giới hạn “tính toán thô”.
Xem xét nền tảng toàn diện, không chỉ thông số tính toán đỉnh:
Mục checklist trong bài là điểm khởi đầu tốt, và bạn cũng có thể so sánh các cân nhắc trong /blog/choosing-gpus-and-platforms và /blog/scaling-up-and-scaling-out.