EAGLE3 Speculative Decoding trên GPU AMD Instinct: Huấn luyện và triển khai với vLLM và AMD Quark

Quá trình suy luận mô hình ngôn ngữ lớn (LLM) ngày càng bị giới hạn bởi cơ chế giải mã tự hồi quy (autoregressive decoding). Ngay cả khi giai đoạn prefill đã được tối ưu tốt, giai đoạn decode vẫn phải sinh từng token một, và mỗi bước thường phải chạy toàn bộ mô hình đích (target model). Với các mô hình Mixture-of-Experts (MoE) lớn và các mô hình sử dụng nhiều attention như Kimi-K2.5 và MiniMax-M2.5, cách sinh tuần tự này làm hạn chế thông lượng phục vụ (serving throughput) và làm tăng độ trễ trong các ứng dụng thời gian thực.

Giải mã suy đoán (speculative decoding) là một trong những cách thực tế nhất để giải quyết nút thắt này. Đây là một kỹ thuật tăng tốc suy luận LLM không làm thay đổi kết quả đầu ra: phân phối đầu ra của mô hình đích vẫn được giữ nguyên, nhưng quá trình giải mã được thực hiện hiệu quả hơn.

Cách hoạt động là sử dụng một mô hình nháp (draft model) nhỏ hơn hoặc nhẹ hơn để dự đoán trước nhiều token tiếp theo. Sau đó, mô hình đích ban đầu sẽ kiểm tra các token này chỉ trong một lượt chạy. Nếu mô hình nháp dự đoán đúng những token mà mô hình đích cũng sẽ sinh ra, các token đó có thể được chấp nhận cùng lúc. Nhờ vậy, số lần mô hình đích phải thực hiện các bước decode tốn kém được giảm xuống đáng kể.

Các phương pháp giải mã suy đoán phổ biến hiện nay gồm mô hình nháp nhỏ, dự đoán nhiều token (MTP), dự đoán đa đầu theo kiểu Medusa, và các phương pháp tạo token nháp dựa trên đặc trưng của mô hình như EAGLE3, DFlash và DSpark mới được giới thiệu gần đây.

Trong số các phương pháp này, EAGLE3 đặc biệt đáng chú ý nhờ chất lượng dự đoán của mô hình nháp cao, tỷ lệ chấp nhận token tốt và khả năng tăng tốc suy luận ổn định.

Trong bài viết này, đội nhóm nghiên cứu (gồm Larry Li, Chao Li, Haichen Zhang, Chun Fang, Andy Luo, Spandan Tiwari, and Ashish Sirasao) trình bày ba phần chính của quy trình EAGLE3 trên GPU AMD Instinct, với sự đóng góp của nhóm AMD Quark:

1. 1. 1. 1. Huấn luyện mô hình nháp EAGLE3: vLLM sử dụng mô hình đích để tạo dữ liệu theo đúng phân phối sử dụng thực tế, trích xuất trạng thái ẩn (hidden states) trong quá trình huấn luyện và đánh giá tỷ lệ chấp nhận token ngay trong vòng lặp huấn luyện.
         2. Lượng tử hóa bằng AMD Quark: AMD Quark cung cấp hỗ trợ MXFP4 và FP8 ngay từ thời điểm mô hình được phát hành cho cả mô hình đích và mô hình nháp.
         3. Tăng tốc suy luận trên ROCm/vLLM: đội nhóm nghiên cứu tăng tốc suy luận cho Kimi-K2.5 và MiniMax-M2.5 trên GPU AMD Instinct™ MI355X, đồng thời đánh giá hiệu năng bằng InferenceX.

Đội nhóm nghiên cứu cũng sử dụng chính quy trình này để huấn luyện mô hình nháp MiniMax-M3 EAGLE3. Mô hình này sẽ được dùng làm ví dụ xuyên suốt phần trình bày về quá trình huấn luyện.

Với giải mã tự hồi quy thông thường, mỗi lần chạy mô hình đích chỉ tạo ra một token. Nếu mô hình cần tạo 1.000 token đầu ra, hệ thống phục vụ thường phải thực hiện khoảng 1.000 lần giải mã trên mô hình đích sau khi hoàn tất bước prefill.

Điều này tốn nhiều tài nguyên vì mỗi lần giải mã đều phải truy cập trọng số mô hình, trạng thái attention, bộ lập lịch (scheduler) và hệ thống quản lý bộ nhớ KV (KV cache).

Speculative Decoding thay đổi cách thực hiện như sau:

• • • • Một mô hình dự đoán (draft model) đề xuất trước một số token tiếp theo.
      • Mô hình đích xác minh toàn bộ các token được đề xuất chỉ trong một lần chạy.
      • Với giải mã tham lam (greedy decoding), những token mà mô hình dự đoán đưa ra và mô hình đích cũng lựa chọn sẽ được chấp nhận. Với lấy mẫu (sampling), các token được chấp nhận hoặc điều chỉnh dựa trên xác suất do mô hình đích và mô hình dự đoán đưa ra.
      • Khi xuất hiện token đầu tiên không khớp, bộ xác minh (verifier) tạo ra một token hiệu chỉnh, rồi quá trình dự đoán tiếp tục từ token đó. Nếu toàn bộ các token được đề xuất đều được chấp nhận, bộ xác minh sẽ tạo thêm một token bổ sung.

Tỷ lệ chấp nhận có điều kiện (conditional acceptance rate) cho biết xác suất một vị trí trong chuỗi dự đoán được chấp nhận, với điều kiện các vị trí đứng trước nó đã được chấp nhận.

Độ dài chấp nhận (acceptance length) cho biết có bao nhiêu token được tạo ra trong mỗi chu kỳ xác minh.

Độ dài chấp nhận càng lớn thì số lần mô hình đích phải thực hiện xác minh càng ít. Tuy nhiên, tốc độ xử lý thực tế còn phụ thuộc vào chi phí của cả quá trình dự đoán và xác minh.

Hình 1: Với suy đoán trước theo phương pháp tham lam và γ=5, mô hình đích chấp nhận 3 token đầu tiên (α=3), từ chối token đầu tiên không khớp, loại bỏ các token dự đoán phía sau và tạo một token hiệu chỉnh. Tổng cộng có 4 token (α+1) được trả về. Nếu cả 5 token dự đoán đều được chấp nhận, token thứ 6 sẽ là token bổ sung do mô hình đích tạo ra.

EAGLE đã liên tục được cải tiến trong vài năm qua. Phiên bản EAGLE ban đầu áp dụng suy đoán trước dựa trên đặc trưng của mô hình. EAGLE2 tiếp tục cải thiện chất lượng dự đoán và tỷ lệ chấp nhận. Đến EAGLE3, độ chính xác và mức tăng tốc tiếp tục được nâng cao nhờ tận dụng đặc trưng từ nhiều tầng khác nhau của mô hình đích.

Thay vì sử dụng một mô hình ngôn ngữ nhỏ hoàn toàn độc lập, EAGLE3 huấn luyện một mô-đun dự đoán có sự gắn kết chặt chẽ với mô hình đích. Phương pháp này sử dụng các kỹ thuật kiểm tra ngay trong quá trình huấn luyện, đồng thời kết hợp các đặc trưng ngữ nghĩa ở mức thấp, trung bình và cao từ mô hình đích. Nhờ vậy, mô hình dự đoán có thể đưa ra những token có khả năng được mô hình đích chấp nhận cao hơn.

Đối với suy luận trong môi trường thực tế, điểm quan trọng là: EAGLE3 có thể tăng tốc độ tạo văn bản mà vẫn giữ nguyên cách phân phối đầu ra của mô hình đích nhờ bước xác minh.

MXFP4 là định dạng số thực dấu phẩy động 4-bit theo cơ chế Microscaling của Open Compute Project (OCP).

Các giá trị 4-bit được chia thành những nhóm nhỏ và dùng chung một hệ số tỷ lệ (scale factor). Nhờ đó, MXFP4 có mức sử dụng bộ nhớ gần với INT4 nhưng vẫn duy trì độ chính xác số học tốt hơn đáng kể.

Các GPU AMD Instinct MI350 (MI350X/MI355X) hỗ trợ trực tiếp việc tính toán ma trận FP4 ở cấp phần cứng. Vì vậy, trọng số MXFP4 có thể được đưa thẳng lên phần cứng, giúp giảm áp lực lên băng thông bộ nhớ và dung lượng bộ nhớ — hai yếu tố thường trở thành nút thắt khi giải mã các mô hình Mixture-of-Experts (MoE) lớn.

AMD Quark là bộ công cụ lượng tử hóa mô hình của AMD. Đội ngũ AMD Quark cung cấp các checkpoint MXFP4 được lượng tử hóa ngay từ ngày đầu cho nhiều LLM phổ biến và công bố chúng trên Hugging Face, chẳng hạn amd/Kimi-K2.5-MXFP4 và amd/MiniMax-M3-MXFP4.

Ở đây, Day-0 có nghĩa là ngay khi một mô hình lớn được phát hành, đội ngũ Quark đã cung cấp phiên bản MXFP4 (và FP8) sẵn sàng chạy trên phần cứng, có thể hoạt động ngay trên ROCm/vLLM, thay vì phải chờ các giải pháp lượng tử hóa từ bên thứ ba.

Những checkpoint này có thể được sử dụng trực tiếp làm mô hình đích cho cả quá trình huấn luyện mô hình dự đoán EAGLE3 và quá trình suy luận bằng suy đoán trước.

Trên ROCm, vLLM sử dụng trực tiếp các checkpoint này thông qua đường thực thi MXFP4 được hỗ trợ cùng các kernel MoE của AITER. Nhờ đó, người dùng vừa giảm được lượng bộ nhớ cần dùng nhờ MXFP4, vừa đạt tốc độ xử lý phù hợp cho môi trường thực tế.

Speculative decoding không làm thay đổi kết quả của mô hình đích: mọi token do mô hình dự đoán đề xuất đều được kiểm tra lại với mô hình đích đang phục vụ. Vì vậy, phân phối đầu ra của mô hình đích vẫn được giữ nguyên.

Một mô hình dự đoán có tỷ lệ chấp nhận cao là yếu tố giúp speculative decoding đạt tốc độ cao. Tuy nhiên, việc huấn luyện một mô hình như vậy không chỉ là bài toán về mô hình mà còn là bài toán về hệ thống.

Trong quy trình của đội nhóm nghiên cứu, vLLM không chỉ đóng vai trò là công cụ suy luận mà còn nằm ở trung tâm của toàn bộ quá trình huấn luyện. Đội ngũ AMD Quark đã xây dựng và kiểm chứng quy trình huấn luyện EAGLE3 cho MiniMax-M3 trên GPU AMD Instinct, và đội nhóm nghiên cứu sử dụng quy trình này làm ví dụ xuyên suốt. (Các mô hình dự đoán EAGLE3 cho Kimi-K2.5 và MiniMax-M2.5 được sử dụng trong phần kết quả suy luận bên dưới là các mô hình do cộng đồng mã nguồn mở cung cấp trên Hugging Face, không phải do đội nhóm nghiên cứu huấn luyện.)

Hình 2: Quy trình huấn luyện EAGLE3 xoay quanh vLLM. Một môi trường vLLM chạy trên ROCm đảm nhiệm toàn bộ vòng lặp: phục vụ mô hình đích MXFP4/FP8 của AMD Quark để tạo dữ liệu theo chính phân phối của mô hình (Giai đoạn 1), truyền các trạng thái ẩn ở mức thấp, trung bình và cao của mô hình đích tới bộ huấn luyện (Giai đoạn 2), khởi tạo từ đầu đầu dự đoán EAGLE3 một lớp bằng FSDP2 (Giai đoạn 3), thực hiện đánh giá ngay trong quá trình phục vụ để chọn checkpoint tốt nhất dựa trên độ dài chấp nhận thực tế (Giai đoạn 4), sau đó xuất mô hình dự đoán và triển khai cho speculative decoding của EAGLE3 (Giai đoạn 5).

Mô hình dự đoán EAGLE3 hoạt động tốt nhất khi được huấn luyện trên dữ liệu phản ánh chính phân phối đầu ra của mô hình đích. Đội nhóm nghiên cứu triển khai mô hình đích AMD Quark MXFP4 thành một máy chủ vLLM-ROCm và dùng nó để tạo dữ liệu.

Quá trình này bao gồm cả dữ liệu hội thoại (/v1/chat/completions, sử dụng đúng chat template khi phục vụ) và /v1/completions nguyên bản, không áp dụng template, nhằm tăng khả năng xử lý các yêu cầu không phải hội thoại cũng như các dữ liệu nằm ngoài phân phối thông thường.

Việc tạo dữ liệu bằng cùng một công cụ và cùng một template sẽ được sử dụng khi phục vụ giúp đảm bảo tính nhất quán giữa quá trình huấn luyện và quá trình suy luận thực tế.

EAGLE3 xây dựng dự đoán dựa trên các đặc trưng bên trong của mô hình đích – bao gồm trạng thái ẩn ở mức thấp, trung bình và cao, cùng với fc_norm – thay vì dựa vào một mô hình nhỏ không liên quan.

vLLM cung cấp một cơ chế trích xuất trạng thái ẩn, cho phép lấy trực tiếp các lớp phụ trợ này từ mô hình đích đang chạy.

Đội nhóm nghiên cứu hỗ trợ ba phương thức có thể thay thế cho nhau:

• • • • Trực tuyến (online): mô hình đích chạy cùng máy với bộ huấn luyện.
      • Ngoại tuyến (offline): trạng thái ẩn được lưu ra ổ đĩa.
      • Truyền trực tiếp (streaming): trạng thái ẩn được truyền trực tiếp từ một máy chủ vLLM đang chạy tới bộ huấn luyện mà không cần lưu ra ổ đĩa.

Phương thức truyền trực tiếp đặc biệt quan trọng vì nó giúp việc huấn luyện mô hình đích MoE 420B MXFP4 trên một máy duy nhất trở nên khả thi.

Đầu dự đoán EAGLE3 chỉ có một lớp và được huấn luyện từ đầu, sử dụng hàm mất mát training-time test (TTT) cùng cơ chế giảm trọng số theo vị trí dưới FSDP2.

Vì mô hình kiểm tra là mô hình đích AMD Quark MXFP4, mô hình dự đoán được huấn luyện trực tiếp trên không gian kích hoạt mà nó sẽ thực sự gặp khi triển khai. Điều này giúp giảm khoảng cách giữa môi trường huấn luyện và môi trường vận hành.

Hàm mất mát trong quá trình huấn luyện thường đánh giá cao hơn mức độ chấp nhận thực tế. Vì vậy, đội nhóm nghiên cứu định kỳ xuất checkpoint hiện tại, triển khai nó bằng vLLM với speculative decoding, đo độ dài chấp nhận thực tế, rồi chọn checkpoint tốt nhất dựa trên chỉ số này.

Nói cách khác, chính công cụ sẽ chạy mô hình trong môi trường thực tế cũng là công cụ được dùng để lựa chọn mô hình dự đoán tốt nhất.

Mô hình dự đoán được lựa chọn sẽ được xuất sang định dạng Hugging Face, đưa vào thư mục dành cho mô hình dự đoán tương thích với vLLM, sau đó triển khai bằng vLLM-ROCm với speculative decoding của EAGLE3.

Đây chính là quy trình được sử dụng để đo hiệu năng trong phần tiếp theo.

Đội nhóm nghiên cứu đánh giá mô hình dự đoán MiniMax-M3 EAGLE3 đã được huấn luyện trên SPEED-Bench, một bộ kiểm thử speculative decoding đa lĩnh vực, sử dụng chỉ số độ dài chấp nhận (Acceptance Length – AL) – tức số token trung bình được tạo ra trong mỗi lần mô hình đích kiểm tra. Chỉ số càng cao càng tốt; AL = 1 nghĩa là mỗi lần kiểm tra của mô hình đích chỉ tạo ra một token, chưa tính phần chi phí dành cho việc dự đoán trước.

Độ dài chấp nhận theo từng lĩnh vực (kết quả định tính trên SPEED-Bench):

Trên 11 lĩnh vực, mô hình dự đoán đạt AL trung bình 2.80 – tương đương khoảng 2,8 token được tạo ra trong mỗi lần mô hình đích thực hiện kiểm tra.

Mô hình đạt kết quả tốt nhất ở những nội dung có cấu trúc và tính kỹ thuật cao, gồm lập trình (3.32), toán học (3.14), RAG (3.12) và đa ngôn ngữ (3.04). Ngay cả với các dạng nội dung mở như viết (2.33) và nhập vai (2.01) – vốn là những trường hợp khó dự đoán nhất đối với bất kỳ mô hình dự đoán nào – AL vẫn duy trì ở mức 2.01-2.33.

Điều đáng chú ý không kém là độ dài chấp nhận gần như không thay đổi khi độ dài đầu vào tăng từ 1K lên 32K token, chỉ giảm nhẹ từ 2.69 xuống 2.65. Điều này cho thấy khả năng dự đoán và được mô hình đích chấp nhận vẫn ổn định ngay cả khi ngữ cảnh dài hơn.

Khi sử dụng ba token speculative, vị trí dự đoán thứ nhất, thứ hai và thứ ba lần lượt được chấp nhận khoảng 76%, 56% và 43% số lần (tính lũy kế).

Những kết quả này cho thấy hiệu quả của quy trình huấn luyện xoay quanh vLLM: dữ liệu được tạo theo phân phối của chính mô hình đích, thông tin trạng thái ẩn được lấy từ các đặc trưng bên trong mô hình đích, mô hình dự đoán được huấn luyện từ đầu dựa trên chính mô hình kiểm tra AMD Quark MXFP4, và checkpoint tốt nhất được lựa chọn dựa trên khả năng chấp nhận thực tế khi đưa vào phục vụ.

Hình 3: Độ dài chấp nhận của MiniMax-M3 EAGLE3 gần như ổn định khi ngữ cảnh tăng từ 1K lên 32K token trên SPEED-Bench, từ 2.69 ở 1K lên 2.65 ở 32K. Đường nét đứt AL=1 biểu thị mỗi chu kỳ kiểm tra tạo ra một token.
Mô hình dự đoán sau khi huấn luyện được công bố tại amd/MiniMax-M3-EAGLE3.1 và có thể được triển khai bằng vLLM speculative decoding với mô hình đích amd/MiniMax-M3-MXFP4.

export VLLM_ROCM_USE_AITER=1
vllm serve amd/MiniMax-M3-MXFP4 --trust-remote-code --tensor-parallel-size 8 \
--block-size 128 --attention-backend TRITON_ATTN --moe-backend emulation \
--speculative-config '{"method":"eagle3","model":"amd/MiniMax-M3-EAGLE3.1","num_speculative_tokens":3,"attention_backend":"TRITON_ATTN"}'

Đội ngũ AMD Quark đảm nhiệm toàn bộ hệ thống từ đầu đến cuối:

• • • • Mô hình đích: lượng tử hóa MXFP4/FP8 ngay từ ngày đầu phát hành và triển khai trên ROCm/vLLM.
      • Mô hình dự đoán: huấn luyện EAGLE3 trong nghiên cứu này, lượng tử hóa FP8/MXFP4 bằng AMD Quark và triển khai trên ROCm/vLLM.
      • Tích hợp đầu-cuối: tổng hợp dữ liệu theo chính sách, trích xuất trạng thái ẩn, đánh giá khi phục vụ, xuất mô hình và phục vụ speculative decoding đều được kết nối thông qua vLLM và được kiểm chứng cùng nhau.

Kết hợp lại, các thành phần này tạo thành một hệ thống hoàn chỉnh gồm mô hình đích đã lượng tử hóa, mô hình dự đoán có khả năng được chấp nhận cao và hệ thống vLLM speculative decoding đã được kiểm chứng dành cho GPU AMD Instinct.

Phần kết quả dưới đây chỉ xét khối lượng công việc 1K/1K, với ISL = 1024 và OSL = 1024.

Mức tăng tốc được tính bằng thông lượng của EAGLE3 chia cho thông lượng của cấu hình cơ sở không sử dụng speculative decoding tương ứng. Mỗi kết quả của mô hình dự đoán chỉ được so sánh với cấu hình cơ sở không speculative decoding sử dụng cùng bản dựng vLLM và cùng thiết lập MML.

Các kết quả với Kimi-K2.5 được thực hiện trên AMD Instinct MI355X, với TP = 4, prompt ngẫu nhiên, num_prompts = 10 × concurrency, num_warmups = 2 × concurrency và 10 hạt giống cho mỗi ô dữ liệu. Mỗi giá trị trên biểu đồ là trung bình cộng của 10 lần chạy với các hạt giống ngẫu nhiên khác nhau.

Các phép thử với prompt ngẫu nhiên này là bài kiểm tra vi mô về thông lượng, không phải bài kiểm tra khối lượng công việc ở cấp ứng dụng.

Biểu đồ Kimi hiển thị đồng thời hai hướng sử dụng mô hình dự đoán BF16 và FP8. Phép thử BF16 trên vLLM v0.19.0 sử dụng MML = 2248, trong khi phép thử FP8 sử dụng MML = 2304. Vì hai phép thử dùng bản dựng vLLM và thiết lập MML khác nhau, chúng không tạo thành một phép so sánh có kiểm soát về độ chính xác giữa BF16 và FP8.

Ở đây, MML (max-model-len) là độ dài ngữ cảnh tối đa – tổng số token, bao gồm cả prompt và phần đầu ra được sinh ra, mà một mô hình vLLM có thể xử lý trong một yêu cầu.

Docker image:

• • • • Phép thử BF16 sử dụng vllm/vllm-openai-rocm:v0.19.0 với MML = 2248.
      • Phép thử FP8 sử dụng vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f với MML = 2304.

Mô hình đích: amd/Kimi-K2.5-MXFP4.

Mô hình dự đoán BF16: lightseekorg/kimi-k2.5-eagle3.

Mô hình dự đoán FP8: amd/kimi-k2.5-eagle3-fp8. Mô hình này do đội ngũ AMD Quark tạo ra bằng quy trình lượng tử hóa FP8 và siêu dữ liệu AMD Quark đã được công bố; LM head BF16 được dùng chung với mô hình đích.

Trong thiết lập này, luồng mô hình dự đoán FP8 sử dụng RowWiseTorchFP8ScaledMMLinearKernel của vLLM, tức là torch._scaled_mm dựa trên phép nhân ma trận FP8 GEMM có hệ số tỷ lệ theo hàng thông qua hipBLASLt, thay vì sử dụng luồng FP8 đã được sắp xếp trước của AITER.

Hình 4: Thông lượng đầu ra của Kimi-K2.5 EAGLE3 (token/giây/GPU) với khối lượng 1K/1K trên AMD Instinct MI355X (TP = 4).

Cả luồng mô hình dự đoán BF16 và FP8 của AMD Quark đều vượt cấu hình cơ sở không sử dụng speculative decoding, với mức tăng tương ứng 1,69-1,90 lần và 1,76-2,00 lần. Mức cải thiện lớn nhất xuất hiện khi số lượng yêu cầu đồng thời thấp.

Mỗi mức tăng tốc đều được tính dựa trên cấu hình cơ sở không speculative decoding tương ứng. Hai phép thử BF16 và FP8 sử dụng bản dựng vLLM và thiết lập MML khác nhau.

Docker image: vllm/vllm-openai-rocm:nightly-4eafc729285e459a5fc96efd6f7b313b155cad48

Mô hình đích: MiniMaxAI/MiniMax-M2.5.

Mô hình dự đoán: thoughtworks/MiniMax-M2.5-Eagle3.

Luồng mô hình dự đoán BF16 sử dụng num_speculative_tokens=3 và draft_tensor_parallel_size=1.

Các số liệu dưới đây sử dụng prompt ngẫu nhiên 1K/1K, TP = 4 với expert parallelism được bật và năm hạt giống cho mỗi mức số lượng yêu cầu đồng thời.

Mỗi giá trị trên biểu đồ là trung bình cộng của năm lần chạy với các hạt giống ngẫu nhiên khác nhau. Mỗi kết quả EAGLE3 được ghép với một kết quả cơ sở không sử dụng speculative decoding từ cùng bản dựng vLLM và cùng cấu hình.

Hình 5: Thông lượng đầu ra của MiniMax-M2.5 khi dùng EAGLE3 (tok/s/GPU) với đầu vào 1K và đầu ra 1K trên AMD Instinct MI355X (TP=4). Mỗi kết quả EAGLE3 được so sánh với cấu hình cơ sở tương ứng không dùng speculative decoding; mức cải thiện tương đối lớn nhất xuất hiện khi số lượng yêu cầu đồng thời thấp.

Qua các phép đo với đầu vào 1K và đầu ra 1K, EAGLE3 giúp tăng thông lượng đầu ra 1,69-2,00 lần đối với Kimi-K2.5 và 1,38-1,79 lần đối với MiniMax-M2.5 so với các cấu hình cơ sở tương ứng không dùng speculative decoding (Hình 4 và Hình 5).

Speculative decoding với EAGLE3 giúp tăng thông lượng trên GPU AMD Instinct mà vẫn giữ nguyên cách thức sinh kết quả của mô hình đích – tăng 1,69-2,00 lần đối với Kimi-K2.5 và tối đa 1,79 lần đối với MiniMax-M2.5 trong các phép đo với đầu vào 1K và đầu ra 1K.

Điểm khiến giải pháp này có thể triển khai thực tế từ đầu đến cuối là sự kết hợp của ba thành phần:

1. 1. 1. 1. Lượng tử hóa MXFP4/FP8 bằng AMD Quark cho mô hình đích và các mô hình dự thảo được lựa chọn.
         2. Quy trình huấn luyện lấy vLLM làm trung tâm, trong đó dữ liệu theo chính phân phối của mô hình được tạo ra, các trạng thái ẩn được trích xuất, và phiên bản mô hình tốt nhất được lựa chọn dựa trên tỷ lệ chấp nhận thực tế khi phục vụ.
         3. Cơ chế phục vụ speculative decoding trên ROCm/vLLM.

Bộ công cụ AMD Quark đã phát hành cung cấp các quy trình lượng tử hóa cần thiết. Hỗ trợ huấn luyện mô hình dự thảo EAGLE3 trên GPU AMD Instinct được dự kiến sẽ có trong bản phát hành AMD Quark tiếp theo.

Hiện nay có rất nhiều tùy chọn cho AI/Học máy với vLLM trong và ngoài nước. Tuy nhiên, những dịch vụ đó thường khá khó sử dụng đối với những người mới bắt đầu. Việc tính toán giá cả cũng phức tạp với nhiều chi phí ẩn mà bạn cần các khóa học để giúp bạn hiểu nó hoạt động thế nào, làm sao để không bị mất tiền vô nghĩa.

iRender AI áp dụng chính sách giá trọn gói cố định minh bạch theo giờ hoặc theo ngày. Doanh nghiệp hoàn toàn kiểm soát được dòng tiền và ngân sách vận hành dự án AI mà không lo sợ bất kỳ khoản chi phí phát sinh bất ngờ nào.

Tham khảo thêm chi phí và cấu hình của iRender tại đây.

Ngoài ra, iRender còn cung cấp cho bạn nhiều hỗ trợ khác, không chỉ những cấu hình mạnh.

1. 1. 1. 1. Hiệu năng thô đạt 100% — Giải quyết triệt để hao hụt tài nguyên do ảo hóa
         2. Băng thông PCIe độc quyền — Triệt tiêu nghẽn cổ chai (I/O Bottleneck) khi chạy RAG
         3. Bảo mật Data Isolation tuyệt đối — Nền tảng cho AI Chủ Quyền
         4. Hạ tầng đặt tại Data Center chuẩn Tier III — Cam kết Uptime 99.98%
         5. Toàn quyền Root Access — Tự do làm chủ môi trường MLOps và Scale Module linh hoạt bằng cách thêm máy
         6. Zero Cold Start — Phản hồi tức thì cho Voice AI và AI Agent
         7. Minh bạch chi phí — Loại bỏ hoàn toàn phí ẩn (Hidden Fee)

Bạn có thể đăng ký tài khoản qua link này ngay hôm nay để trải nghiệm dịch vụ của iRender. Hoặc liên hệ qua Zalo 0916806116 để được tư vấn và hỗ trợ.

Trân trọng cảm ơn!

Nguồn: vllm.ai