LLMs/NLP & Generative AI

LLMs/NLP & Generative AI

03 Sep 2026

EAGLE3 Speculative Decoding trên GPU AMD Instinct: Huấn luyện và triển khai với vLLM và AMD Quark

Quá trình suy luận mô hình ngôn ngữ lớn (LLM) ngày càng bị giới hạn bởi cơ chế giải mã…

Yen Lily

LLMs/NLP & Generative AI

17 Aug 2026

Chạy GLM-5.2 trên 24 GPU NVIDIA B300 với vLLM

DaoCloud team triển khai GLM-5.2-NVFP4 trên ba máy chủ B300, mỗi máy có 8 GPU, tổng cộng 24 GPU, sử…

Yen Lily

LLMs/NLP & Generative AI

17 Aug 2026

Không chỉ một mô hình: Fusion trong vLLM Semantic Router

Fusion trong vLLM Semantic Router mở rộng khả năng AI serving từ việc chọn một mô hình sang điều phối…

Bella

LLMs/NLP & Generative AI

14 Aug 2026

vLLM x TileRT: Tối ưu AI inference độ trễ thấp với decode chuyên biệt

vLLM kết hợp TileRT mở ra hướng tiếp cận mới cho AI inference và LLM serving: tách riêng prefill và…

Bella

LLMs/NLP & Generative AI

14 Aug 2026

Ra mắt vLLM AFD Plugin: Tách biệt Attention và FFN để phục vụ MoE linh hoạt

Chúng tôi rất vui được giới thiệu vLLM AFD Plugin, một plugin bên ngoài đang trong giai đoạn thử nghiệm,…

hanght

LLMs/NLP & Generative AI

14 Aug 2026

vLLM hỗ trợ TML Inkling ngay khi ra mắt với hiệu năng tối ưu

vLLM đã bổ sung hỗ trợ TML Inkling ngay khi ra mắt với các tối ưu quan trọng như MTP,…

Bella

LLMs/NLP & Generative AI

14 Aug 2026

Xây dựng hệ thống kết hợp nhiều mô hình với vLLM Semantic Router

Bài viết này trình bày bước phát triển tiếp theo của vLLM Semantic Router: từ việc định tuyến giữa các…

Yen Lily

LLMs/NLP & Generative AI

13 Aug 2026

Context Window trong LLMs là gì? Cách thức hoạt động và tầm quan trọng của Context Window

Hướng dẫn kỹ thuật toàn diện về cửa sổ ngữ cảnh Context Window, cơ chế tính toán ma trận chú…

Admin Admin

LLMs/NLP & Generative AI

13 Aug 2026

Tối ưu vLLM trên Arm CPUs

Triển khai mô hình ngôn ngữ lớn (LLM) trên CPU là một lựa chọn quan trọng, vì CPU có chi…

Yen Lily

AI Training & Fine-Tuning, LLMs/NLP & Generative AI

12 Aug 2026

LoRA Và QLoRA: Chiến Lược Tinh Chỉnh Mô Hình Ngôn Ngữ Trên Cụm RTX 4090

Phương pháp ứng dụng kỹ thuật LoRA, QLoRA và thư viện DeepSpeed để tinh chỉnh mô hình ngôn ngữ lớn…

Admin Admin