Higgs Audio v3: Công Nghệ Conversational TTS Cho Thế Hệ Voice AI Mới

Voice AI đang chuyển từ những hệ thống Text-to-Speech truyền thống sang các mô hình có khả năng tạo ra giọng nói tự nhiên, biểu cảm và phù hợp với ngữ cảnh hội thoại.

Trong xu hướng đó, Higgs Audio v3 là một model đáng chú ý đến từ Boson AI. Nếu những hệ thống TTS trước đây chủ yếu tập trung vào việc chuyển văn bản thành giọng nói, Higgs Audio v3 được thiết kế ngay từ đầu cho conversational TTS – tức tạo speech phục vụ những cuộc hội thoại và voice agent có tính tương tác cao.

Model hiện được phát hành dưới tên Higgs Audio v3 TTS 4B, hỗ trợ hơn 100 ngôn ngữ, zero-shot voice cloning, điều khiển emotion, style và prosody ngay trong input, đồng thời hỗ trợ streaming. Model cũng được phát hành dưới dạng open weights để developer có thể tự triển khai.

Vậy Higgs Audio v3 được xây dựng như thế nào và nó có gì khác so với một hệ thống TTS thông thường?

Higgs Audio v3 là mô hình conversational Text-to-Speech được Boson AI phát triển nhằm tạo ra speech tự nhiên cho các ứng dụng Voice AI.

Điểm đáng chú ý là model không chỉ tập trung vào việc phát âm chính xác nội dung văn bản. Nó còn hướng tới khả năng kiểm soát cách câu nói được thể hiện thông qua:

• speaker identity
• emotion
• style
• prosody
• pronunciation
• multilingual speech
• voice cloning
• streaming generation

Theo tài liệu chính thức, Higgs Audio v3 hỗ trợ hơn 100 ngôn ngữ và zero-shot voice cloning. Developer có thể cung cấp một đoạn audio tham chiếu để tạo speech mang đặc trưng của speaker đó mà không cần fine-tune model riêng cho từng giọng.

Đây là lý do Higgs Audio v3 hướng nhiều hơn tới AI agent và conversational AI thay vì chỉ đóng vai trò một công cụ đọc văn bản.

Một hệ thống TTS cơ bản có thể được mô tả rất đơn giản:

Text → Speech

Model nhận văn bản và tạo ra audio tương ứng. Nhưng giao tiếp giữa con người không hoạt động đơn giản như vậy. Khi nói chuyện, chúng ta liên tục thay đổi: tốc độ nói, cao độ, cường độ, nhịp điệu, khoảng dừng, cảm xúc, cách nhấn từ…

Cùng một câu nói có thể truyền tải những ý nghĩa hoàn toàn khác nhau tùy vào cách phát âm.

Ví dụ:“Thật vậy sao?”có thể là một câu hỏi bình thường, một phản ứng bất ngờ hoặc thậm chí mang sắc thái mỉa mai.

Vì vậy, một conversational TTS model cần giải quyết bài toán rộng hơn:

Text + context + speaker + style → expressive speech

Higgs Audio v3 được thiết kế theo hướng này.

Một trong những điểm thú vị nhất của Higgs Audio v3 nằm ở cách model kết hợp language modeling với audio token generation.

Model sử dụng một backbone khoảng 4B parameters, với kiến trúc dựa trên Qwen3-4B. Theo tài liệu kỹ thuật của SGLang-Omni, backbone có 36 layers, hidden size 2560 và sử dụng Grouped Query Attention với 32 query heads và 8 key/value heads.

Thay vì dự đoán trực tiếp waveform ở từng sample, Higgs Audio v3 sử dụng một hệ thống audio tokenization để biểu diễn speech dưới dạng các codebook.

Audio được mã hóa thành:

8 codebooks × 25 frames/second

Sau đó, các audio code này được đưa vào pipeline generation cùng với text token. Có thể hình dung kiến trúc ở mức đơn giản:

Text / Reference Audio

↓

Qwen3-based Autoregressive Decoder

↓

8-codebook Audio Representation

↓

Audio Decoder / Codec

↓

24 kHz Waveform

Đây là cách tiếp cận cho phép Higgs Audio v3 tận dụng khả năng xử lý ngôn ngữ của backbone trong khi vẫn tạo ra speech chất lượng cao.

Waveform audio chứa một lượng dữ liệu rất lớn.

Nếu model phải trực tiếp dự đoán từng sample của waveform, chi phí tính toán sẽ trở nên cực kỳ lớn.

Audio tokenizer giải quyết vấn đề này bằng cách biến tín hiệu âm thanh thành một chuỗi representation rời rạc.

Trong Higgs Audio v3, speech được biểu diễn bằng 8 codebooks, mỗi codebook có vocabulary 1.026 token. Các codebook được sắp xếp theo một delay pattern để model có thể xử lý nhiều nhóm audio token trong quá trình autoregressive generation.

Sau khi quá trình generation hoàn tất, các audio token được giải mã trở lại thành waveform.

Output cuối cùng của Higgs Audio v3 là speech 24 kHz.

Đây là một trong những điểm kỹ thuật quan trọng của Higgs Audio v3. Thay vì chỉ dự đoán một chuỗi audio token duy nhất, model phải xử lý nhiều codebook đồng thời.

Để làm được điều đó, Higgs Audio v3 sử dụng:

• multi-codebook fused embedding
• multi-codebook fused head
• delay pattern
• de-delay processing

Các codebook được đưa vào backbone thông qua một embedding hợp nhất, sau đó output được tạo ra thông qua fused head. Delay pattern giúp sắp xếp các codebook theo thời gian để quá trình autoregressive generation có thể diễn ra hiệu quả hơn.

Đây cũng là một trong những nguyên nhân khiến inference của Higgs Audio v3 khác khá nhiều so với một LLM text-only thông thường.

Voice cloning là một trong những khả năng nổi bật nhất của Higgs Audio v3.

Thay vì cần fine-tune một model riêng cho từng speaker, developer có thể cung cấp reference audio để model sử dụng đặc trưng của giọng nói đó trong quá trình generation.

Đây được gọi là zero-shot voice cloning. Điểm đáng chú ý là voice reference có thể được sử dụng trong các ngôn ngữ khác nhau, giúp xây dựng những nhân vật hoặc AI assistant đa ngôn ngữ mà vẫn duy trì speaker identity tương đối nhất quán.

Ví dụ, một speaker có thể cung cấp reference bằng tiếng Anh nhưng được sử dụng để tạo speech bằng một ngôn ngữ khác.

Điều này mở ra nhiều ứng dụng cho:

• multilingual AI assistant
• localization
• audiobook
• virtual character
• dubbing
• content creation

Tuy nhiên, voice cloning cũng đặt ra yêu cầu quan trọng về quyền sử dụng giọng nói. Khi triển khai sản phẩm thực tế, developer cần đảm bảo reference voice được sử dụng với sự cho phép phù hợp.

Một điểm mạnh khác của Higgs Audio v3 là khả năng kiểm soát cách speech được thể hiện.Model hỗ trợ inline control đối với emotion, style, prosody và sound effects. Các thông tin này có thể được đưa trực tiếp vào input thay vì phải xây dựng một pipeline điều khiển riêng biệt.

Điều này giúp developer có thể yêu cầu cùng một speaker nói cùng một câu theo những cách khác nhau.

Ví dụ:

[happy]
“Cuối cùng chúng ta cũng làm được rồi!”

hoặc:

[whisper]
“Đừng để ai biết chuyện này.”

Hoặc sử dụng các control liên quan tới cách nhấn nhá và nhịp điệu.

Nhờ vậy, speech không còn là một output cố định từ text mà trở thành một output có thể được điều khiển về mặt biểu cảm.

Trong giao tiếp thực tế, con người không chỉ phát ra từ ngữ. Chúng ta còn: cười, thở, ngập ngừng, thay đổi nhịp nói, kéo dài âm, tạo những âm thanh phi ngôn ngữ…

Những yếu tố này được gọi chung là paralinguistic features.

Đây là một trong những điểm Higgs Audio v3 thể hiện khá tốt trên các benchmark hiện có.

Trong Emergent TTS benchmark, model đạt win-rate 68,57% ở nhóm paralinguistics, cao hơn đáng kể so với một số nhóm đánh giá khác. Tuy nhiên, kết quả ở complex pronunciation thấp hơn, ở mức 25,10%, cho thấy model vẫn có những giới hạn nhất định.

Điều này cũng cho thấy một điểm quan trọng:

Một model có speech tự nhiên không đồng nghĩa với việc model hoàn hảo ở mọi khía cạnh phát âm.

Higgs Audio v3 được thiết kế để hoạt động trên hơn 100 ngôn ngữ.

Trong bộ đánh giá Higgs-Multilingual gồm 111 ngôn ngữ, model đạt WER/CER trung bình 3,61% theo benchmark được công bố trong tài liệu SGLang-Omni.

Các benchmark khác cũng cho thấy kết quả đáng chú ý:

Các con số này cho thấy Higgs Audio v3 không chỉ được thiết kế cho một vài ngôn ngữ phổ biến mà còn hướng tới khả năng multilingual deployment.

Một trong những yêu cầu khó nhất của conversational TTS là không được bắt người dùng chờ quá lâu. Trong một cuộc hội thoại tự nhiên, AI không nhất thiết phải chờ toàn bộ câu trả lời hoàn thành mới bắt đầu nói.

Higgs Audio v3 được thiết kế để có thể bắt đầu synthesis khi text vẫn đang được stream vào model, sau đó tiếp tục tạo speech khi thêm nội dung mới xuất hiện. Mục tiêu là duy trì sự nhất quán về speaker identity, emotion và pacing trong quá trình streaming.

Pipeline có thể hình dung:

LLM generates text chunk

↓

Higgs Audio v3 generates audio chunk

↓

Client starts playback

↓

Text chunk tiếp theo

↓

Audio chunk tiếp theo

Cách này giúp giảm cảm giác “độ trễ chờ AI”. Đối với voice agent, đây là yếu tố có ảnh hưởng trực tiếp tới trải nghiệm người dùng.

Streaming TTS không chỉ là vấn đề của model mà còn là vấn đề của inference engine.

Một hệ thống production phải xử lý nhiều stage khác nhau:

Text processing

→ Autoregressive token generation

→ Multi-codebook decoding

→ Audio decoding

→ Streaming output

Mỗi stage có đặc điểm compute và memory khác nhau. Đây là lý do các inference framework như SGLang-Omni và vLLM-Omni đã bổ sung pipeline riêng cho Higgs Audio v3. SGLang-Omni hiện hỗ trợ serving Higgs Audio v3 cho speech, batch speech và streaming speech, trong khi vLLM-Omni cũng có recipe riêng cho model này.

SGLang-Omni xem Higgs Audio v3 như một workload multi-stage thay vì một vòng autoregressive decode đơn giản.

Pipeline gồm:

Stage 0: Talker

Text → audio codec tokens

↓

Stage 1: Code2Wav

Audio codec tokens → waveform

SGLang-Omni được thiết kế để phục vụ những stage có đặc điểm tính toán khác nhau và hỗ trợ streaming output.

Đây là một ví dụ cho thấy khi AI model trở nên phức tạp hơn, inference infrastructure cũng phải thay đổi theo.

vLLM-Omni cũng đã hỗ trợ Higgs Audio v3.

Trong pipeline của vLLM-Omni, Higgs được triển khai theo mô hình:

Qwen3 Talker → Higgs Audio Codec → 24 kHz PCM

Framework hỗ trợ cả synchronous và asynchronous chunk processing cho pipeline audio.

Điều này đặc biệt quan trọng khi developer muốn xây dựng hệ thống có nhiều request đồng thời.

vLLM-Omni còn áp dụng những kỹ thuật serving như dynamic batching, CUDA Graphs và tối ưu state management cho multi-codebook decoding nhằm cải thiện hiệu năng inference của các TTS model như Higgs Audio v3.

• Expressive speech

Khả năng điều khiển emotion, style và prosody giúp speech có nhiều sắc thái hơn TTS đơn giản.

• Zero-shot voice cloning

Có thể tạo speech theo voice reference mà không cần fine-tune riêng từng speaker.

• Multilingual

Hỗ trợ hơn 100 ngôn ngữ, phù hợp với những sản phẩm Voice AI hướng tới thị trường quốc tế.

• Streaming

Có khả năng tạo speech theo từng phần, phù hợp với conversational AI và voice agent.

• Open weights

Developer có thể tải model bosonai/higgs-audio-v3-tts-4b để tự triển khai thay vì bắt buộc sử dụng API hosted.

• Hệ sinh thái serving đang phát triển

Việc Higgs Audio v3 được tích hợp vào SGLang-Omni và vLLM-Omni giúp developer có thêm lựa chọn khi triển khai inference ở quy mô lớn.

Higgs Audio v3 cũng không phải một giải pháp hoàn hảo cho mọi bài toán.

• Model tương đối lớn

Với khoảng 4B parameters, Higgs Audio v3 không phải một model TTS siêu nhẹ.

Điều này khiến việc chạy local trên những GPU có VRAM thấp trở nên khó khăn hơn so với các TTS model nhỏ.

• Inference phức tạp

Multi-codebook generation và audio decoding khiến pipeline phức tạp hơn một TTS pipeline truyền thống.

Việc tối ưu production vì thế không chỉ phụ thuộc vào model mà còn phụ thuộc vào inference engine và GPU.

• Pronunciation vẫn chưa hoàn hảo

Benchmark cho thấy Higgs Audio v3 đạt kết quả rất tốt ở một số nhóm nhưng yếu hơn ở complex pronunciation, với win-rate 25,10% trên Emergent TTS benchmark.

Điều này có nghĩa developer vẫn cần kiểm tra kỹ những trường hợp như: tên riêng, thuật ngữ kỹ thuật, từ ngoại lai, câu có cấu trúc phức tạp.

• License hạn chế

Đây là điểm rất quan trọng đối với doanh nghiệp.

Higgs Audio v3 được phát hành theo Boson Higgs Audio v3 Research and Non-Commercial License. Việc sử dụng cho production, hosted service hoặc hoạt động tạo doanh thu cần commercial license riêng từ Boson AI.

Vì vậy, “open weights” không đồng nghĩa với việc có thể tùy ý sử dụng model cho mọi sản phẩm thương mại.

• Voice cloning cần được kiểm soát

Zero-shot voice cloning mang lại khả năng rất mạnh nhưng cũng tạo ra những rủi ro liên quan tới impersonation, consent và quyền sở hữu giọng nói.

Các ứng dụng production cần có cơ chế kiểm soát reference audio và quyền sử dụng speaker identity.

• AI voice assistant

Higgs Audio v3 phù hợp với trợ lý ảo cần phản hồi nhanh và có giọng nói tự nhiên.

Khả năng streaming giúp giảm thời gian chờ, trong khi emotion và prosody control giúp phản hồi bớt máy móc.

• AI voice agent

Đây có thể xem là use case quan trọng nhất.

Một voice agent cần kết hợp:

ASR → LLM → TTS

Trong đó Higgs Audio v3 có thể đảm nhận lớp TTS, biến câu trả lời của LLM thành speech có speaker identity và biểu cảm nhất quán.

• Customer service

Các hệ thống tổng đài AI có thể sử dụng voice cloning, multilingual speech và expressive generation để xây dựng nhiều voice agent khác nhau.

• Audiobook và narration

Khả năng kiểm soát style và prosody giúp Higgs Audio v3 phù hợp với narration và audiobook, đặc biệt khi cần duy trì một voice identity xuyên suốt nội dung dài.

• Game và virtual character

Một nhân vật game có thể có voice identity riêng và sử dụng emotion/style control để thay đổi cách nói theo trạng thái của nhân vật.

• Multilingual content

Khả năng cloning giọng nói xuyên ngôn ngữ mở ra nhiều ứng dụng trong localization, dubbing và content creation quốc tế.

Đối với API hosted, developer không cần tự quản lý GPU. Nhưng khi self-host model, GPU trở thành một phần quan trọng của hệ thống.

Model cần xử lý:

• Qwen3-based backbone

• multi-codebook generation

• audio decoding

• streaming

Khi số lượng request tăng, hệ thống còn phải giải quyết: GPU memory, batching, concurrency, latency, throughput, scheduling, streaming.

Đặc biệt với Voice AI, throughput cao chưa chắc là mục tiêu duy nhất. Một hệ thống có throughput rất tốt nhưng time-to-first-audio quá cao vẫn có thể tạo ra trải nghiệm hội thoại kém. Do đó, latency và throughput phải được tối ưu đồng thời.

Self-hosting Higgs Audio v3 có lợi thế về quyền kiểm soát dữ liệu, model và hạ tầng, nhưng đổi lại developer phải tự quản lý GPU và inference stack.

Đây là lúc cloud GPU trở nên hữu ích.

Thay vì đầu tư một hệ thống GPU ngay từ đầu, developer có thể thuê GPU để:

• thử nghiệm Higgs Audio v3
• benchmark inference
• kiểm tra VRAM
• tối ưu latency
• thử nghiệm SGLang-Omni
• thử nghiệm vLLM-Omni
• xây dựng voice agent prototype
• benchmark concurrency

Với những workload AI audio có nhu cầu tài nguyên thay đổi theo từng giai đoạn, mô hình Cloud GPU giúp developer linh hoạt hơn trong quá trình nghiên cứu và triển khai.

Đặc biệt, khi Higgs Audio v3 được phục vụ thông qua các inference engine như SGLang-Omni và vLLM-Omni, bài toán không còn đơn giản là “chạy được model trên GPU”, mà là tối ưu cả model + serving engine + GPU thành một hệ thống thống nhất.

• Higgs Audio v3 là gì?
  Higgs Audio v3 là mô hình audio generation tập trung vào khả năng tạo giọng nói tự nhiên và hội thoại, hỗ trợ xây dựng các ứng dụng Voice AI với chất lượng âm thanh và biểu cảm cao.
• Higgs Audio v3 có gì khác so với TTS truyền thống?
  Thay vì chỉ chuyển văn bản thành giọng nói, Higgs Audio v3 hướng đến việc tạo ra hội thoại tự nhiên hơn, với ngữ điệu, cảm xúc và cách thể hiện phù hợp với ngữ cảnh.
• Higgs Audio v3 có thể dùng cho những ứng dụng nào?
  Mô hình phù hợp cho AI voice assistant, chatbot giọng nói, voice agent, nội dung audio, audiobook và các ứng dụng cần tương tác bằng giọng nói theo thời gian thực.
• Higgs Audio v3 có yêu cầu GPU khi triển khai không?
  Có. Quá trình inference và đặc biệt là triển khai ở quy mô lớn có thể cần GPU mạnh để xử lý model inference, audio token generation, decoding và streaming hiệu quả.
• Có thể triển khai Higgs Audio v3 trên cloud GPU không?
  Có. Cloud GPU giúp dễ dàng tiếp cận GPU có hiệu năng cao và linh hoạt mở rộng tài nguyên khi nhu cầu inference hoặc số lượng người dùng tăng.

Nguồn tham khảo: boson.ai/higgs-audio