ElevenLabs: Công Nghệ Đứng Sau Voice AI Tự Nhiên

Text-to-Speech (TTS) từ lâu đã không còn là công nghệ mới. Các hệ thống TTS truyền thống có thể chuyển một đoạn văn bản thành giọng nói khá rõ ràng, nhưng vấn đề nằm ở chỗ “đọc đúng” không đồng nghĩa với “nói tự nhiên”.

Một câu nói của con người không chỉ chứa từ ngữ. Nó còn có nhịp điệu, cao độ, tốc độ, khoảng ngắt, trọng âm và cảm xúc. Cùng một câu nhưng khi nói với sự hào hứng, lo lắng hay mỉa mai, ý nghĩa mà người nghe cảm nhận được có thể hoàn toàn khác nhau.

Đây chính là khoảng trống mà ElevenLabs tập trung giải quyết.

Thay vì xem TTS đơn thuần là bài toán chuyển text thành waveform, ElevenLabs phát triển một hệ sinh thái Voice AI hướng tới việc tái tạo cách con người thực sự sử dụng giọng nói: có biểu cảm, có ngữ cảnh, có nhân vật và ngày càng có khả năng tương tác theo thời gian thực.

Hiện nền tảng này cung cấp nhiều mô hình cho những mục tiêu khác nhau. Eleven v3 tập trung vào chất lượng và khả năng biểu cảm, trong khi Flash v2.5 được tối ưu cho tốc độ và các ứng dụng real-time.

Ở cấp độ cơ bản, một hệ thống TTS có thể được mô tả bằng pipeline:

Text → Speech Model → Audio → Playback

Nhưng để tạo ra giọng nói có chất lượng cao, bên trong pipeline này có nhiều lớp xử lý phức tạp hơn.

Mô hình cần hiểu văn bản đang nói gì, xác định cách phát âm, dự đoán prosody – tức nhịp điệu và cao độ của lời nói – sau đó chuyển thông tin đó thành biểu diễn âm thanh và cuối cùng tạo ra audio mà người dùng có thể nghe được.

Điểm đáng chú ý ở ElevenLabs là công ty không công bố toàn bộ kiến trúc nội bộ của các model TTS thương mại. Vì vậy, thay vì gán cho ElevenLabs một kiến trúc cụ thể như Transformer hay SSM khi không có nguồn xác nhận, cách chính xác hơn là nhìn vào những thành phần và khả năng mà ElevenLabs công khai: model TTS, voice representation, streaming, codec, audio conditioning và các lớp xử lý phục vụ real-time.

Đây cũng là điểm khác với việc phân tích một mô hình open-source có đầy đủ technical paper.

Nếu Flash v2.5 đại diện cho hướng tốc độ, Eleven v3 lại thể hiện hướng phát triển khác của ElevenLabs: biểu cảm.

Eleven v3 hiện là mô hình TTS flagship của ElevenLabs, hỗ trợ hơn 70 ngôn ngữ và có khả năng tạo hội thoại nhiều người. Mô hình còn hỗ trợ Audio Tags — các chỉ dẫn đặt trực tiếp trong văn bản để kiểm soát cách câu thoại được thể hiện.

Ví dụ:

[whispers] Tôi nghĩ chúng ta nên đi thôi…

hoặc:

[excited] Chúng ta làm được rồi! [laughs]

Điều này tạo ra một thay đổi khá lớn trong cách con người tương tác với TTS.

Trước đây, muốn một câu thoại nghe buồn hơn hoặc hào hứng hơn, người dùng thường phải thay đổi voice setting, thử nhiều lần rồi chọn output phù hợp.

Với Audio Tags, người dùng có thể đưa ý đồ diễn xuất trực tiếp vào prompt. ElevenLabs cho biết Audio Tags có thể điều khiển cảm xúc, delivery, pacing và các phản ứng phi ngôn ngữ như cười, thở dài hay thì thầm.

Multi-speaker Dialogue

Một bước tiến khác của Eleven v3 là khả năng tạo multi-speaker dialogue.

Thay vì tạo từng câu thoại riêng biệt rồi ghép thủ công, model có thể xử lý một cuộc hội thoại với nhiều người nói, bao gồm thay đổi giọng điệu và nhịp tương tác giữa các nhân vật.

Điều này đặc biệt hữu ích cho:

• Audiobook
• Podcast
• Game
• Phim và animation
• Video AI
• Nội dung quảng cáo
• Nhân vật AI

Từ đây, TTS không còn chỉ là công cụ đọc lời thoại. Nó bắt đầu tiến gần hơn tới AI performance engine.

Một giọng nói cực kỳ tự nhiên nhưng phải chờ vài giây mới xuất hiện sẽ không phù hợp với chatbot thoại. Trong một cuộc hội thoại, người dùng kỳ vọng AI phản hồi gần như ngay lập tức.

Đây là lý do ElevenLabs phát triển dòng Flash.

Theo tài liệu hiện tại của ElevenLabs, Flash v2.5 đạt khoảng 75 ms model inference latency, không tính network và application overhead, đồng thời hỗ trợ 32 ngôn ngữ. Đây là model được thiết kế cho real-time applications và voice agents.

Điểm cần lưu ý ở đây là 75 ms không phải latency của toàn bộ cuộc hội thoại.

Một voice agent hoàn chỉnh thường có pipeline:

Microphone → Speech-to-Text → LLM → Text-to-Speech → Playback

Nếu STT mất 150 ms, LLM mất thêm thời gian để tạo token đầu tiên, rồi audio phải truyền qua mạng và buffer trước khi phát, thì trải nghiệm thực tế sẽ lâu hơn đáng kể.

ElevenLabs cũng phân biệt rõ model inference latency với Time-to-First-Audio (TTFA) – thời gian từ lúc request bắt đầu cho đến khi người dùng thực sự nghe thấy âm thanh đầu tiên.

Đây là một khác biệt rất quan trọng khi đánh giá Voice AI.

Một trong những kỹ thuật quan trọng để giảm cảm giác chờ đợi là streaming.

Thay vì:

Text hoàn chỉnh → tạo toàn bộ audio → gửi audio → phát

hệ thống có thể hoạt động theo kiểu:

Text chunk 1 → Audio chunk 1 → phát

Text chunk 2 → Audio chunk 2 → phát

Text chunk 3 → Audio chunk 3 → phát

Nhờ vậy, người dùng có thể bắt đầu nghe khi phần còn lại của câu vẫn đang được tạo.

ElevenLabs hỗ trợ streaming qua HTTP và WebSocket; với WebSocket, text có thể được đưa vào theo dòng thay vì phải chờ toàn bộ nội dung hoàn chỉnh.

Đối với voice agent, đây là khác biệt rất lớn.

AI không cần “im lặng suy nghĩ” rồi bất ngờ nói cả câu. Nó có thể bắt đầu phát câu trả lời trong khi phần audio còn lại tiếp tục được sinh.

Một trong những lý do ElevenLabs nổi tiếng không chỉ nằm ở TTS mà còn ở voice cloning.

Công nghệ này cho phép hệ thống phân tích đặc điểm của một giọng nói mẫu và sử dụng chúng để tạo ra lời nói mới với đặc trưng giọng tương ứng.

Ứng dụng rất rộng:

• Lồng tiếng
• Audiobook
• Game character
• Virtual assistant
• Video creator
• Localization
• Dubbing

Nhưng voice cloning cũng kéo theo vấn đề về quyền sử dụng giọng nói và deepfake. Vì vậy, bài toán của Voice AI không chỉ là “clone được giống đến đâu”, mà còn là ai có quyền sử dụng giọng nói đó và hệ thống kiểm soát việc sử dụng như thế nào.

Đây sẽ ngày càng trở thành một phần quan trọng của ngành Voice AI.

Một Voice AI hiện đại không thể chỉ hoạt động tốt bằng tiếng Anh.

ElevenLabs hiện hỗ trợ nhiều ngôn ngữ, với Eleven v3 đạt 70+ languages. Flash v2.5 hỗ trợ 32 ngôn ngữ, trong đó có tiếng Việt.

Điều này đặc biệt quan trọng đối với:

• Dubbing video
• Audiobook quốc tế
• Game localization
• Customer service
• AI tutor
• Voice agent đa quốc gia

Đáng chú ý, khả năng đa ngôn ngữ không chỉ nằm ở việc phát âm đúng từ. Một hệ thống tốt còn phải giữ được nhịp điệu, cảm xúc và đặc trưng của giọng nói khi chuyển sang ngôn ngữ khác.

Điểm khác biệt lớn nhất không nằm ở việc ElevenLabs “biến text thành tiếng”. Các hệ thống TTS khác cũng làm được điều đó. Điểm quan trọng hơn là ElevenLabs đang cố biến speech synthesis thành một lớp giao tiếp có biểu cảm.

Voice Agent

Đây là một trong những use case quan trọng nhất.

Khi kết hợp STT + LLM + TTS + turn-taking, ElevenLabs có thể trở thành lớp voice output cho một AI agent có khả năng trò chuyện trực tiếp với người dùng.

ElevenLabs hiện cũng phát triển ElevenAgents và kiến trúc interaction model theo hướng cascaded, trong đó STT, LLM và TTS là các thành phần chuyên biệt phối hợp với nhau.

Audiobook và Podcast

Eleven v3 đặc biệt phù hợp với nội dung cần diễn xuất.

Một câu thoại có thể được thì thầm, cười, hét hoặc thay đổi cảm xúc ngay giữa đoạn văn thông qua Audio Tags.

Game

Game cần nhân vật nói chuyện trong nhiều trạng thái khác nhau. Một hệ thống TTS có khả năng điều khiển cảm xúc có thể giảm đáng kể khối lượng thu âm và hậu kỳ.

Video và Dubbing

Khả năng đa ngôn ngữ giúp Voice AI trở thành một phần của pipeline localization. Thay vì phải thu lại toàn bộ voice-over cho từng thị trường, nhà sản xuất có thể tạo nhiều phiên bản ngôn ngữ từ cùng một workflow.

Dù chất lượng đã rất cao, ElevenLabs vẫn phải đối mặt với một số trade-off.

• Latency và chất lượng.

Flash nhanh hơn nhưng đánh đổi một phần quality headroom và emotional depth so với các model lớn hơn. ElevenLabs cũng mô tả đây là một trade-off mang tính kiến trúc chứ không đơn giản là vấn đề tối ưu phần mềm.

• Tính ổn định.

TTS AI vẫn có thể tạo output khác nhau giữa các lần generation. ElevenLabs ghi nhận model có tính nondeterministic và cung cấp seed để tăng tính nhất quán, dù không đảm bảo hoàn toàn giống nhau.

• Chi phí và hạ tầng.

Khi Voice AI được sử dụng ở quy mô lớn, latency không phải yếu tố duy nhất. Concurrency, network, codec, streaming và chi phí inference đều trở thành vấn đề cần tối ưu. 

Để triển khai các hệ thống Voice AI ở quy mô thực tế, chất lượng model chỉ là một phần của bài toán. Hạ tầng GPU, khả năng xử lý inference, độ trễ và khả năng mở rộng cũng đóng vai trò quan trọng, đặc biệt với các ứng dụng yêu cầu phản hồi theo thời gian thực.

Với iRender, doanh nghiệp và nhà phát triển có thể tiếp cận hạ tầng GPU Cloud để triển khai và thử nghiệm các workload AI mà không cần đầu tư hệ thống GPU vật lý. Đây là lựa chọn phù hợp cho những dự án Voice AI, AI Agent và các ứng dụng inference cần tài nguyên GPU linh hoạt.

Từ TTS đến Voice Agent, tương lai của AI đang ngày càng trở nên nhanh hơn, tự nhiên hơn và có khả năng tương tác theo thời gian thực. Và để biến những công nghệ đó thành một hệ thống hoạt động ổn định trong thực tế, một nền tảng GPU Cloud phù hợp sẽ là phần hạ tầng không thể thiếu.

Nguồn tham khảo: www.elevenlabs.io