Fish Audio: Công Nghệ Đứng Sau Voice AI Thế Hệ Mới

Voice AI đang chuyển từ việc đơn thuần “đọc văn bản” sang khả năng tạo ra giọng nói có cảm xúc, ngữ điệu, cá tính và khả năng tương tác theo thời gian thực. Trong xu hướng đó, Fish Audio nổi lên với hướng tiếp cận tập trung vào Text-to-Speech (TTS), voice cloning, expressive speech và low-latency inference.

Từ Fish Speech đến S2 và S2.1 Psro, Fish Audio liên tục phát triển các mô hình TTS theo hướng vừa tự nhiên, vừa có khả năng điều khiển cách AI thể hiện câu nói.

Đáng chú ý, S2 được phát hành kèm model weights, mã fine-tuning và inference engine dựa trên SGLang. Trong khi đó, S2.1 Pro hướng tới các ứng dụng production với khả năng tạo speech đa ngôn ngữ và streaming độ trễ thấp.

Fish Audio là nền tảng AI tập trung vào công nghệ giọng nói, bao gồm Text-to-Speech, voice cloning, voice changer, audio translation và nhiều công cụ xử lý âm thanh khác.

Điểm đáng chú ý của Fish Audio nằm ở cách tiếp cận TTS theo hướng generative AI. Thay vì chỉ chuyển văn bản thành các đơn vị phát âm rồi tổng hợp âm thanh, mô hình có thể tận dụng khả năng hiểu ngôn ngữ và ngữ cảnh để tạo ra speech tự nhiên, giàu biểu cảm hơn.

Fish Speech là một trong những nền tảng công nghệ quan trọng trong quá trình phát triển này. Hệ thống sử dụng kiến trúc Dual-Autoregressive (Dual-AR) kết hợp với mô hình Transformer và audio codec để tạo speech.

Một pipeline TTS cơ bản có thể được hình dung:

Text → Language Understanding → Speech Generation → Audio Output

Nhưng phía sau Fish Audio phức tạp hơn.

Mô hình cần xử lý nội dung văn bản, xác định đặc điểm ngữ cảnh và sau đó tạo ra biểu diễn âm thanh phù hợp trước khi chuyển thành speech.

Một điểm đáng chú ý của Fish Speech là hệ thống sử dụng LLM để xử lý các đặc trưng ngôn ngữ thay vì phụ thuộc hoàn toàn vào pipeline Grapheme-to-Phoneme (G2P) truyền thống. Điều này giúp mô hình xử lý tốt hơn những vấn đề như phát âm phụ thuộc ngữ cảnh và speech đa ngôn ngữ.

Một trong những điểm đáng chú ý nhất của Fish Audio là kiến trúc Dual Autoregressive (Dual-AR).

Thay vì để một mô hình xử lý toàn bộ quá trình sinh speech, Dual-AR chia nhiệm vụ thành hai tầng autoregressive với tốc độ và vai trò khác nhau.

Slow AR

Slow AR chịu trách nhiệm dự đoán thông tin ở cấp độ semantic.

Có thể hình dung đây là tầng xử lý những thông tin quan trọng về nội dung và cấu trúc của speech.

Fast AR

Fast AR tiếp tục xử lý những chi tiết acoustic ở tốc độ cao hơn.

Theo thông tin kỹ thuật của Fish Audio S2, kiến trúc này gồm Slow AR 4 tỷ tham số và Fast AR 400 triệu tham số, giúp tách quá trình dự đoán semantic khỏi việc xử lý acoustic detail.

Cách thiết kế này giúp Fish Audio cân bằng giữa khả năng hiểu ngữ cảnh, chất lượng speech và tốc độ inference.

S2 là một bước tiến quan trọng của Fish Audio.

Thay vì chỉ nhập văn bản rồi chọn voice, S2 cho phép người dùng đưa instruction bằng ngôn ngữ tự nhiên trực tiếp vào nội dung.

Ví dụ:

[laugh]

[whispers]

[super happy]

Những chỉ dẫn này có thể được đặt ngay tại vị trí cần thay đổi cách thể hiện. Điều này tạo ra một dạng fine-grained inline control, cho phép người dùng kiểm soát prosody, emotion và các đặc điểm biểu đạt của speech bằng chính ngôn ngữ tự nhiên.

Nói cách khác, pipeline không còn đơn giản là:

Text → Voice

mà trở thành:

Text + Instructions → Context Understanding → Expressive Speech

AI không chỉ cần biết “nói gì”, mà còn phải hiểu “nói như thế nào”.

Nhưng, S2 có thực sự là Open Source?

Fish Audio mô tả S2 là open weights, chứ không phải open source theo định nghĩa của OSI. Fish Audio đã phát hành:

• Model weights
• Fine-tuning code
• Production inference engine
• Technical report

Model được phát hành với 4B-parameter Dual-AR architecture, cho phép developer nghiên cứu, chạy model trên hạ tầng của mình và fine-tune với dữ liệu riêng. Tuy nhiên, license của S2 có những điều kiện riêng. Vì vậy, developer cần đọc kỹ license trước khi sử dụng model trong sản phẩm thương mại. Điểm này khá quan trọng khi so sánh Fish Audio với những dự án thực sự open source theo tiêu chuẩn OSI.

Nếu S2 tạo dấu ấn với expressive TTS và inline control, S2.1 Pro hướng mạnh hơn tới các ứng dụng production.

Fish Audio giới thiệu S2.1 Pro là model TTS mới với khả năng hỗ trợ 83 ngôn ngữ, bao gồm tiếng Anh, Trung, Nhật, Hàn, Tây Ban Nha, Pháp, Đức, Bồ Đào Nha, Nga, Việt Nam và nhiều ngôn ngữ khác. Một model duy nhất có thể xử lý toàn bộ các ngôn ngữ này với khả năng tự động nhận diện ngôn ngữ.

Khả năng hỗ trợ nhiều ngôn ngữ trong cùng một model đặc biệt hữu ích với những ứng dụng cần triển khai Voice AI trên nhiều thị trường.

Voice cloning là một trong những tính năng quan trọng của Fish Audio.

Thay vì chỉ sử dụng những voice có sẵn, người dùng có thể cung cấp audio tham chiếu để hệ thống tạo speech mới với đặc điểm của người nói đó.

Pipeline có thể hình dung như:

Reference Audio + Text → Speaker Conditioning → Speech Generation → Cloned Voice

Điểm đáng chú ý là S2.1 Pro hỗ trợ speaker consistency trên 83 ngôn ngữ, cho phép một voice có thể được sử dụng trong nhiều ngôn ngữ khác nhau.

Điều này đặc biệt hữu ích với:

• Dubbing
• Localization
• Audiobook
• Character voice
• Video content
• Voice agent

Đối với Voice AI, chất lượng giọng nói chỉ là một nửa câu chuyện.

Nếu hệ thống tạo ra giọng nói rất tự nhiên nhưng phải mất vài giây mới bắt đầu phát audio, trải nghiệm hội thoại vẫn sẽ không tốt.

Vì vậy, Fish Audio tập trung đáng kể vào streaming inference.

Technical Report của S2 cho biết inference engine dựa trên SGLang có thể đạt Real-Time Factor (RTF) 0,195 và time-to-first-audio dưới 100 ms trong thiết lập benchmark được báo cáo.

S2 được Fish Audio định hướng cho các ứng dụng streaming và real-time, bao gồm AI agent và conversational AI.

Những khả năng này đặc biệt quan trọng đối với:

• AI voice agent
• Conversational AI
• Customer service
• Voice assistant
• Interactive game
• Real-time applications

Trong các hệ thống hội thoại, latency thấp giúp giảm khoảng thời gian giữa lúc AI nhận được câu hỏi và lúc người dùng bắt đầu nghe thấy câu trả lời.

Chất lượng model chỉ là một phần của bài toán.

Để phục vụ nhiều request đồng thời, hệ thống inference cần sử dụng GPU hiệu quả và duy trì throughput ổn định.

Fish Audio cho biết họ đã tối ưu inference stack cho S2.1 Pro với nhiều kỹ thuật như custom CUDA kernels, FP8 GEMM, FlashAttention và continuous batching.

Theo Fish Audio, những tối ưu này giúp giảm đáng kể lượng GPU cần thiết cho cùng workload. Trong một benchmark của công ty, workload trước đây cần tới bốn H200 có thể được xử lý trên một H200 sau quá trình tối ưu inference.

Đây là một ví dụ rõ ràng cho thấy khi triển khai Voice AI ở quy mô lớn, tối ưu inference có thể quan trọng không kém việc tăng kích thước model.

Sự phát triển của Fish Audio cho thấy TTS đang thay đổi theo một hướng rất rõ.

Thế hệ TTS truyền thống chủ yếu tập trung vào:

Text → Speech

Trong khi các model mới đang hướng tới:

Text + Context + Emotion + Speaker Identity → Expressive Speech

AI không chỉ cần phát âm đúng.

Nó cần biết:

• Câu này nên vui hay buồn?
• Từ nào cần nhấn mạnh?
• Khi nào nên thì thầm?
• Người nói là ai?
• Người nói đang thể hiện cảm xúc gì?
• Speech cần được tạo ra nhanh đến mức nào?

Đây chính là lý do expressive control, voice cloning, multilingual generation và low-latency inference ngày càng trở thành những thành phần quan trọng của Voice AI.

1. AI Voice Agent

Voice agent cần phản hồi nhanh và tự nhiên để tạo cảm giác hội thoại.

Streaming inference và latency thấp khiến các model của Fish Audio phù hợp với những hệ thống conversational AI cần phản hồi bằng giọng nói.

2. Audiobook

Khả năng điều khiển cảm xúc giúp narration tự nhiên hơn.

Thay vì một giọng đọc đều đều, người dùng có thể hướng dẫn AI thay đổi cách thể hiện tùy theo nội dung.

3. Game

Game thường có số lượng voice line rất lớn.

Voice cloning và multi-speaker generation có thể giúp developer tạo nhiều đoạn thoại cho nhân vật mà không cần thu âm thủ công từng câu.

4. Dubbing Và Localization

Một trong những use case đáng chú ý là localization.

S2.1 Pro hỗ trợ 83 ngôn ngữ và có khả năng duy trì speaker consistency khi tạo speech đa ngôn ngữ, mở ra khả năng sử dụng cùng một voice identity xuyên suốt nhiều phiên bản ngôn ngữ.

5. Content Creation

YouTube, podcast, video marketing, e-learning và social media đều có thể sử dụng TTS để tạo narration và voice-over nhanh hơn so với quy trình thu âm truyền thống.

Nếu ElevenLabs nổi bật với hệ sinh thái Voice AI dành cho creator và doanh nghiệp, còn Cartesia Sonic tập trung mạnh vào speech generation tốc độ cao cho các ứng dụng real-time, Fish Audio tạo dấu ấn với sự kết hợp giữa expressive TTS, voice cloning, open-weight model và developer-focused inference.

Có thể hình dung ba hướng tiếp cận như sau:

ElevenLabs → Voice AI ecosystem

Cartesia Sonic → Real-time Voice AI

Fish Audio → Expressive + Open-weight + Developer-focused Voice AI

Tất nhiên, đây chỉ là cách khái quát hóa để dễ hình dung; cả ba nền tảng đều đang mở rộng tính năng và có nhiều điểm giao nhau.

Fish Audio đang đi theo một hướng khá khác biệt trong lĩnh vực Voice AI: không chỉ cố gắng tạo ra giọng nói “nghe giống người”, mà còn tìm cách để AI hiểu nội dung và biết cách thể hiện nội dung đó.

Từ kiến trúc Dual-AR của Fish Speech, khả năng điều khiển cảm xúc bằng natural-language instructions trong S2, cho tới S2.1 Pro với 83 ngôn ngữ, voice cloning và low-latency inference, Fish Audio đang xây dựng một pipeline TTS hướng tới cả chất lượng speech lẫn khả năng triển khai thực tế.

Và khi Voice AI ngày càng được đưa vào voice agent, game, audiobook, dubbing và các ứng dụng tương tác, những yếu tố như latency, speaker consistency, expressive control và inference efficiency sẽ ngày càng quan trọng.

Đây cũng là nơi hạ tầng GPU đóng vai trò không nhỏ. Một model TTS có khả năng tạo speech chất lượng cao chỉ thực sự phát huy giá trị khi có đủ năng lực tính toán để phục vụ inference nhanh, ổn định và ở quy mô lớn.

Với những nền tảng GPU Cloud như iRender, developer và doanh nghiệp có thể tiếp cận GPU hiệu năng cao để thử nghiệm, fine-tune và triển khai các workload AI voice mà không nhất thiết phải đầu tư toàn bộ hạ tầng GPU vật lý ngay từ đầu. Liên hệ với chúng tôi để được tư vấn và hỗ trợ dùng thử dịch vụ GPU Cloud cho AI với chất lượng chuẩn quốc tế ngay hôm nay.

Nguồn tham khảo: fish.audio