VieNeu-TTS inference

VieNeu-TTS v3 Turbo đọc tiếng Việt theo thời gian thực: gửi một đoạn văn, khoảng 130 ms sau đã có tiếng, phần còn lại phát tiếp trong lúc model vẫn đang tạo. Model này khá nhỏ. Thứ làm nó nhanh là cách server chạy model.

Repo này kể lại hai giai đoạn làm việc với server đó. Mọi thứ chạy trên GPU thuê theo giờ qua VKong, do AI agent điều khiển từ đầu đến cuối: thuê máy, deploy, sửa lỗi, đo, tải kết quả về, rồi trả máy.

Giai đoạn 1: hiểu và tạo bản lite (13/10/2026). Mình dùng agent đọc code của tác giả để hiểu vì sao nó nhanh, rồi cho agent dựng một bản gọn từ chính code đó, gọi là lite. Đo trên cùng một GPU thì lite chạy ngang SDK gốc, không nhanh hơn. Tốc độ nằm ở thiết kế của tác giả; bản lite chỉ giúp code dễ đọc hơn. Chi tiết: PHASE1.md.

Giai đoạn 2: đo rồi mới sửa (14–15/10/2026). Lần này mình không đoán nữa. Gắn profiler và đo trên GPU thật thì thấy phần tạo âm thanh đã nhanh, còn chỗ chậm là codec: mỗi lần gọi, CPU mất 182 ms để ra lệnh trong khi GPU chỉ cần 54 ms để tính. Sửa đúng chỗ đó, không đụng vào model, và lite xử lý nhanh gần gấp 3 lần SDK gốc. Chi tiết: OPTIMIZATION.md.

Giai đoạn 1: VieNeu hoạt động thế nào	Giai đoạn 2: tối ưu codec

Giọng đọc trong cả hai video do chính bản lite tạo ra.

Bản lite đã tối ưu so với SDK gốc của tác giả, đo trên cùng một máy RTX 3060 12 GB (16/10/2026):

TTFA là thời gian tới khi nghe được tiếng đầu tiên. RTF là thời gian xử lý chia cho độ dài âm thanh: dưới 1 thì người nghe không bị ngắt, càng nhỏ càng nhanh.

• RTF giảm 2.6–2.9 lần ở mọi mức tải. Tiếng đầu với 1 người dùng: 110 → 63 ms.
• Âm thanh không đổi. Nghe thử cùng một câu, cùng seed: trước và sau khi tối ưu. Đủ 5 câu ở docs/samples/.
• Ổn định khi tải lớn. Với 32 ghế và 32 người dùng liên tục trong 3 phút: 1824 request, không lỗi nào.

Tối ưu chỗ nào, làm thế nào, cách đo và profile trước/sau: OPTIMIZATION.md.

Cần CLI của VKong đã đăng nhập. Bước 1 thuê máy, cài thư viện và chạy server:

cd lite                              # hoặc baseline
vkong validate                       # kiểm tra vkong.yaml
vkong run                            # thuê RTX 3060 12 GB, cài thư viện, chạy serve.py

Đợi dòng Workload running · http://127.0.0.1:PORT. Đó là địa chỉ của server trên máy bạn. Ở một terminal khác:

SERVE_URL=http://127.0.0.1:PORT
curl "$SERVE_URL/health"
curl "$SERVE_URL/v1/audio/speech" \
  -H 'Content-Type: application/json' \
  -d '{"input":"Xin chào.","response_format":"pcm"}' \
  --output speech.pcm                # PCM 16-bit, mono, 48 kHz

Sửa code xong thì đẩy lên máy đang thuê, không cần thuê lại. Dùng xong nhớ trả máy, vì Ctrl+C chỉ ngắt kết nối và máy vẫn tính tiền:

vkong instances                      # lấy <instance-id>, dạng vk_...
vkong attach <instance-id> --update
vkong app stop vieneu-serving-lite   # bản baseline: vieneu-original-baseline

lite/vkong.yaml đang bật sẵn các cờ dùng để đo (PROFILE=1 BENCH_MODE=1 CODEC_VERIFY=1). Khi chạy thật thì bỏ ba cờ này. Các cờ thường dùng của serve.py:

Những điều cần biết khi đo trên VKong (tunnel hay đứt, chốt giá trước khi thuê…) nằm ở cuối OPTIMIZATION.md.