Kitta AI는 wuwei가 독립적으로 운영하며 Fish Audio의 공식 서비스가 아닙니다. Fish Audio
Fish Audio S2 모델 출시: AI 음성 2.0 시대
Fish Audio S2의 특징과 제작 현장에서의 활용 방법을 정리합니다.
Fish Audio는 S1에서 크게 도약한 완전히 새로운 S2 모델을 출시합니다. S2는 감정 제어, 다중 화자 지원 및 대기 시간 최적화 분야에서 획기적인 발전을 이루며 AI Voice 2.0의 공식 출시를 알립니다.
왜 S2인가요? AI 음성의 다음 도약
지난 1년 동안 S1 모델은 Fish Audio를 가장 널리 사용되는 AI 음성 플랫폼 중 하나로 성장시켰으며 현재 백만 개가 넘는 사용자 생성 음성 모델을 통해 백만 명 이상의 사용자에게 서비스를 제공하고 있습니다. 자연어 감정 제어 기능을 갖춘 최초의 TTS 모델 중 하나인 S1는 엔드투엔드 음성 모델링의 잠재력을 입증했습니다.
하지만 S1는 시작에 불과했습니다. 업계는 AI Voice 2.0 시대로 진입하고 있습니다. 즉, 전통적인 단어 단위 방송 음성에서 감정적으로 진실되고 영혼이 담긴 대화형 AI 음성으로 진화하고 있습니다. S2는 이러한 변화의 핵심 수단입니다.
S2 코어 업그레이드: 3차원 혁신
세련된 감정 제어
S2는 단순한 '행복' 또는 '슬픔'부터 '기본적인 슬픔이 있는 분노'와 같은 복잡한 혼합 감정까지 개방형 감정 주석을 달성합니다. 이는 Fish Audio가 자체 개발한 세계 최고의 감정 주석 ASR 모델을 기반으로 사전 훈련 데이터가 자연스럽게 정확한 감정 레이블을 전달할 수 있도록 합니다.
네이티브 다중 화자 지원
S2의 아키텍처는 기본적으로 모든 세그먼트에 대한 정확한 화자 태그를 사용하여 다중 화자 시나리오를 지원합니다. 멀티 호스트 팟캐스트, 오디오북 대화, 게임 NPC 대화 등 자연스러운 멀티 문자 전환이 원활하게 이루어집니다.
초저 지연 시간
종단 간 아키텍처를 통해 S2는 이론적으로 첫 번째 토큰이 생성된 후에 오디오 디코딩을 시작할 수 있습니다. Fish Audio는 또한 보코더를 완전히 제거하여 30~50밀리초의 대기 시간 목표로 완전한 텍스트-파형 종단 간 모델링을 달성하는 새로운 모델을 발표했습니다.
S2 모델 매트릭스: 모든 시나리오에 맞게 맞춤화됨
Fish Audio는 단일 대형 모델을 추구하지 않습니다. 대신 Fish Audio는 다양한 비즈니스 시나리오에 대한 모델 매트릭스를 구축합니다.
최고의 음성 품질과 감성 표현이 요구되는 시나리오를 위해 설계된 플래그십 콘텐츠 생성 모델입니다. 오디오북, 팟캐스트, 영화 더빙, ASMR 콘텐츠 제작에 이상적이며 자연스러움과 표현력이 새로운 차원에 도달했습니다.
실시간 대화 시나리오에 최적화된 4B 매개변수 엔터프라이즈 모델입니다. 지연 시간이 짧고 안정성이 높아 AI 동반 앱, 실시간 음성 에이전트, 판매 봇 및 교육 플랫폼에 이상적인 선택입니다.
기술적 혁신: 데이터 중심 혁명
S2의 핵심 개선 사항은 모델 아키텍처 변경이 아니라 데이터 파이프라인의 완전한 재구성을 통해 이루어졌습니다. Fish Audio는 업계 최고의 데이터 처리 시스템을 구축했습니다.
아키텍처 장점: 엔드투엔드가 미래입니다
Fish Audio S2는 의미론적 정보 모델링과 음향 정보 모델링을 통합하는 엔드투엔드 자동 회귀 아키텍처를 사용합니다. 기존의 캐스케이드 접근 방식(텍스트 → 의미 토큰 → 음향 특징 → 파형)과 비교하여 엔드 투 엔드 접근 방식에는 세 가지 주요 이점이 있습니다.
이는 Qwen TTS 및 SESAME과 같은 차세대 모델이 선택한 아키텍처 방향이기도 합니다. Fish Audio는 이 경로에서 가장 오랜 엔지니어링 경험과 데이터 이점을 보유하고 있습니다.
오픈 소스 약속: S2는 완전히 오픈 소스화됩니다
Fish Audio CTO는 S2가 완전히 오픈 소스화될 것임을 확인했습니다. S1 Mini 오픈 소스 릴리스에 이어 Fish Audio는 오픈 소스에 대한 약속을 계속하여 개발자가 로컬에서 배포, 테스트 및 통합할 수 있도록 지원합니다. 10만 명이 넘는 GitHub Stars 커뮤니티는 S2의 강력한 기능을 가장 먼저 경험하게 될 것입니다.
사용 사례: AI 음성의 무한한 가능성 실현
콘텐츠 제작
오디오북, 팟캐스트, 비디오 더빙, ASMR — S2 Pro는 전문 크리에이터를 위해 인간에 가까운 감정 표현을 제공합니다.
AI 동반자 및 소셜
Character.AI와 같은 AI 소셜 앱에 따뜻하고 표현력이 풍부한 음성을 제공하여 AI 대화를 현실감 있게 만듭니다.
게임 및 엔터테인먼트
NPC 대화, 캐릭터 보이싱, VTubing — 다중 화자 지원으로 게임 세계에 생동감을 불어넣습니다.
실시간 음성 에이전트
S2 Flash의 짧은 대기 시간과 높은 안정성은 고객 서비스, 판매 및 교육 시나리오에 완벽하게 적합합니다.
교차 언어 콘텐츠
13개 이상의 언어로 음성 복제 — 한 번 학습하면 여러 언어에 걸쳐 사용하여 손쉽게 글로벌 콘텐츠를 만들 수 있습니다.
S1 대 S2: 한 눈에 업그레이드
| 기능 | S1 | S2 |
|---|---|---|
| 감정 제어 | 기본감정 태그 | 오픈 도메인 감정 설명 + 혼합 감정 |
| 멀티 화자 | 단일 화자 초점 | 네이티브 다중 화자 지원 |
| 대기 시간 | 표준 | 매우 낮은 대기 시간(30-50ms 대상) |
| 데이터 파이프라인 | 1세대 | 완전 재구축 + 자체 개발 ASR |
| 사후 교육 | 기본 RLHF | Live RLHF + 다차원 보상 모델 |
| 오픈 소스 | S1 Mini 오픈 소스 | S2 완전 오픈 소스 |
| 모델 매트릭스 | 단일 모델 | Pro + 플래시 듀얼 버전 |
출시 일정
Fish Audio S2 모델은 2026년 3월 10일에 공식 출시됩니다. S2 Pro와 S2 Flash는 모두 API 액세스 또는 Fish Audio 플랫폼을 통해 동시에 사용할 수 있습니다. 오픈 소스 버전은 출시 직후에 출시될 예정입니다.