Kitta AI는 wuwei가 독립적으로 운영하며 Fish Audio의 공식 서비스가 아닙니다. Fish Audio

모델 출시2026-03-02·8분 읽기·By Kitta Audio

Fish Audio S2 모델 출시: AI 음성 2.0 시대

Fish Audio S2의 특징과 제작 현장에서의 활용 방법을 정리합니다.

Fish Audio는 S1에서 크게 도약한 완전히 새로운 S2 모델을 출시합니다. S2는 감정 제어, 다중 화자 지원 및 대기 시간 최적화 분야에서 획기적인 발전을 이루며 AI Voice 2.0의 공식 출시를 알립니다.

왜 S2인가요? AI 음성의 다음 도약

지난 1년 동안 S1 모델은 Fish Audio를 가장 널리 사용되는 AI 음성 플랫폼 중 하나로 성장시켰으며 현재 백만 개가 넘는 사용자 생성 음성 모델을 통해 백만 명 이상의 사용자에게 서비스를 제공하고 있습니다. 자연어 감정 제어 기능을 갖춘 최초의 TTS 모델 중 하나인 S1는 엔드투엔드 음성 모델링의 잠재력을 입증했습니다.

하지만 S1는 시작에 불과했습니다. 업계는 AI Voice 2.0 시대로 진입하고 있습니다. 즉, 전통적인 단어 단위 방송 음성에서 감정적으로 진실되고 영혼이 담긴 대화형 AI 음성으로 진화하고 있습니다. S2는 이러한 변화의 핵심 수단입니다.

S2 코어 업그레이드: 3차원 혁신

1

세련된 감정 제어

S2는 단순한 '행복' 또는 '슬픔'부터 '기본적인 슬픔이 있는 분노'와 같은 복잡한 혼합 감정까지 개방형 감정 주석을 달성합니다. 이는 Fish Audio가 자체 개발한 세계 최고의 감정 주석 ASR 모델을 기반으로 사전 훈련 데이터가 자연스럽게 정확한 감정 레이블을 전달할 수 있도록 합니다.

2

네이티브 다중 화자 지원

S2의 아키텍처는 기본적으로 모든 세그먼트에 대한 정확한 화자 태그를 사용하여 다중 화자 시나리오를 지원합니다. 멀티 호스트 팟캐스트, 오디오북 대화, 게임 NPC 대화 등 자연스러운 멀티 문자 전환이 원활하게 이루어집니다.

3

초저 지연 시간

종단 간 아키텍처를 통해 S2는 이론적으로 첫 번째 토큰이 생성된 후에 오디오 디코딩을 시작할 수 있습니다. Fish Audio는 또한 보코더를 완전히 제거하여 30~50밀리초의 대기 시간 목표로 완전한 텍스트-파형 종단 간 모델링을 달성하는 새로운 모델을 발표했습니다.

S2 모델 매트릭스: 모든 시나리오에 맞게 맞춤화됨

Fish Audio는 단일 대형 모델을 추구하지 않습니다. 대신 Fish Audio는 다양한 비즈니스 시나리오에 대한 모델 매트릭스를 구축합니다.

S2 Pro

최고의 음성 품질과 감성 표현이 요구되는 시나리오를 위해 설계된 플래그십 콘텐츠 생성 모델입니다. 오디오북, 팟캐스트, 영화 더빙, ASMR 콘텐츠 제작에 이상적이며 자연스러움과 표현력이 새로운 차원에 도달했습니다.

S2 Flash

실시간 대화 시나리오에 최적화된 4B 매개변수 엔터프라이즈 모델입니다. 지연 시간이 짧고 안정성이 높아 AI 동반 ​​앱, 실시간 음성 에이전트, 판매 봇 및 교육 플랫폼에 이상적인 선택입니다.

기술적 혁신: 데이터 중심 혁명

S2의 핵심 개선 사항은 모델 아키텍처 변경이 아니라 데이터 파이프라인의 완전한 재구성을 통해 이루어졌습니다. Fish Audio는 업계 최고의 데이터 처리 시스템을 구축했습니다.

자체 개발한 감정 주석 ASR 모델: 감정 주석 정확도 세계 1위, 음성의 감정, 준언어(웃음, 일시정지, 강조)를 정확하게 식별하고 라벨링할 수 있습니다.
음성 분리 모델: 시끄러운 여러 사람의 대화에서 개별 화자를 정확하게 분리하여 기존 파이프라인이 폐기하는 표현력이 뛰어난 '더티 데이터'를 보존합니다.
RLHF 파이프라인: 온라인 사용자 피드백 데이터를 결합하여 선호도 데이터 세트를 구축하고 지속적인 최적화를 위해 보상 모델을 교육합니다. Fish Audio는 완전한 라이브 RLHF 오디오 기본 설정 정렬 시스템을 갖춘 유일한 음성 플랫폼입니다.
글로벌 원어민 주석팀: 데이터의 정확성과 자연성을 보장하는 다국어 주석 전담팀입니다.

아키텍처 장점: 엔드투엔드가 미래입니다

Fish Audio S2는 의미론적 정보 모델링과 음향 정보 모델링을 통합하는 엔드투엔드 자동 회귀 아키텍처를 사용합니다. 기존의 캐스케이드 접근 방식(텍스트 → 의미 토큰 → 음향 특징 → 파형)과 비교하여 엔드 투 엔드 접근 방식에는 세 가지 주요 이점이 있습니다.

더욱 강력한 표현력: 의미-음향 결합 모델링을 통해 더욱 풍부한 운율과 감정적 변화를 자연스럽게 포착합니다.
낮은 대기 시간: 중간 모듈을 기다릴 필요가 없습니다. 첫 번째 토큰부터 디코딩을 시작할 수 있습니다.
기본 다중 화자: 아키텍처는 본질적으로 추가 모듈 없이 다중 화자 시나리오를 지원합니다.

이는 Qwen TTS 및 SESAME과 같은 차세대 모델이 선택한 아키텍처 방향이기도 합니다. Fish Audio는 이 경로에서 가장 오랜 엔지니어링 경험과 데이터 이점을 보유하고 있습니다.

오픈 소스 약속: S2는 완전히 오픈 소스화됩니다

Fish Audio CTO는 S2가 완전히 오픈 소스화될 것임을 확인했습니다. S1 Mini 오픈 소스 릴리스에 이어 Fish Audio는 오픈 소스에 대한 약속을 계속하여 개발자가 로컬에서 배포, 테스트 및 통합할 수 있도록 지원합니다. 10만 명이 넘는 GitHub Stars 커뮤니티는 S2의 강력한 기능을 가장 먼저 경험하게 될 것입니다.

사용 사례: AI 음성의 무한한 가능성 실현

콘텐츠 제작

오디오북, 팟캐스트, 비디오 더빙, ASMR — S2 Pro는 전문 크리에이터를 위해 인간에 가까운 감정 표현을 제공합니다.

AI 동반자 및 소셜

Character.AI와 같은 AI 소셜 앱에 따뜻하고 표현력이 풍부한 음성을 제공하여 AI 대화를 현실감 있게 만듭니다.

게임 및 엔터테인먼트

NPC 대화, 캐릭터 보이싱, VTubing — 다중 화자 지원으로 게임 세계에 생동감을 불어넣습니다.

실시간 음성 에이전트

S2 Flash의 짧은 대기 시간과 높은 안정성은 고객 서비스, 판매 및 교육 시나리오에 완벽하게 적합합니다.

교차 언어 콘텐츠

13개 이상의 언어로 음성 복제 — 한 번 학습하면 여러 언어에 걸쳐 사용하여 손쉽게 글로벌 콘텐츠를 만들 수 있습니다.

S1 대 S2: 한 눈에 업그레이드

기능S1S2
감정 제어기본감정 태그오픈 도메인 감정 설명 + 혼합 감정
멀티 화자단일 화자 초점네이티브 다중 화자 지원
대기 시간표준매우 낮은 대기 시간(30-50ms 대상)
데이터 파이프라인1세대완전 재구축 + 자체 개발 ASR
사후 교육기본 RLHFLive RLHF + 다차원 보상 모델
오픈 소스S1 Mini 오픈 소스S2 완전 오픈 소스
모델 매트릭스단일 모델Pro + 플래시 듀얼 버전

출시 일정

3월 10일
2026

Fish Audio S2 모델은 2026년 3월 10일에 공식 출시됩니다. S2 Pro와 S2 Flash는 모두 API 액세스 또는 Fish Audio 플랫폼을 통해 동시에 사용할 수 있습니다. 오픈 소스 버전은 출시 직후에 출시될 예정입니다.

관련 링크