Kitta AI независимо управляется wuwei и не является официальным сервисом Fish Audio. Fish Audio

Запуск модели2026-03-02·8 минут чтения·By Kitta Audio

Запуск Fish Audio S2: AI-голос входит в эпоху 2.0

Обзор возможностей Fish Audio S2 и применения в производстве.

Fish Audio представляет совершенно новую модель S2, что является большим шагом вперед по сравнению с S1. S2 достигает прорыва в управлении эмоциями, поддержке нескольких говорящих и оптимизации задержки, ознаменовав официальное появление AI Voice 2.0.

Почему S2? Следующий скачок в области искусственного интеллекта

За прошедший год модель S1 превратила Fish Audio в одну из наиболее широко используемых голосовых платформ искусственного интеллекта, которая теперь обслуживает более 1 миллиона пользователей с более чем миллионом созданных ими голосовых моделей. S1, одна из первых моделей TTS с управлением эмоциями на естественном языке, доказала потенциал сквозного моделирования голоса.

Но S1 был только началом. Индустрия вступает в эпоху AI Voice 2.0 — эволюционируя от традиционных дословных голосов вещания к эмоционально аутентичным, интерактивным голосам искусственного интеллекта с душой. S2 является основным средством этой трансформации.

S2 Обновления ядра: прорыв в трех измерениях

1

Усовершенствованный контроль эмоций

S2 обеспечивает аннотирование эмоций в открытой предметной области: от простых «радостный» и «грустный» до сложных сочетаний, например «злой со скрытой грустью». Для этого используется разработанная Fish Audio модель ASR с аннотированием эмоций, благодаря которой данные предварительного обучения получают точные эмоциональные метки.

2

Встроенная поддержка нескольких говорящих

S2 изначально поддерживает сценарии с несколькими говорящими с точными тегами говорящих для каждого сегмента. Будь то подкасты с несколькими хостами, диалоги в аудиокнигах или разговоры с игровыми NPC, естественные переходы между несколькими символами выполняются плавно.

3

Сверхнизкая задержка

Благодаря сквозной архитектуре S2 теоретически может начать декодирование звука после того, как будет сгенерирован первый токен. Fish Audio также анонсировал новую модель, которая полностью исключает вокодер, обеспечивая полное сквозное моделирование преобразования текста в сигнал с целевой задержкой 30-50 миллисекунд.

S2 Матрица моделей: адаптирована для каждого сценария

Fish Audio не преследует одну большую модель — вместо этого Fish Audio строит матрицу моделей для различных бизнес-сценариев:

S2 Pro

Флагманская модель создания контента, разработанная для сценариев, требующих высочайшего качества голоса и эмоциональной выразительности. Идеально подходит для аудиокниг, подкастов, дубляжа фильмов и создания ASMR-контента, достигая новых высот естественности и выразительности.

S2 Flash

Корпоративная модель с 4B параметрами, оптимизированная для диалоговых сценариев в реальном времени. Благодаря более низкой задержке и более высокой стабильности это идеальный выбор для сопутствующих приложений с искусственным интеллектом, голосовых агентов в реальном времени, торговых ботов и образовательных платформ.

Технический прорыв: революция, основанная на данных

S2 Основные улучшения связаны не с изменениями архитектуры модели, а с полной реконструкцией конвейера данных. Fish Audio создал ведущую в отрасли систему обработки данных:

Самодельная модель ASR для аннотирования эмоций: №1 в мире по точности аннотирования эмоций, способная точно идентифицировать и маркировать эмоции, параъязык (смех, паузы, акцент) в речи.
Модель разделения голоса: точно отделяет отдельных говорящих от шумных разговоров нескольких человек, сохраняя весьма выразительные «грязные данные», которые отбрасываются традиционными конвейерами. Конвейер
RLHF: объединяет онлайн-данные отзывов пользователей для создания наборов данных о предпочтениях и обучения моделей вознаграждения для непрерывной оптимизации. Fish Audio — единственная голосовая платформа с полноценной системой согласования аудиопредпочтений RLHF.
Глобальная группа аннотаторов, говорящих на языках: специальная многоязычная группа аннотаторов, обеспечивающая правильность и естественность данных.

Преимущество архитектуры: сквозное соединение — это будущее

Fish Audio S2 использует сквозную авторегрессионную архитектуру, которая объединяет семантическое и акустическое информационное моделирование. По сравнению с традиционными каскадными подходами (текст → семантические токены → акустические характеристики → форма волны), сквозной подход имеет три ключевых преимущества:

Более сильная выразительность: совместное семантико-акустическое моделирование естественным образом улавливает более богатую просодию и эмоциональные вариации.
Меньшая задержка: не нужно ждать промежуточных модулей — декодирование можно начать с первого токена.
Встроенная поддержка нескольких говорящих: архитектура по своей сути поддерживает сценарии с несколькими говорящими без дополнительных модулей.

Это архитектурное направление выбрали и такие модели следующего поколения, как Qwen TTS и SESAME. Fish Audio обладает самым большим инженерным опытом и преимуществом в области данных на этом пути.

Обязательство по открытому исходному коду: S2 будет полностью открытым исходным кодом

Fish Audio Технический директор подтвердил, что исходный код S2 будет полностью открытым. После выпуска S1 Mini с открытым исходным кодом Fish Audio продолжает свою приверженность открытому исходному коду, позволяя разработчикам развертывать, тестировать и интегрировать локально. Более 100 тысяч участников сообщества GitHub Stars первыми познакомятся с мощными возможностями S2.

Варианты использования: раскрытие безграничных возможностей ИИ-голоса

Создание контента

Аудиокниги, подкасты, дубляж видео, ASMR — S2 Pro обеспечивает почти человеческое выражение эмоций для профессиональных авторов.

AI-компаньоны и социальные сети

Обеспечьте теплые, выразительные голоса для социальных приложений с искусственным интеллектом, таких как Character.AI, благодаря чему разговоры с искусственным интеллектом будут выглядеть реальными.

Игры и развлечения

Диалоги NPC, озвучка персонажей, VTubing — поддержка нескольких говорящих оживляет игровые миры.

Голосовые агенты реального времени

S2 Flash с низкой задержкой и высокой стабильностью идеально подходит для сценариев обслуживания клиентов, продаж и обучения.

Межязычный контент

Клонирование голоса на более чем 13 языках — обучите один раз, используйте разные языки для легкого создания глобального контента.

S1 против S2: краткий обзор обновлений Функция

ОсобенностьS1S2
Контроль эмоцийТеги основных эмоцийОткрытое описание эмоций + смешанные эмоции
МультиговорящийФокус на один говорящийВстроенная поддержка нескольких говорящих
ЗадержкаСтандартСверхнизкая задержка (цель 30-50ms)
Конвейер данных1-го поколенияПолностью перестроенный + самостоятельно разработанный ASR
Пост-обучениеБазовый RLHFLive RLHF + многомерная модель вознаграждения
с открытым исходным кодомS1 Mini с открытым исходным кодомS2 полностью с открытым исходным кодом
Матрица моделиОдиночная модельPro + двойные версии Flash

График выпуска Модель

10 марта
2026

Fish Audio S2 официально поступит в продажу 10 марта 2026 года. И S2 Pro, и S2 Flash будут доступны одновременно через доступ API или платформу Fish Audio. Версия с открытым исходным кодом появится вскоре после запуска.

Ссылки по теме