Kitta AI независимо управляется wuwei и не является официальным сервисом Fish Audio. Fish Audio
Запуск Fish Audio S2: AI-голос входит в эпоху 2.0
Обзор возможностей Fish Audio S2 и применения в производстве.
Fish Audio представляет совершенно новую модель S2, что является большим шагом вперед по сравнению с S1. S2 достигает прорыва в управлении эмоциями, поддержке нескольких говорящих и оптимизации задержки, ознаменовав официальное появление AI Voice 2.0.
Почему S2? Следующий скачок в области искусственного интеллекта
За прошедший год модель S1 превратила Fish Audio в одну из наиболее широко используемых голосовых платформ искусственного интеллекта, которая теперь обслуживает более 1 миллиона пользователей с более чем миллионом созданных ими голосовых моделей. S1, одна из первых моделей TTS с управлением эмоциями на естественном языке, доказала потенциал сквозного моделирования голоса.
Но S1 был только началом. Индустрия вступает в эпоху AI Voice 2.0 — эволюционируя от традиционных дословных голосов вещания к эмоционально аутентичным, интерактивным голосам искусственного интеллекта с душой. S2 является основным средством этой трансформации.
S2 Обновления ядра: прорыв в трех измерениях
Усовершенствованный контроль эмоций
S2 обеспечивает аннотирование эмоций в открытой предметной области: от простых «радостный» и «грустный» до сложных сочетаний, например «злой со скрытой грустью». Для этого используется разработанная Fish Audio модель ASR с аннотированием эмоций, благодаря которой данные предварительного обучения получают точные эмоциональные метки.
Встроенная поддержка нескольких говорящих
S2 изначально поддерживает сценарии с несколькими говорящими с точными тегами говорящих для каждого сегмента. Будь то подкасты с несколькими хостами, диалоги в аудиокнигах или разговоры с игровыми NPC, естественные переходы между несколькими символами выполняются плавно.
Сверхнизкая задержка
Благодаря сквозной архитектуре S2 теоретически может начать декодирование звука после того, как будет сгенерирован первый токен. Fish Audio также анонсировал новую модель, которая полностью исключает вокодер, обеспечивая полное сквозное моделирование преобразования текста в сигнал с целевой задержкой 30-50 миллисекунд.
S2 Матрица моделей: адаптирована для каждого сценария
Fish Audio не преследует одну большую модель — вместо этого Fish Audio строит матрицу моделей для различных бизнес-сценариев:
Флагманская модель создания контента, разработанная для сценариев, требующих высочайшего качества голоса и эмоциональной выразительности. Идеально подходит для аудиокниг, подкастов, дубляжа фильмов и создания ASMR-контента, достигая новых высот естественности и выразительности.
Корпоративная модель с 4B параметрами, оптимизированная для диалоговых сценариев в реальном времени. Благодаря более низкой задержке и более высокой стабильности это идеальный выбор для сопутствующих приложений с искусственным интеллектом, голосовых агентов в реальном времени, торговых ботов и образовательных платформ.
Технический прорыв: революция, основанная на данных
S2 Основные улучшения связаны не с изменениями архитектуры модели, а с полной реконструкцией конвейера данных. Fish Audio создал ведущую в отрасли систему обработки данных:
Преимущество архитектуры: сквозное соединение — это будущее
Fish Audio S2 использует сквозную авторегрессионную архитектуру, которая объединяет семантическое и акустическое информационное моделирование. По сравнению с традиционными каскадными подходами (текст → семантические токены → акустические характеристики → форма волны), сквозной подход имеет три ключевых преимущества:
Это архитектурное направление выбрали и такие модели следующего поколения, как Qwen TTS и SESAME. Fish Audio обладает самым большим инженерным опытом и преимуществом в области данных на этом пути.
Обязательство по открытому исходному коду: S2 будет полностью открытым исходным кодом
Fish Audio Технический директор подтвердил, что исходный код S2 будет полностью открытым. После выпуска S1 Mini с открытым исходным кодом Fish Audio продолжает свою приверженность открытому исходному коду, позволяя разработчикам развертывать, тестировать и интегрировать локально. Более 100 тысяч участников сообщества GitHub Stars первыми познакомятся с мощными возможностями S2.
Варианты использования: раскрытие безграничных возможностей ИИ-голоса
Создание контента
Аудиокниги, подкасты, дубляж видео, ASMR — S2 Pro обеспечивает почти человеческое выражение эмоций для профессиональных авторов.
AI-компаньоны и социальные сети
Обеспечьте теплые, выразительные голоса для социальных приложений с искусственным интеллектом, таких как Character.AI, благодаря чему разговоры с искусственным интеллектом будут выглядеть реальными.
Игры и развлечения
Диалоги NPC, озвучка персонажей, VTubing — поддержка нескольких говорящих оживляет игровые миры.
Голосовые агенты реального времени
S2 Flash с низкой задержкой и высокой стабильностью идеально подходит для сценариев обслуживания клиентов, продаж и обучения.
Межязычный контент
Клонирование голоса на более чем 13 языках — обучите один раз, используйте разные языки для легкого создания глобального контента.
S1 против S2: краткий обзор обновлений Функция
| Особенность | S1 | S2 |
|---|---|---|
| Контроль эмоций | Теги основных эмоций | Открытое описание эмоций + смешанные эмоции |
| Мультиговорящий | Фокус на один говорящий | Встроенная поддержка нескольких говорящих |
| Задержка | Стандарт | Сверхнизкая задержка (цель 30-50ms) |
| Конвейер данных | 1-го поколения | Полностью перестроенный + самостоятельно разработанный ASR |
| Пост-обучение | Базовый RLHF | Live RLHF + многомерная модель вознаграждения |
| с открытым исходным кодом | S1 Mini с открытым исходным кодом | S2 полностью с открытым исходным кодом |
| Матрица модели | Одиночная модель | Pro + двойные версии Flash |
График выпуска Модель
Fish Audio S2 официально поступит в продажу 10 марта 2026 года. И S2 Pro, и S2 Flash будут доступны одновременно через доступ API или платформу Fish Audio. Версия с открытым исходным кодом появится вскоре после запуска.