Kitta AI es operado de forma independiente por wuwei y no es el servicio oficial de Fish Audio. Fish Audio
Lanzamiento de Fish Audio S2: la voz IA entra en la era 2.0
Resumen de las capacidades de Fish Audio S2 y cómo aplicarlas en producción.
Fish Audio está lanzando el nuevo modelo S2, un gran paso adelante con respecto al S1. S2 logra avances en control de emociones, soporte para múltiples hablantes y optimización de latencia, lo que marca la llegada oficial de AI Voice 2.0.
¿Por qué S2? El próximo salto en voz AI
Durante el año pasado, el modelo S1 convirtió a Fish Audio en una de las plataformas de voz de IA más utilizadas, y ahora atiende a más de 1 millón de usuarios con más de un millón de modelos de voz creados por los usuarios. Como uno de los primeros modelos TTS con control de emociones en lenguaje natural, el S1 demostró el potencial del modelado de voz de un extremo a otro.
Pero S1 fue solo el comienzo. La industria está entrando en la era AI Voice 2.0, evolucionando de las tradicionales voces de transmisión palabra por palabra a voces de AI interactivas y emocionalmente auténticas con alma. S2 es el vehículo central de esta transformación.
S2 Actualizaciones principales: avances en tres dimensiones
Control de emociones refinado
S2 logra una anotación de emociones de dominio abierto, desde simples "felices" o "tristes" hasta complejas emociones mixtas como "enojado con tristeza subyacente". Esto está impulsado por el modelo ASR de anotación de emociones líder en el mundo desarrollado por Fish Audio, que permite que los datos previos al entrenamiento lleven de forma natural etiquetas de emociones precisas.
Compatibilidad nativa con varios hablantes La arquitectura de
S2 admite de forma nativa escenarios de múltiples hablantes con etiquetas de hablante precisas para cada segmento. Ya sean podcasts de múltiples anfitriones, diálogos de audiolibros o conversaciones de NPC de juegos, las transiciones naturales entre múltiples personajes son perfectas.
Latencia ultrabaja
Con la arquitectura de extremo a extremo, S2 puede, en teoría, comenzar a decodificar audio después de que se genere el primer token. Fish Audio también anunció un nuevo modelo que elimina el Vocoder por completo, logrando un modelado completo de texto a forma de onda de extremo a extremo con objetivos de latencia de 30 a 50 milisegundos. Matriz de modelos
S2: adaptada a cada escenario
Fish Audio no persigue un único modelo grande; en cambio, Fish Audio crea una matriz de modelos para diferentes escenarios comerciales:
El modelo insignia de generación de contenido, diseñado para escenarios que exigen la máxima calidad de voz y expresividad emocional. Ideal para audiolibros, podcasts, doblaje de películas y creación de contenidos ASMR, alcanzando nuevas alturas en naturalidad y expresividad.
Un modelo empresarial de 4 parámetros B optimizado para escenarios conversacionales en tiempo real. Con menor latencia y mayor estabilidad, es la opción ideal para aplicaciones complementarias de IA, agentes de voz en tiempo real, robots de ventas y plataformas educativas.
Avance técnico: una revolución basada en datos Las principales mejoras de
S2 no provienen de cambios en la arquitectura del modelo, sino de una reconstrucción completa de la canalización de datos. Fish Audio creó un sistema de procesamiento de datos líder en la industria:
Ventaja de la arquitectura: de extremo a extremo es el futuro
Fish Audio S2 utiliza una arquitectura autorregresiva de extremo a extremo que unifica el modelado de información semántica y acústica. En comparación con los enfoques tradicionales en cascada (texto → tokens semánticos → características acústicas → forma de onda), el enfoque de extremo a extremo tiene tres ventajas clave:
Esta es también la dirección arquitectónica elegida por modelos de próxima generación como Qwen TTS y SESAME. Fish Audio tiene la mayor experiencia en ingeniería y la ventaja de datos en este camino.
Compromiso de código abierto: S2 será completamente de código abierto
Fish Audio CTO ha confirmado que S2 será completamente de código abierto. Tras el lanzamiento de código abierto S1 Mini, Fish Audio continúa su compromiso con el código abierto, permitiendo a los desarrolladores implementar, probar e integrar localmente. La comunidad de más de 100.000 estrellas de GitHub será la primera en experimentar las poderosas capacidades de S2.
Casos de uso: Liberar las infinitas posibilidades de la voz con IA
Creación de contenido
Audiolibros, podcasts, doblaje de vídeos, ASMR: S2 Pro ofrece una expresión emocional casi humana para creadores profesionales.
Compañeros de IA y redes sociales
Proporcione voces cálidas y expresivas para aplicaciones sociales de IA como Character.AI, haciendo que las conversaciones de IA parezcan reales.
Juegos y entretenimiento
Diálogo de NPC, voz de personajes, VTubing: la compatibilidad con varios hablantes da vida a los mundos del juego.
Agentes de voz en tiempo real La baja latencia y la alta estabilidad de
S2 Flash se adaptan perfectamente a escenarios de educación, ventas y servicio al cliente.
Contenido en varios idiomas
Clonación de voz en más de 13 idiomas: entrene una vez y utilícela en todos los idiomas para crear contenido global sin esfuerzo.
S1 vs S2: actualizaciones de un vistazo
| Característica | S1 | S2 |
|---|---|---|
| Control de Emociones | Etiquetas de emociones básicas | Descripción de emoción de dominio abierto + emociones mixtas |
| Multihablante | Enfoque de hablante único | Compatibilidad nativa con varios hablantes |
| Latencia | Estándar | Latencia ultrabaja (objetivo 30-50ms) |
| Canalización de datos | 1.ª generación | Totalmente reconstruido + ASR de desarrollo propio |
| Post-entrenamiento | Básico RLHF | Live RLHF + modelo de recompensa multidimensional |
| Código abierto | S1 Mini de código abierto | S2 totalmente de código abierto |
| Matriz modelo | Modelo único | Versiones duales Pro + Flash |
Cronograma de lanzamiento El modelo
Fish Audio S2 se lanzará oficialmente el 10 de marzo de 2026. Tanto el S2 Pro como el S2 Flash estarán disponibles simultáneamente a través del acceso API o la plataforma Fish Audio. La versión de código abierto llegará poco después del lanzamiento.