Hace dos semanas se abrió Phonon, un modelo pequeño de conversión de texto a voz que se ejecuta directamente en el dispositivo del usuario. No necesita servidor ni red, y lo que el usuario escribe permanece en su propio equipo. El equipo lo presenta como su primera publicación abierta. Lo anunció en abril y dedicó seis meses a trabajarlo con socios y usuarios tempranos, cuyas opiniones ayudaron a dar forma a la versión final.
El modelo llega en dos tamaños, de unos 65 MB y 75 MB, y habla inglés, francés, alemán, español y portugués. Incluye más de 100 voces integradas y permite crear otras propias en Gradium Studio, así como clonar una voz a partir de una grabación corta con consentimiento del hablante. Phonon también maneja bien números de teléfono, fechas y códigos, un terreno en el que otros sistemas suelen tropezar. Puede ejecutarse en teléfonos, portátiles, ordenadores de placa única y en una pestaña del navegador.
En licencias, Phonon 31m está bajo Apache 2.0 y puede usarse gratis, incluso en productos comerciales, aunque solo habla inglés. Phonon 40m cubre los cinco idiomas con una licencia no comercial. Los demás modelos publicados tienen licencia CC BY-NC, gratuita para proyectos no comerciales, mientras que un uso comercial de ellos se factura según el número de usuarios y no según la cantidad de voz generada.
El lanzamiento incluyó demostraciones de colaboradores externos y del propio equipo. Un reloj de Apple con el Wi-Fi desactivado guía paso a paso la preparación de un café, y un iPhone sin cobertura cuenta las repeticiones de un ejercicio. Un robot llamado Lamp, de Autonomous, habla con un sombrero seleccionador y mantiene el personaje. Según el balance del propio equipo, Phonon fue descargado más de 200.000 veces en sus dos primeras semanas y sigue en tendencia en Hugging Face.
En el Open TTS Leaderboard de Hugging Face, que compara modelos abiertos en 23 idiomas entre más de 9.000 modelos del Hub, Phonon ocupa el primer puesto en inteligibilidad en alemán y español. En el resto de idiomas evaluados entra en el top tres, junto a modelos hasta 100 veces mayores. En velocidad, sus modelos lideran la prueba de streaming en CPU por tiempo hasta el primer audio, según la clasificación publicada.
Para ejecutarlo en distintos equipos, el equipo creó el motor de inferencia ptts, con más de diez backends que van desde CPU y GPU hasta NPU con Apple Core ML y Snapdragon. Phonon también está disponible en Transformers como implementación de referencia en PyTorch, orientada a generación por lotes en GPU. Los desarrolladores ya trabajan con él en proyectos como una conversión para ExecuTorch y una integración para Node.js.
El equipo ofrece también entrenar versiones a medida con socios para equipos con memoria limitada, o para idiomas como coreano, árabe o japonés. Además, puede ajustar el modelo con el vocabulario propio de cada producto. Por ahora, las condiciones comerciales de esos trabajos no aparecen detalladas en la publicación, y la oferta se canaliza mediante contacto directo.