Dessa: el modelo de voz de Block que aprendió sin texto

Un modelo de voz que nunca ha leído una palabra

El jueves 23 de octubre Block presentó Dessa, un modelo de voz que, según su propia página, se ha entrenado desde cero solo con conversaciones habladas. Sin texto y sin partir de ningún modelo preentrenado. Aprendió a conversar escuchando, como aprende un niño. Y eso, si se confirma fuera de las demos, cambia bastante la forma en que pensamos los agentes de voz.

Lo ha hecho un laboratorio de investigación muy pequeño dentro de Block, fundado por antiguos miembros de Dessa, la startup de deep learning de Toronto que Square compró en 2020, según CoinDesk. Ese laboratorio reporta directamente a Jack Dorsey.

Qué dice Block que hace

Es un modelo speech-to-speech de verdad: entra audio y sale audio. Además es full-duplex, que quiere decir que escucha y habla a la vez, como hacemos las personas. Todo lo que sigue lo dice Block en su página:

• Sabe cuándo meterse en la conversación y cuándo hacer esos “yeah”, “got it” u “ooh” que usamos para mostrar que seguimos ahí.
• Se ríe en mitad de una frase cuando algo tiene gracia, en lugar de esperar a que termines.
• Capta emociones, sarcasmo, risas, un suspiro de frustración o una voz que se quiebra.
• La inferencia va más rápida que el tiempo real, así que no hay esa espera incómoda.
• Funciona en local en un MacBook Pro M4 Max o superior.
• Se entrenó con un único NVIDIA GB200 NVL72.

También dicen que aprendió el lenguaje con cientos de veces menos palabras de las que necesita un LLM. Es una afirmación interesante, pero no dan ninguna cifra. Block tampoco ha publicado el tamaño del modelo, benchmarks ni fecha de lanzamiento, y las grabaciones de la página las ha elegido la propia Block, así que no son pruebas independientes. Si quieres escuchar algunas, The Verge recoge varias, con sus momentos raros incluidos.

Por qué importa saltarse el texto

Casi todos los agentes de voz que conozco funcionan igual: tu voz se convierte en texto, un LLM piensa sobre ese texto y la respuesta se vuelve a convertir en voz. Funciona, pero por el camino se pierde mucho. El argumento de Block lo explica bien con un ejemplo: di en voz alta “I didn’t say she stole my CUDA code” cargando el acento en una palabra distinta cada vez. Mismas palabras, significado distinto. Cuando pasas eso a texto, la diferencia desaparece.

Para un agente eso no es un detalle estético. Es información:

• El tono cambia el significado. Un “vale” puede ser un sí o un “déjame en paz”. Si el agente solo ve texto, no lo distingue.
• El momento importa. Un agente que espera a que acabes para hablar, y que no sabe interrumpir ni dar señales de que te sigue, se nota robótico enseguida.
• La emoción es una señal de seguridad. Block lo plantea así: imagina a alguien con un dolor fuerte hablando con una IA de voz que no se entera y sigue con su guion. Esa es una de las razones que dan para hacer Dessa.

Qué implicaría para las empresas

Aquí ya hablo yo, no Block. Si este tipo de modelo madura, veo cuatro cosas:

1. Atención al cliente con oído. Un agente que detecta frustración en la voz puede pasar la llamada a una persona antes de que el cliente explote, no después.
2. Voz en local. Que funcione en un portátil, y no solo en un centro de datos, abre la puerta a casos con datos sensibles en los que no quieres mandar audio fuera.
3. Nuevos problemas de control. Si no hay texto en medio, ¿cómo auditas lo que ha dicho el agente? ¿Dónde pones las reglas? Hoy muchos controles se apoyan en transcripciones. Con un modelo así habrá que repensarlo, igual que hablaba en el post de permisos, sandboxes y secretos.
4. La otra cara: estafas. Lo mismo que lo hace tan natural es lo que preocupa. CoinDesk recoge reacciones de gente que teme que una voz así dispare las estafas telefónicas. Para una empresa eso toca dos cosas: no fiarse de la voz para verificar la identidad de nadie y dejar claro al cliente que está hablando con una IA.

Y una duda que me queda: un modelo que solo ha aprendido de oír conversaciones, ¿hasta dónde llega razonando o usando herramientas? La propia página plantea esas preguntas como terreno abierto para investigar. Me imagino que, en un agente real, lo normal será combinarlo con otros modelos y no usarlo solo.

Lo que todavía no sabemos

Hay que ser claros: Dessa no se puede probar. Como recoge CoinDesk, es una vista previa para investigación y no un producto público. Block está dando acceso temprano solo a un grupo pequeño de investigadores de seguridad de IA, para que busquen los riesgos que ellos no han previsto. Me parece una buena forma de hacerlo, pero significa que todo lo que sabemos sale de su página y de sus demos.

Así que, por ahora, lo tomo como una señal de hacia dónde va la voz, no como algo para meter en un proyecto mañana. Cuando se pueda probar, lo probaré y os lo cuento.

Para cerrar

Si en tu empresa estáis pensando en agentes de voz, o en cualquier agente que tenga que tratar con personas, en onext te ayudamos a diseñarlo con los pies en el suelo. Escríbeme desde onext.es y lo hablamos.