¿Qué modelo speech-to-speech elegir para conversaciones largas?

El benchmark

Comparamos los modelos en el siguiente escenario.

Un asistente de búsqueda inmobiliaria cualifica a compradores por teléfono, en francés. En una llamada de 6 a 12 minutos, tiene 24 preguntas que hacer sobre el proyecto del comprador. Cada pregunta que no hace es un dato que falta al final de la llamada.

El agente funciona en speech-to-speech: un solo modelo oye a quien llama y responde con la voz, sin transcripción de por medio (mira nuestra página sobre los agentes de voz con IA speech-to-speech). Estos modelos no son deterministas: la misma llamada, repetida, no sigue el mismo camino, y en un guion largo algunas preguntas pueden no hacerse nunca.

Lo medimos en cuatro modelos, GPT-Live-1, Grok Voice 3.0, Gemini 3.8 Live y Gemini 3.1 Flash Live, en dos tiempos: llamadas con el prompt original y, después, las mismas llamadas una vez reescritos los giros frágiles del guion.

El método

El agente. El guion tiene 24 preguntas, 27 con sus preguntas de seguimiento, y el prompt unos 21.000 caracteres. El prompt son las instrucciones escritas que sigue el agente. Es el agente que describe nuestra página sobre la precualificación de llamadas.

Las llamadas. El mismo agente, con el mismo prompt, funciona con los cuatro modelos, lanzados por oleadas de una llamada por modelo. Gemini 3.8 Live es la opción por defecto que Google recomienda para agentes de voz de baja latencia (skill de la Live API, guía de migración). Los cuatro llaman al mismo comprador simulado, también un modelo, que responde según una ficha fija; el agente recibe siempre el mismo contexto sobre él.

Dos series. 33 llamadas con el prompt original, 8 o 9 por modelo, y luego 24 con el prompt ajustado, 6 por modelo: más de 460 minutos de conversación. Cada llamada se lee entera, pregunta por pregunta, por revisores que no ven el nombre del modelo.

Significativo o no. Con 6 a 9 llamadas por modelo, parte de cada diferencia es azar. Solo llamamos significativa a una diferencia cuyo intervalo de confianza del 95 % excluye el cero; las demás son tendencias.

Primera conclusión

De un modelo a otro, el prompt original hace formular del 89 % al 98 % de las preguntas debidas. Una pregunta es debida mientras el comprador no la ha respondido por su cuenta: unas 18 a 21 por llamada, de 27. La parte se cuenta sobre todas las llamadas de un modelo, no llamada por llamada. El 98 % de GPT-Live-1 son 164 preguntas formuladas de 167 debidas en sus 8 llamadas: una pregunta que falta en una llamada le cuesta menos de un punto.

Lo que cambia de una llamada a otra es el recorrido: mismo comprador, mismo prompt, 33 llamadas, 32 recorridos distintos.

Prompt original, 8 o 9 llamadas por modelo. Una pregunta repetida es el agente volviendo a pedir algo que el comprador ya dijo.

• GPT-Live-1 es el que más pregunta y dispone del 99 % de los datos al final de la llamada. Se salta significativamente menos preguntas que Gemini 3.1 Flash Live, la única diferencia significativa de esta serie. También es el que más hace repetir.
• Grok Voice 3.0 es el que menos hace repetir y el más regular: 19 preguntas de 27 se tratan igual en todas sus llamadas.
• Gemini 3.8 Live hace tantas preguntas como Grok Voice 3.0, pero hace repetir 1,44 veces por llamada, frente a 0,38.
• Gemini 3.1 Flash Live es el menos regular: 6 preguntas de 27 tratadas igual en todas sus llamadas, de 12 a 21 preguntas formuladas según la llamada. Una sola de sus 8 llamadas se salta 10.

La misma llamada, repetida, no sigue el mismo camino: juzga un modelo en varias llamadas, nunca en una.

Optimizar el prompt

Los revisores clasificaron cada pregunta perdida según lo que la provocó. Parte de las pérdidas viene de cómo está escrito el guion, en cuatro tipos de giros: una pregunta de seguimiento prevista «en el turno siguiente», una contrapregunta del comprador que nunca se cierra, una pregunta sustituida por el anuncio de una tarea y un bloque de preguntas sin frase de transición. La figura 3 cuenta, modelo por modelo, las pérdidas de los tres primeros; no hacen tropezar a los mismos modelos:

• GPT-Live-1 solo tiene 3 fallos en 8 llamadas.
• Grok Voice 3.0 tropieza sobre todo con la tarea: 4 preguntas sustituidas por su anuncio. La pregunta que la precede, sobre lo que más le pesa al comprador, se salta en 4 llamadas de 8.
• Gemini 3.8 Live es el más expuesto, sobre todo a las contrapreguntas (7) y a la tarea (5): hace una misma pregunta del final del guion sin obtener la respuesta en 7 llamadas de 9.
• Gemini 3.1 Flash Live solo olvida una pregunta de seguimiento. Sus pérdidas vienen sobre todo de una llamada en la que acorta el recorrido en 10 preguntas.

Estos giros están escritos en el guion: es ahí donde se corrigen. Se reescriben cinco pasajes de estos cuatro tipos, y el resto del prompt no cambia. Cada giro tiene su regla:

Segunda conclusión

De un modelo a otro, el prompt no mejora la fiabilidad de la misma manera. La figura 5.1 lo muestra llamada por llamada: desliza el control del prompt original al prompt ajustado.

En cifras, en las tres medidas:

Modelo por modelo, lo que cambia el ajuste y lo que queda:

• GPT-Live-1 hace repetir significativamente menos: de 2,25 a 1,33 preguntas repetidas por llamada. Sigue haciendo casi todas las preguntas, y sigue haciendo repetir más que Grok Voice 3.0 y Gemini 3.1 Flash Live.
• Grok Voice 3.0 sigue siendo el que menos hace repetir, 0,33 veces por llamada, y solo se salta 4 preguntas en 6 llamadas. Pero termina él mismo una llamada a mitad del guion y deja 8 preguntas sin respuesta: de ahí el 94 % y luego el 90 %.
• Gemini 3.8 Live progresa en los pasajes reescritos, no en el conjunto: 94 % y luego 93 % de preguntas formuladas. Aún se salta la pregunta sobre lo que más pesa al comprador en 3 llamadas de 6, y una vez un bloque entero.
• Gemini 3.1 Flash Live es el que más gana: del 89 % al 96 % de preguntas formuladas, una tendencia con 6 llamadas. Todavía se salta dos veces la pregunta sobre el calendario.

El prompt hace más fiable a un modelo hasta cierto punto: corrige los giros frágiles, no iguala a los modelos.

Método para elegir un modelo

Quédate con el modelo que prefieras en tu propio guion, mídelo en varias llamadas, reescribe los giros frágiles y cambia de modelo solo cuando el prompt ya no baste.

En este guion, si prefieres:

• GPT-Live-1: hace casi todas las preguntas desde el principio; con el ajuste, sobre todo hace repetir menos.
• Grok Voice 3.0: es el que menos hace repetir; vigila los finales de llamada.
• Gemini 3.8 Live: el ajuste lo mueve poco; si te importan las preguntas que se salta, prueba otro modelo.
• Gemini 3.1 Flash Live: es el que más gana con un guion bien escrito; reescribe primero los cuatro giros.

Límites

• Un comprador simulado, un idioma: un único comprador simulado, que también es un modelo, y llamadas solo en francés.
• Pocas llamadas: 8 o 9 por modelo antes del ajuste, 6 después; solo dos diferencias son significativas.
• Solo speech-to-speech: la comparativa enfrenta a cuatro modelos speech-to-speech entre sí; no se midió ningún pipeline.

Los prompts ajustados del benchmark

Cuatro fragmentos para pegar tal cual; sustituye los corchetes por tus preguntas. La skill de CallShift también los incluye.

1. Una frase de transición antes de cada bloque. En las reglas de conducta:

Antes de cada bloque del guion, una frase de transición, sola en su turno: de qué se va a hablar y por qué. Haces la primera pregunta del bloque en el turno siguiente.

En el guion, al principio de cada bloque:

[Nombre del bloque] (primero la frase de transición): "[Paso a ..., porque ...]"

2. Nunca una pregunta aplazada «al turno siguiente». En el guion, en lugar de «luego, en el turno siguiente: …»:

P[n] bis. En su propio turno, justo después de su respuesta a P[n]: "[pregunta]". Es una pregunta en sí misma: no pasas a P[n+1] sin haberla hecho.

3. Tras una contrapregunta, responder y volver a preguntar. En las reglas de conducta:

Si la persona te hace una pregunta, respondes en una frase y vuelves a hacer tu pregunta. Retomar el hilo es volver a hacer la pregunta en curso mientras no tenga respuesta, nunca pasar a la siguiente.

En el guion, en una pregunta de elección:

Si la persona te pide una precisión para elegir, responde en una frase y luego: "Entonces, ¿cuál eliges?" Esperas su elección antes de avanzar.

4. Hacer siempre la pregunta antes de anunciar la tarea. En el guion, en la pregunta seguida de una tarea:

P[n]. "[pregunta]" Hazla siempre, aunque la persona ya la haya mencionado de pasada.
TAREA solo después de su respuesta a P[n], nunca en lugar de P[n]: media frase que nombre lo que te encargas de hacer.