CallShift opera agentes telefónicos con IA sobre modelos speech-to-speech nativos (Gemini Live, GPT-Live y Realtime de OpenAI, Grok Voice) y sobre pipelines STT → LLM → TTS, y elige la arquitectura caso de uso por caso de uso. Ambas arquitecturas están en producción desde 2024 y se han comparado en una prueba A/B sobre una campaña real.
Un agente de voz speech-to-speech es un agente telefónico con IA construido sobre un único modelo que oye el audio y responde en audio, sin transcripción ni voz separada de por medio. Un agente de voz en pipeline, en cambio, encadena tres modelos: speech-to-text (STT), un gran modelo de lenguaje (LLM) y text-to-speech (TTS).
La diferencia está en lo que oye la persona que llama y en lo que tú controlas. El speech-to-speech conserva el tono, las vacilaciones y las interrupciones, y responde en un solo salto. Un pipeline convierte cada turno en texto que se puede inspeccionar, restringir y reproducir, a costa de más saltos y de una conversación que avanza por turnos.
Actualizado el 29 de septiembre de 2026
Dos arquitecturas de voice AI, dos promesas opuestas. La orquestación de pipeline (STT → LLM → TTS) convierte cada turno de palabra en texto: eso es determinismo. El speech-to-speech nativo mantiene el audio de extremo a extremo: eso es look & feel. Ninguna gana en todo, y acertar en ese arbitraje, mucho más que el modelo, es lo que decide un despliegue.
Una de nuestras especialidades
VAD 400 ms · STT 250 ms · LLM 350 ms · TTS 200 ms · saltos 200 ms
fin del habla 250 ms · primer audio 500 ms
Cifras típicas de benchmarks públicos y mediciones de campo, con el percentil 95 señalado; cada salto añade su propia cola.
En una prueba A/B cara a cara en producción real, los agentes speech-to-speech en español de uMinds quedaron alrededor de un 20 % por delante del pipeline Cartesia + GPT-4.1 mini + Deepgram que operaban antes. Ver el caso de uMinds
“Con apuestas sólidas por modelos como Gemini, han logrado la calidad y los precios que nos hicieron dejar a otros proveedores.”
Francesco Haces MunozCofundador, uMindsLa decisión se toma flujo por flujo, no una vez por empresa. Lo que elegimos y por qué.
| Flujo de llamadas | Arquitectura | Por qué |
|---|---|---|
| Recepción, centralita, línea fuera de horario | Speech-to-speech | Respuestas rápidas, interrupciones limpias y naturalidad: las personas que llaman no cuelgan. |
| Cualificación de leads, seguimientos, campañas salientes | Speech-to-speech | Allí donde la naturalidad convierte: alrededor de un 20 % por delante del pipeline en la prueba A/B de uMinds. |
| Captura de emails, números de teléfono y códigos | Speech-to-speech | Sin transcriptor de por medio que los estropee. |
| Formularios largos, ramificaciones condicionales, muchas herramientas | Pipeline | Uso determinista de herramientas y salidas estructuradas, con cualquier LLM. |
| Guiones regulados que deben decirse tal cual | Pipeline | El texto intermedio es un punto de control: cada mención se comprueba antes de decirse. |
| Razonamiento complejo con una voz natural | Speech-to-speech + LLM | Una capa de voz full-duplex mantiene la conversación mientras un modelo de texto razona y llama a las herramientas. |
| Llamadas largas, prompts pesados, factura previsible | Pipeline o speech-to-speech con tarifa fija | Los modelos de audio nativos que vuelven a facturar todo el contexto en cada turno cuestan más a medida que la llamada se alarga. |
| Datos conservados en la UE | Pipeline, o Gemini Live y OpenAI en endpoints de la UE | Residencia de datos componente por componente; Grok Voice aún no ha publicado una opción en la UE. |
Todos los modelos de nuestro simulador de arquitectura funcionan en producción en CallShift. Puntuaciones a 15 de septiembre de 2026.
| Modelo | Tipo | Speech to Speech Index | Respuesta típica | Ideal para |
|---|---|---|---|---|
| Gemini 3.1 Flash Live | Speech-to-speech | 71.5 | ~0,8 s | Llamadas cortas con un prompt compacto, donde la naturalidad es lo que más cuenta |
| Gemini 3.8 Live | Speech-to-speech | 76.0 | ~0,8 s | Llamadas cortas con un prompt compacto: el audio nativo más barato |
| GPT-Realtime-2.1-mini | Speech-to-speech | sin puntuación | ~0,9 s | Flujos simples donde un único proveedor y el audio nativo pesan más que el control fino |
| Grok Voice 2.0 | Speech-to-speech | 82.9 | ~0,7 s | Llamadas largas o prompts pesados a un precio fijo y previsible; la respuesta más rápida del mercado |
| GPT-Live-1 + backend | Speech-to-speech + LLM | 81.5 | ~0,9 s | Tareas complejas que requieren razonamiento, con una factura previsible |
Speech to Speech Index de Artificial Analysis. Tiempo de respuesta típico desde la última palabra de la persona que llama hasta el primer audio del agente, según benchmarks públicos y mediciones de campo.
Prueba tu promptSí. uMinds hace llamadas de venta en español con Gemini 3.1 Flash Live a través de CallShift: 50.000 llamadas completadas en menos de 3 horas en su propio SIP, tras una prueba A/B en producción que situó el speech-to-speech alrededor de un 20 % por delante de su pipeline Deepgram + GPT-4.1 mini + Cartesia. Leer el caso de uMinds.
Normalmente en unos 0,8 s desde la última palabra de la persona que llama, 1,4 s en el percentil 95, frente a unos 1,4 s y 2,6 s en un pipeline. Un solo modelo significa un solo salto de red; un pipeline encadena detección de actividad de voz, STT, LLM y TTS, y cada salto añade su propia cola.
Llama a herramientas (tu CRM, tu calendario, tus API) en plena llamada. Pero no es determinista: se comporta como con una temperatura fija de 1 y su salida estructurada es limitada. Para guiones que deben decirse tal cual o formularios largos usamos un pipeline, o una capa de voz speech-to-speech que delega el razonamiento y las herramientas en un modelo de texto.
Cada llamada se graba, se transcribe y se resume a posteriori, y cada llamada se marca y se evalúa según los criterios de éxito que definas, con una alerta tras cada llamada. La revisión es la misma sea cual sea la arquitectura.
Gemini 3.1 Flash Live tiene la mejor voz y la conversación más natural del mercado en todos los idiomas que usamos, francés, español y neerlandés incluidos. En español, Gemini 3.8 Live le sigue de cerca; en francés y neerlandés, las voces de OpenAI y xAI se quedan atrás.
Depende de la llamada. Gemini Live vuelve a facturar el prompt, las herramientas y todo el audio acumulado en cada turno, así que encaja con llamadas cortas con un prompt compacto; Grok Voice factura una tarifa fija de 0,08 $ por minuto; en llamadas largas con prompts pesados, un pipeline suele salir más barato. Compara los tres con tu propio prompt en el simulador de arquitectura.
Contáctanos
Agentes de IA en inglés, francés, neerlandés, español y portugués, con voces, mensajes y fechas habladas localizados, y el francés afinado más a fondo.
Cada llamada grabada, transcrita, resumida y evaluada según tus criterios, con una alerta en cuanto termina y un panel para revisarlas.
Dibuja el flujo de llamada de tu agente en el Call Builder no-code y luego maneja CallShift desde tu stack o desde Claude: una API REST, herramientas que tus agentes llaman durante la llamada, un webhook de fin de llamada y un skill de Claude.
Reserva una llamada con un ingeniero de voice AI: partimos de tus flujos de llamadas reales y te enseñamos el agente, la arquitectura y las cifras que encajan con ellos.
~0 % de llamadas perdidas en Bonnie&Car, frente al 55 % anterior. Leer el caso de éxito
