Enrutado de modelos para agentes: la Decisions API

Una API que no genera texto, solo decide

El enrutado de modelos para agentes acaba de recibir una herramienta hecha a propósito. Google presentó el 11 de noviembre la Gemini Decisions API, un endpoint nuevo con su propio modelo, Gemini Decision 1 (gemini-decision-1), disponible en la Gemini API desde Google AI Studio.

Lo interesante es lo que no hace: no escribe respuestas. Le pasas una entrada (texto, imágenes, audio, vídeo o PDF, hasta 256K tokens) y hasta 1.000 preguntas cerradas e independientes, y para cada una te devuelve probabilidades y una confianza de 0 a 1. Según Google, en vez de generar texto token a token, el modelo puntúa las opciones candidatas en una sola pasada.

Admite tres tipos de pregunta, que se pueden mezclar en la misma petición:

• Sí o no: la probabilidad de que se cumpla una condición.
• Elección múltiple: entre 2 y 255 opciones, con la ganadora y la probabilidad de cada una.
• Rúbrica ordenada: una puntuación continua sobre niveles que tú defines, con la probabilidad de cada nivel.

Las cifras, con sus condiciones

Todas estas cifras son de Google y de sus propias pruebas:

• Latencia: entre 150 y 250 ms de extremo a extremo, con una mediana de 50 a 100 ms de cómputo del modelo. Ojo con las condiciones: Google da esa latencia para contextos de hasta 16K tokens, y dice que se mantiene casi plana de 1 a 100 preguntas por petición. Para 1.000 preguntas o contextos de 256K no da cifra.
• Precio: 0,10 $ por millón de tokens de entrada y nada por la salida. La entrada compartida se cobra una vez por petición, y cada pregunta solo suma los tokens de sus instrucciones y criterios. Hay además un nivel sin coste para prototipar en AI Studio.
• Comparación: según Google, en su batería de benchmarks sale casi 5 veces más barata que Gemini 3.5 Flash-Lite con la Interactions API, y es el modelo con menor error de calibración de los que compara.

Que esté bien calibrado es lo que más me importa, si se confirma fuera de sus benchmarks. Una confianza que no significa nada no sirve para tomar decisiones automáticas.

Para qué la usaría dentro de un harness

Google la presenta para elección de herramientas, comprobación de políticas, enrutado de modelos y evaluación de contexto. Y eso encaja con algo que repito mucho: el trabajo de verdad está en el harness de agentes IA, en todo lo que rodea al modelo. Hay muchas decisiones pequeñas que hoy resolvemos con una llamada completa a un LLM generativo, con su latencia y su coste, o con un clasificador que alguien tuvo que entrenar.

Tres usos que me parecen claros:

1. Enrutar cada petición al modelo adecuado. Es el caso que cuenta Google con Gemini Notebook: lo usan como router en tiempo real para mandar cada consulta al nivel de modelo y de razonamiento que necesita, y dicen que así atienden las consultas del día a día con hasta un 40 % menos de latencia, reservando los modelos de razonamiento profundo para lo complejo.
2. Comprobar la política antes de que el agente actúe. Antes de ejecutar una acción, unas cuantas preguntas de sí o no sobre la entrada: ¿toca datos sensibles?, ¿está dentro de lo permitido? Es la misma idea que contaba en guardrails para agentes de código, pero con una capa muy rápida delante. Google cuenta que Search la usa para detectar comportamiento adversarial en sus herramientas MCP.
3. Pasar a una persona los casos dudosos. Como cada respuesta trae una confianza, tu código puede decidir: por encima de un umbral sigue el agente, por debajo entra una persona. Es exactamente lo que defendía en el post de human-in-the-loop en agentes: que la persona no apruebe cada paso, sino que entre cuando hace falta.

Lo que no le pediría

Es una capa de control, no un sustituto de los permisos de verdad. Una política crítica no puede depender solo de una probabilidad. El acceso a secretos, a producción o a los datos de clientes se sigue cerrando con permisos y sandbox, como contaba en agentes en producción: permisos, sandboxes y secretos. La Decisions API sirve para decidir rápido y barato lo que se puede equivocar sin romper nada, y para avisar cuando no lo tiene claro.

Tampoco daría por buenos los umbrales de confianza sin medirlos con mis propios casos. Lo primero que haría es pasarle un lote de decisiones reales ya etiquetadas y ver si el 0,9 es de verdad un 0,9.

Mi lectura

Me gusta la dirección. Durante mucho tiempo hemos usado modelos generativos para todo, incluso para responder “sí” o “no”. Separar las decisiones cerradas en una pieza rápida, barata y con confianza explícita hace el harness más fácil de razonar y de vigilar.

Si estás montando agentes y quieres decidir bien qué se enruta, qué se comprueba y cuándo entra una persona, en onext es justo lo que hacemos.