Inicio / Puesto #3

Enrutamiento de modelos y cascadas

La mayoría de las solicitudes no necesitan tu modelo más caro. El enrutamiento envía las consultas simples a modelos baratos (Haiku, clase GPT-mini, Nova) y reserva los modelos frontera para las solicitudes que de verdad los necesitan; los diseños en cascada prueban primero el modelo barato y escalan solo si falla.

La investigación de cascadas tipo FrugalGPT de Stanford demostró hasta 98% de reducción de costos con calidad equivalente, y los equipos en producción reportan rutinariamente 40–70% al clasificar la complejidad de la solicitud por adelantado. El detalle: necesitas una forma de decidir (un clasificador, heurísticas o verificaciones de confianza) y evaluaciones que demuestren que la calidad se mantuvo.

Cómo hacerlo

1. Segmenta el tráfico por tipo de tarea; identifica qué segmentos ya maneja bien un modelo pequeño.
2. Añade un enrutador: reglas heurísticas, un modelo clasificador pequeño, o un gateway LLM con enrutamiento incorporado.
3. Para cascadas, define una verificación de aceptación (validez de esquema, confianza, modelo juez) que dispare la escalada.
4. Ejecuta evaluaciones A/B por segmento antes y después; vigila las regresiones silenciosas de calidad.

Preguntas frecuentes

Herramientas para este método

Siguiente método: #4 Caché semántico