Banco de pruebas
agente soporte · RAG + tools
Avanzado · 50 h · 42 lecciones · abierto
Evals & Observabilidad de sistemas LLM
Banco de pruebas: un agente de soporte real (RAG + tool-calling) instrumentado, medido y gobernado por evals. De las vibes a un flywheel de datos.
flywheel.loop3 fases
Analizartrazas
Medirjuez
Mejorardeploy
Filosofía
Si no lo mides, son vibes. El dato gobierna el deploy — error analysis sobre trazas reales de producción.
Stack
Langfuse · Ragas/DeepEval · promptfoo
Horas
50h
Nivel
Avanzado
Temario · ruta de maestría
Los 6 niveles
N0
en cursoObservabilidad
Hacer visible el sistema: tracing estructurado de un agente RAG+tools y un dataset de trazas explotable.
CK · C0abrir →
N1
pendienteError analysisnúcleo
El corazón del flywheel: open/axial coding sobre datos reales, taxonomía de fallos y dataset etiquetado.
CK · C1abrir →
N2
pendienteLLM-as-judge calibradonúcleo
Medir lo subjetivo con un juez validado contra humanos (TPR/TNR, κ) y con sus sesgos bajo control.
CK · C2abrir →
N3
pendienteEvals por arquitectura
RAG triad, métricas de retrieval y evaluación de trayectoria de agentes para localizar el fallo.
CK · C3abrir →
N4
pendienteEl gate del deploy
Evals offline como puerta de CI: un harness que falla el build ante regresión.
CK · C4abrir →
N5
pendienteProducción y experimentación
Cerrar el flywheel online: evals en producción, A/B testing, feedback de usuarios y detección de drift.
CK · C5abrir →
Sistema de progreso · tabla maestra
6 checkpoints
| ID | Checkpoint | Estado |
|---|---|---|
| C0 | Sistema instrumentado | Entrar para validar |
| C1 | Error analysis + datasetnúcleo | Entrar para validar |
| C2 | Juez calibradonúcleo | Entrar para validar |
| C3 | Suite por arquitectura | Entrar para validar |
| C4 | Gate de CI | Entrar para validar |
| C5 | Flywheel en producción | Entrar para validar |