Tu funcionalidad de LLM salió a producción a las 2 de la madrugada del jueves pasado. La latencia está bien. La tasa de errores es cero. Y en algún lugar, en silencio, le está mintiendo a un cliente.
La observabilidad tradicional no puede ver esto. Las gráficas de CPU, los códigos de estado HTTP y los dashboards de p99 se construyeron para sistemas que funcionan o se caen. Los LLM no hacen ninguna de las dos cosas. Devuelven una frase segura, el span se cierra en verde y la falla vive en el contenido.
Si llevas funcionalidades de LLM a producción - como backend engineer, platform engineer o un SRE que heredó el prompt de otra persona - este libro es el manual operativo que te faltaba. No es un libro teórico sobre transformers. No es un recorrido de prompt engineering. Es el stack que realmente necesitas el lunes por la mañana para saber que tu IA funciona.
Lo que obtienes: los tres nuevos pilares (traces, evals, y métricas de costo y drift), construidos primero sobre las convenciones semánticas de OpenTelemetry GenAI, neutrales respecto al proveedor, y luego combinados con las herramientas que importan en 2026 - Langfuse, LangSmith, Arize Phoenix, Braintrust, DeepEval, Helicone y un stack propio de OTel Collector + ClickHouse + Grafana para equipos que quieren tenerlo todo en casa. Cada herramienta recibe un veredicto honesto: en qué es mejor, en qué es mala, cuándo elegirla y cuánto cuesta.
Aprenderás a capturar el camino completo de decisión de un LLM como un trace, a ejecutar evals de forma continua en CI y en producción, a medir el costo en tokens por usuario y por funcionalidad, a detectar drift antes que tus usuarios y a escribir runbooks de respuesta a incidentes para un modo de falla que tu pager nunca ha visto. Código real en Python, Go y TypeScript. Dashboards reales. Traces reales.
Complementario a Evals for AI Engineers de Hamel Husain (O'Reilly, 2026): donde ese libro profundiza en la metodología de evals para ML engineers, este cubre el stack operativo más amplio - tracing, herramientas, costo, drift y guardias de on-call - para el lector platform engineer.
Al terminar, tendrás una checklist de production-readiness que podrás correr contra tu propio sistema y decirle a tu jefe, con total convicción, que la respuesta es sí. El primer capítulo empieza con un incidente real. El lunes por la mañana, tendrás algo que hacer.
Libro 1 de The AI Engineer's Library.
algo que hacer.
Libro 1 de The AI Engineer's Library.
