Cuando Claude cambió, todo cambió: Gestionar el radio de explosión de la IA en producción

Un sistema de informes de lenguaje natural a API se rompió tras actualizar a un LLM más reciente que a veces movía parámetros de solicitud al campo de descripción o hacía preguntas aclaratorias, causando filtros ausentes y fallos posteriores. El artículo defiende un enfoque basado en las evaluaciones primero, donde los conjuntos de evaluación definen el comportamiento del sistema y los cambios en el modelo de compuertas o los prompts.