Saltar al contenido
ROXEX Labs
IA & Automatización

Cómo evaluar y operar una app con LLM en producción

Cómo operar una app con LLM en producción: evals con golden set, salidas estructuradas, prompt injection, revisión humana, costes, registros y RGPD/AI Act.

Por Levi Olivare · ROXEX Labs18 min de lectura
llm en producciónevaluar app con llmevals llmgolden set evaluaciónllm como juezsalidas estructuradas llmprompt injectionrevisión humana ia
IA & Automatización

Poner un modelo de lenguaje (LLM) en una demo cuesta una tarde. Mantenerlo en producción, con usuarios reales, documentos de terceros, facturas de API y obligaciones legales, es otro trabajo: el de ingeniería. Esta guía reúne lo que hace falta para evaluar y operar una app con LLM sin sorpresas: conjuntos de evaluación (golden sets) y los límites de usar un LLM como juez, salidas estructuradas, cómo tratar la entrada no confiable, revisión humana antes de escribir datos, presupuestos de coste y latencia, cambio de proveedor, registros y los puntos donde tocan el RGPD y el Reglamento europeo de IA.

Donde podemos, lo ilustramos con código que existe en el repositorio de esta web: un asistente de IA de nuestro panel interno que extrae datos de briefs de campañas pegados desde un email, trata ese texto como no confiable y nunca escribe en la base de datos sin que una persona lo revise. No es un caso de cliente ni tiene cifras de resultados; es código que se puede leer, y por eso sirve de ejemplo. Si todavía estás decidiendo si te conviene la IA, empieza por cómo implementar IA en una empresa; esta guía es para el paso siguiente, cuando ya hay algo que poner delante de usuarios.

Qué cambia cuando una app con LLM pasa a producción

De la demo que funciona al servicio que responde cada día

Una demo con un LLM se juzga con cinco o seis preguntas que su autor ya conoce. En producción llegan entradas que nadie ha visto: textos larguísimos, idiomas mezclados, documentos con instrucciones escondidas, peticiones fuera de alcance y usuarios que prueban los límites a propósito. El modelo, además, no es una función determinista: la misma entrada puede producir salidas distintas, y una actualización del proveedor puede cambiar el comportamiento sin que cambie una línea de tu código.

Por eso operar una app con LLM se parece más a operar un sistema con una dependencia externa poco predecible que a desplegar una pantalla nueva. Las preguntas que importan son de ingeniería: cómo sabes que la versión de hoy no es peor que la de ayer, qué pasa cuando el modelo devuelve algo que no encaja con lo que esperas, quién responde si el texto que procesa intenta darle órdenes, qué acciones puede ejecutar sin que nadie las mire, cuánto puede costar una mala tarde y cuánto tarda en responder, qué dejas registrado para investigar un fallo y qué obligaciones legales aplican a los datos que pasan por el proveedor.

Ninguna de esas preguntas se resuelve eligiendo un modelo más grande. Se resuelven con piezas aburridas y comprobables: un conjunto de evaluación, validación de la salida, separación entre datos e instrucciones, revisión humana en las acciones con consecuencias, límites de tiempo y de gasto, configuración versionada y un registro que permita reconstruir cada llamada. Son las mismas reglas que publicamos en nuestra página de seguridad para las apps con IA y los agentes que construimos, y son las que desarrolla el resto de esta guía. Si tu caso es un asistente conversacional de cara al cliente, la guía de chatbot para empresas cubre la parte de producto y de canales; aquí nos centramos en la operación técnica, que es la misma tenga la app forma de chat, de formulario o de proceso en segundo plano.

Evals: el conjunto de evaluación va antes que el prompt

Cómo montar un golden set que sirva de puerta de despliegue

Un conjunto de evaluación (golden set) es una batería de entradas representativas, cada una con la respuesta esperada o con el criterio que debe cumplir la respuesta. Es la única forma de convertir «parece que va mejor» en un resultado que se puede comparar entre versiones. En las apps con IA que construimos lo definimos así en la página del servicio: una batería de casos reales, anonimizados si hace falta, con la respuesta esperada para cada uno.

La documentación de evaluación de Anthropic resume tres principios que compartimos. Primero, que las pruebas sean específicas de la tarea y reflejen la distribución real de entradas, incluidos los casos límite: entradas irrelevantes, demasiado largas o ambiguas. Segundo, automatizar la corrección siempre que se pueda. Tercero, priorizar volumen: según esa guía, más preguntas con una corrección automática algo menos fina valen más que pocas preguntas corregidas a mano con mucho detalle. Uno de sus ejemplos de evaluación (privacidad) usa 500 consultas simuladas de pacientes.

En la práctica, el golden set sale de tres fuentes: casos reales del proceso que vas a automatizar, casos límite que alguien escribe a propósito y, una vez en producción, los fallos reales que se van detectando. Cada fallo corregido se convierte en un caso nuevo, de modo que no pueda volver sin que la evaluación lo detecte.

Lo que convierte el golden set en una herramienta, y no en un documento olvidado, es usarlo como puerta: cada cambio de prompt, de modelo, de datos o de herramientas se ejecuta contra él, y si el resultado empeora, el cambio no se despliega. Esta web funciona igual con su propio contenido: npm run verify encadena tipos, lint, build y varias auditorías, entre ellas una que busca en el HTML exportado frases típicas de afirmaciones sin respaldo, y nuestra lista de despliegue dice que si falla, no se despliega. Lo contamos en cómo quitamos los datos inventados de nuestra web. Una eval de LLM es esa misma idea aplicada a las respuestas del modelo. Para decidir qué métricas de negocio vigilar después del despliegue, mira cómo medir los resultados de la IA en la empresa.

  • •Casos reales del proceso, anonimizados, con la salida esperada.
  • •Casos límite escritos a propósito: vacío, muy largo, otro idioma, ambiguo.
  • •Casos adversarios: documentos con instrucciones incrustadas o con etiquetas falsas.
  • •Cada fallo de producción, convertido en caso nuevo después de corregirlo.

LLM como juez: útil para escalar, con sesgos medidos

No todo se puede corregir comparando cadenas. Si la tarea es extraer una fecha o clasificar un email, basta con código: comparación exacta, validación de esquema, expresiones regulares. Si la tarea es redactar un resumen o un borrador de respuesta, hace falta juicio, y ahí aparece la tentación de usar otro LLM como corrector, la técnica conocida como LLM-as-a-judge.

Funciona, con límites conocidos. El trabajo de Zheng y coautores (2023) que popularizó la técnica encontró que jueces fuertes como GPT-4 alcanzaban más de un 80 % de acuerdo con las preferencias humanas en sus pruebas, el mismo nivel de acuerdo que hay entre personas. El mismo estudio documenta sesgos concretos: de posición (preferir la respuesta que aparece primero), de verbosidad (preferir la más larga), de autopromoción (favorecer respuestas parecidas a las propias) y una capacidad de razonamiento limitada en preguntas de matemáticas o de lógica.

La guía de evaluación de Anthropic resume los tres métodos de corrección así: la corrección por código es la más rápida y fiable, pero carece de matices; la humana es la más flexible y de mayor calidad, pero lenta y cara; la basada en LLM es rápida y flexible, y hay que comprobar su fiabilidad antes de escalarla. Sus recomendaciones para el juez son rúbricas detalladas y claras, salidas concretas (correcto o incorrecto, o una escala de 1 a 5) en lugar de valoraciones libres, dejar que el juez razone antes de puntuar y, como buena práctica, evaluar con un modelo distinto del que generó la respuesta.

Nuestra regla práctica: el juez LLM se calibra antes de usarse. Se corrige a mano una muestra, se compara con lo que dice el juez y solo cuando coinciden se confía en él para el volumen. Para reducir el sesgo de posición en comparaciones por pares, cada par se evalúa en los dos órdenes. Y lo que se puede comprobar con código, se comprueba con código: un juez LLM no debería decidir si un JSON tiene los campos obligatorios.

Métodos de corrección de una eval y cuándo usar cada uno

MétodoCuándo usarloLímite principal
Código: comparación exacta, esquema, expresiones regularesExtracción, clasificación y formatoNo capta matices de redacción
LLM como juez con rúbricaResúmenes, tono, borradores y volumen altoSesgos de posición, verbosidad y autopromoción; hay que calibrarlo
Revisión humanaCalibrar al juez y revisar casos de alto impactoLenta y cara; no escala
Métricas de negocio en producciónConfirmar que la mejora llega al proceso realLlegan tarde; no sirven como puerta de despliegue

Salidas estructuradas: formato garantizado no es dato correcto

Esquema en la API y validación en tu código

Cuando la salida del modelo alimenta código (un formulario, una base de datos, otra API), el texto libre no sirve. Hay dos niveles de ayuda. El primero es pedir JSON en el prompt y extraerlo de la respuesta: funciona casi siempre, y ese «casi» es el problema. El segundo es usar las salidas estructuradas de la API. La documentación de Claude explica que restringen la respuesta a un esquema JSON mediante decodificación restringida y enumera lo que evitan: JSON mal formado, campos obligatorios ausentes, tipos inconsistentes y reintentos por violar el esquema. La de OpenAI distingue entre el modo JSON, que solo garantiza JSON válido, y Structured Outputs, que además garantiza que se cumple el esquema.

Las dos documentaciones dejan claras las letras pequeñas. OpenAI avisa de que una negativa del modelo puede no seguir el esquema, de que una respuesta cortada por el límite de tokens queda incompleta y de que las reglas de negocio que el esquema no expresa las tienes que validar tú. Claude no admite algunas restricciones de JSON Schema, como mínimos y máximos numéricos o longitudes de cadena. Es decir: el esquema garantiza la forma, no que el contenido sea cierto ni que esté dentro de tus límites.

El asistente de nuestro panel interno ilustra el segundo paso, el que no desaparece nunca. Pide JSON en el prompt y, al recibirlo, se queda solo con las claves de una lista blanca; descarta valores que no son texto o que superan 4.000 caracteres; acepta como mucho 20 entregables; si el tipo de entregable no está en la lista cerrada lo convierte en «otro», si la plataforma no es una de las conocidas la deja vacía, si la cantidad no es un entero entre 1 y 1.000 la pone a 1 y solo acepta fechas ISO válidas. Si el modelo devuelve una negativa o algo que no se puede leer, el endpoint responde con un error genérico, sin datos a medias.

Con salidas estructuradas de la API, el paso de extraer el JSON de la respuesta sobraría. El saneado de valores seguiría haciendo falta, porque un número bien tipado puede ser igualmente absurdo y una fecha con formato correcto puede estar inventada. Por eso, en la evaluación, conviene medir por separado los fallos de formato y los fallos de contenido: se corrigen con herramientas distintas.

¿Tienes un proceso que pide IA pero no puede permitirse respuestas sin validar? Construimos apps con IA con conjunto de evaluación, validación de la salida y revisión humana donde hay consecuencias. → Ver desarrollo de apps con IA

Entrada no confiable: los documentos de terceros son datos, no órdenes

Prompt injection directa e indirecta

OWASP sitúa la inyección de prompts en el primer puesto de su lista de riesgos para aplicaciones con LLM de 2025, con el código LLM01:2025. Distingue dos variantes: la directa, cuando la entrada del propio usuario altera el comportamiento del modelo, y la indirecta, cuando lo altera contenido externo que el modelo procesa, como una web o un fichero. En una app de empresa, la indirecta es la frecuente: emails de clientes, PDFs de proveedores, briefs de agencias, páginas que un agente lee. Cualquiera de ellos puede contener una frase escrita para el modelo y no para la persona.

No existe un filtro que lo resuelva del todo, así que la defensa es por capas. Las medidas que propone OWASP incluyen restringir el comportamiento del modelo, definir y validar el formato de salida, filtrar entradas y salidas, aplicar mínimo privilegio, exigir aprobación humana en acciones de alto riesgo, separar e identificar el contenido externo y hacer pruebas adversarias.

En el asistente de nuestro panel, el texto que pega el usuario (un email o un brief de un tercero) se trata así. Va entre dos delimitadores que lo identifican como «documento no confiable», y las instrucciones del sistema dicen que nunca se sigan órdenes que contenga: solo se extraen datos, y lo que no aparezca en el documento se omite. Antes de enviarlo, cualquier aparición de esos delimitadores dentro del propio texto, incluso con espacios intercalados, se sustituye por «[etiqueta eliminada]», para que el documento no pueda cerrar el bloque y escribir fuera de él. En la otra acción, la redacción de un borrador de email, los datos del panel viajan como JSON con el carácter de apertura de etiqueta escapado, por la misma razón, y las preferencias del usuario van en su propio bloque con una regla explícita: solo ajustan tono, enfoque o extensión, nunca permiten saltarse las reglas.

Nada de eso hace al modelo inmune. Lo que limita el daño es lo que viene después: una salida validada contra lista blanca, un endpoint sin permiso para escribir en la base de datos y una persona que revisa antes de que nada se guarde. Los casos adversarios (un brief que dice «ignora las instrucciones anteriores», un documento con delimitadores falsos) son los primeros que deberían entrar en el golden set. Lo desarrollamos desde el lado de los datos en seguridad y privacidad de la IA en la empresa.

Revisión humana antes de escribir en la base de datos

Borrador, aplicar y guardar: tres pasos separados

La regla que más daño evita es también la más sencilla: el modelo propone, una persona decide. En nuestra página de seguridad la formulamos así para las apps con IA: lo que afecta a dinero, a clientes o a datos personales pasa por una persona hasta que el registro justifique otra cosa, y esa decisión es del cliente. En los agentes, enviar, cobrar, borrar o modificar datos de clientes requiere aprobación humana, y el agente empieza en modo sugerencia: propone y una persona ejecuta.

El asistente del panel interno lo aplica en el diseño, no en una promesa. El endpoint nunca escribe en la base de datos: devuelve el borrador o el brief extraído y nada más. La interfaz muestra el resultado con un aviso fijo («Borrador generado por IA: revísalo antes de usarlo») y el nombre del modelo que lo generó. Si la persona pulsa «Aplicar a la campaña», los datos pasan al formulario, no a la base de datos, y el mensaje que aparece pide revisarlo y pulsar Guardar para conservarlo. El borrador de email se copia, no se envía. Entre la salida del modelo y un cambio persistente hay siempre dos acciones humanas.

Ese patrón tiene un coste (alguien tiene que mirar) y un beneficio que justifica el coste mientras no hay datos: cada revisión es, además, una etiqueta. Si la persona corrige el resultado, ese caso puede ir al golden set; si lo acepta tal cual durante semanas en un tipo de caso concreto, hay datos para discutir si ese tipo puede automatizarse. La decisión de quitar la revisión se toma con el registro delante, no con la intuición.

Hay acciones que no deberían salir del modo sugerencia sin un análisis aparte: las irreversibles, las que mueven dinero y las decisiones sobre personas, que además tocan el RGPD, como veremos más abajo. La diferencia entre un asistente que sugiere y un agente que ejecuta la explicamos en chatbots frente a agentes de IA, y cómo diseñar los permisos de un agente en la guía de agentes de IA para empresas.

¿Quieres un agente que trabaje en tus sistemas sin ejecutar nada irreversible a tus espaldas? Empieza en modo sugerencia, con permisos mínimos y registro de cada ejecución. → Ver agentes de IA

Presupuestos de coste y latencia

Límites que se fijan antes del primer usuario

Un LLM cobra por tokens y tarda en función de cuántos procesa y genera. Sin límites, una entrada enorme, un bucle de reintentos o un usuario insistente se convierten en factura y en esperas. Los presupuestos se fijan en el código antes de abrir la app, no cuando llega la primera factura.

Las palancas son pocas y conocidas. Límite de tamaño de entrada, para que nadie envíe un libro entero. Límite de tokens de salida, para acotar el coste y el tiempo de cada respuesta. Timeout de la llamada, para que un proveedor lento no deje la petición colgada. Límite de peticiones por usuario y ventana de tiempo. Topes de gasto y, en los agentes, de número de pasos por ejecución, para que un bucle no consuma presupuesto, como recoge nuestra página de seguridad. Y una respuesta de degradación: qué ve el usuario cuando la IA no está disponible.

El asistente del panel interno fija esos límites en pocas líneas; los recogemos en la tabla de abajo tal como están en el código. Sin clave de API configurada, el endpoint responde con un error 503 y la interfaz ofrece copiar el prompt con los mismos datos para usarlo a mano, con los emails eliminados del texto. Cuando el proveedor falla, devuelve un error genérico sin propagar detalles internos.

Para el coste por llamada, la palanca más rentable cuando una parte del prompt se repite (instrucciones largas, un documento de referencia) es la caché de prompts. Según la documentación de Anthropic, la caché dura 5 minutos por defecto y se renueva con cada uso; escribir en ella cuesta 1,25 veces el precio base de entrada y leer de ella 0,1 veces en la tabla general, con excepciones por modelo. El resto del ahorro sale de no usar el modelo más grande para tareas que uno pequeño resuelve igual, y eso solo se sabe ejecutando el golden set con los dos. Si quieres poner el coste del modelo en el contexto del proyecto entero, mira cuánto cuesta desarrollar software a medida.

Límites que fija el asistente de IA de nuestro panel interno (valores tal como están en el código)

PalancaValor en el códigoQué evita
Tamaño de entrada12.000 caracteres para el brief pegado; 1.000 para las preferenciasPrompts enormes y caros
Tokens de salidaMáximo 8.000 por respuestaRespuestas desbocadas
Timeout45 segundos por llamadaPeticiones colgadas si el proveedor tarda
Peticiones por usuario10 por minutoAbuso o bucles desde la interfaz
Esfuerzo del modeloBajo, porque son tareas cortasLatencia innecesaria
Sin clave de APIError 503 y opción de copiar el promptUna pantalla que falla sin alternativa

Cambiar de proveedor sin reescribir la app

Precios, condiciones de uso, regiones de proceso y calidad de los modelos no dependen de ti, y pueden cambiar durante la vida de tu app. Diseñar para poder cambiar de proveedor no significa esconderlo todo detrás de una capa genérica que nadie entiende; significa tres cosas concretas.

La primera, que el modelo, la versión de la API y los prompts sean configuración versionada en el repositorio, junto al código, y no texto pegado en el panel web de un proveedor. En el asistente del panel interno, el modelo y la versión de la API son dos constantes al principio del fichero, y la llamada se hace con una petición HTTP directa a la API, sin SDK. Cambiarlas es cambiar dos líneas, y el historial del repositorio dice cuándo y por qué se cambiaron.

La segunda, que el resto del código no dependa de rarezas de un proveedor: la salida se valida con tu propio código (lista blanca, tipos, rangos) y no con lo que el proveedor promete, de modo que si el modelo nuevo devuelve algo distinto, lo detecta la validación y no el usuario.

La tercera, y la decisiva, es el golden set. Cambiar de modelo es trivial de programar y arriesgado de desplegar; lo que convierte el cambio en una decisión informada es ejecutar la misma evaluación con el modelo nuevo y comparar resultados, coste y latencia. Es lo que comprometemos en la página de desarrollo de apps con IA: si un proveedor cambia precios, condiciones o calidad, se puede pasar a otro y comprobar con la misma evaluación si el resultado se mantiene.

El cambio no siempre es entre dos APIs comerciales. A veces los datos no pueden salir de tu infraestructura, o el volumen hace que compense un modelo abierto autoalojado. Comparamos esas opciones en API comercial frente a modelo abierto. Si la pregunta es cómo dar al modelo el conocimiento de tu empresa, la tabla de RAG, fine-tuning o prompting y la guía sobre cómo entrenar una IA con los datos de tu empresa cubren esa decisión. Y como toda integración limpia empieza por un contrato claro entre sistemas, lo explicamos en qué es una API REST y por qué importa.

Registro y observabilidad: qué guardar y qué no

Reconstruir una llamada sin acumular datos personales

Cuando un usuario dice que la IA le ha respondido algo raro, necesitas poder reconstruir la llamada: qué entrada recibió, con qué prompt y qué versión del modelo, qué devolvió, cuánto tardó, cuántos tokens consumió y si la validación aceptó o rechazó la salida. Sin eso, el diagnóstico es una conjetura. Para las apps con IA que construimos, la página de servicio compromete registrar la entrada, la salida, el coste y el tiempo de respuesta de cada llamada al modelo, y en los agentes, cada ejecución con sus pasos.

Hay un estándar en marcha para no inventarse el formato: las convenciones semánticas de OpenTelemetry para IA generativa, que definen trazas, métricas y eventos para clientes de modelos generativos y se mantienen ahora en su propio repositorio. Usarlas permite enviar esas trazas a la herramienta de observabilidad que ya tengas, en lugar de depender de un panel propietario del proveedor del modelo.

El registro tiene una tensión con la privacidad: las entradas de un LLM suelen contener justo los datos personales que el RGPD pide minimizar. Lo razonable es registrar siempre los metadatos (modelo, versión del prompt, tokens, tiempo, resultado de la validación) y decidir caso por caso si se guarda el texto completo, durante cuánto tiempo y quién puede verlo. El asistente de nuestro panel está en el extremo prudente: no guarda en la base de datos el contenido de las llamadas, y cuando ofrece copiar el prompt porque no hay clave de API, elimina antes los emails de cualquier texto libre. Para una herramienta interna de poco uso basta; para una app de cliente, no, porque sin registro no hay fallos reales con los que alimentar el golden set ni datos para justificar que se retira una revisión humana.

Lo mínimo que conviene mirar cada semana: la tasa de salidas rechazadas por la validación, la tasa de correcciones humanas, el coste por tarea completada y los percentiles de latencia. Si alguno se mueve sin que hayas cambiado nada, puede que lo haya cambiado el proveedor, y el golden set te dirá si el cambio te afecta.

RGPD y Reglamento europeo de IA: los puntos de contacto

Lo que conviene revisar desde el diseño

Una app con LLM procesa datos, así que el RGPD aplica desde el primer prompt que contenga datos personales. Hay cuatro puntos que aparecen en casi todos los proyectos. El proveedor del modelo suele actuar como encargado del tratamiento, y el artículo 28 exige elegir uno que ofrezca garantías suficientes, con el contrato correspondiente. Hay que saber qué datos se envían, a qué proveedor, en qué región y con qué condiciones de uso; en las apps con IA que construimos lo dejamos por escrito. Si el tratamiento entraña un alto riesgo para los derechos y libertades de las personas, el artículo 35 pide una evaluación de impacto previa. Y el artículo 22 reconoce el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado que produzca efectos jurídicos o afecte de modo similar: otra razón para la revisión humana en las decisiones sobre personas.

El Reglamento europeo de IA, el Reglamento (UE) 2024/1689, añade obligaciones según el tipo de sistema. El artículo 50 pide que las personas sepan que interactúan con un sistema de IA, salvo que resulte evidente, y que el contenido sintético generado se marque en un formato legible por máquina; la información debe darse de forma clara a más tardar en la primera interacción. El artículo 4 trata la alfabetización en IA del personal que usa estos sistemas. Los sistemas de alto riesgo, como los del anexo III, tienen además requisitos de supervisión humana (artículo 14), registros y documentación.

Las fechas se han movido. El texto de 2024 fijaba la aplicación general el 2 de agosto de 2026. Según el resumen del despacho Lewis Silkin que citamos en las fuentes, la modificación conocida como Digital Omnibus sobre IA, publicada en el Diario Oficial el 24 de julio de 2026, retrasó las obligaciones de alto riesgo del anexo III al 2 de diciembre de 2027 y las del anexo I al 2 de agosto de 2028, dio hasta el 2 de diciembre de 2026 para el marcado de contenido sintético a los sistemas comercializados antes del 2 de agosto de 2026 y suavizó la redacción del artículo 4. Comprueba el texto consolidado antes de tomar decisiones.

Nosotros señalamos estos puntos en el diseño; no sustituimos el asesoramiento jurídico. Lo que aporta una buena arquitectura es que cumplir sea posible: registro, revisión humana, minimización y proveedores documentados ya están en las secciones anteriores.

¿Tienes una app con IA en marcha, o a punto de estarlo, y te preocupa dónde puede fallar? Cuéntanos qué hace y lo revisamos contigo en una primera llamada. → Hablemos de tu proyecto

Cómo hacerlo, paso a paso

Paso 1: Escribe el golden set antes de tocar el prompt

Reúne casos reales anonimizados con su salida esperada, añade casos límite y casos adversarios, y decide cómo se corrige cada tipo: por código, con un juez LLM calibrado o a mano.

Paso 2: Define el contrato de salida

Escribe el esquema de la respuesta, actívalo en la API si el proveedor lo ofrece y valida igualmente en tu código las claves, los tipos, los rangos y las listas cerradas.

Paso 3: Separa datos de instrucciones

Pon todo contenido de terceros entre delimitadores, neutraliza esos delimitadores dentro del propio texto y di al modelo que de ahí solo extraiga datos, sin seguir órdenes.

Paso 4: Pon a una persona entre la IA y la base de datos

El modelo devuelve un borrador; una persona lo revisa y lo guarda. Cada corrección que haga es un caso candidato para el golden set.

Paso 5: Fija límites de coste y latencia

Tamaño de entrada, tokens de salida, timeout, peticiones por usuario, topes de gasto y una respuesta de degradación para cuando el proveedor falle.

Paso 6: Versiona la configuración y registra cada llamada

Modelo, versión de la API y prompts en el repositorio; en el registro, metadatos siempre y texto completo solo cuando esté justificado, con plazo de borrado.

Paso 7: Revisa RGPD y Reglamento de IA antes de abrir

Contrato con el proveedor como encargado, evaluación de impacto si hay alto riesgo, aviso de que se interactúa con una IA y revisión humana en decisiones sobre personas.

Preguntas frecuentes

¿Cuántos casos necesita un conjunto de evaluación?

No hay una cifra universal. La guía de evaluación de Anthropic recomienda priorizar el volumen con corrección automática frente a pocos casos corregidos a mano, y uno de sus ejemplos (privacidad) usa 500 consultas simuladas de pacientes. Lo práctico es empezar con los casos reales que ya tengas, añadir casos límite y adversarios escritos a propósito, y sumar cada fallo de producción después de corregirlo.

¿Puedo fiarme de un LLM como juez?

Para volumen, sí, después de calibrarlo. El estudio de Zheng y coautores (2023) midió más de un 80 % de acuerdo con preferencias humanas en jueces fuertes, pero también sesgos de posición, verbosidad y autopromoción. Corrige a mano una muestra, compara, usa rúbricas concretas y un modelo distinto del evaluado, y deja al código lo que el código puede comprobar.

¿Las salidas estructuradas eliminan la validación?

No. Garantizan que la respuesta cumple el esquema JSON, no que los valores sean ciertos ni que estén dentro de tus límites. La documentación de OpenAI avisa además de que una negativa puede no seguir el esquema y de que una respuesta cortada por el límite de tokens queda incompleta. Las reglas de negocio se validan en tu código, siempre.

¿Cómo evito la inyección de prompts?

No hay una medida que la elimine; se reduce por capas. Separa el contenido de terceros entre delimitadores y neutraliza esos delimitadores dentro del texto, instruye al modelo para que solo extraiga datos, valida la salida contra una lista blanca, da al sistema el mínimo privilegio y exige aprobación humana en las acciones con consecuencias. Y prueba con casos adversarios en el golden set.

¿Cuándo puedo quitar la revisión humana?

Cuando el registro lo justifique para un tipo de caso concreto, no antes: si durante un periodo largo las personas aceptan sin cambios la salida de ese tipo y la evaluación lo confirma, hay base para automatizarlo. Las acciones irreversibles, las que mueven dinero y las decisiones sobre personas merecen un análisis aparte, también por el artículo 22 del RGPD.

¿Me afecta el Reglamento europeo de IA si solo uso la API de un proveedor?

Probablemente sí en algo, aunque el modelo sea de otro. Según cómo integres el modelo y para qué lo uses, el Reglamento puede tratarte como proveedor o como responsable del despliegue del sistema, con obligaciones distintas; las de transparencia del artículo 50 son las que aparecen con más frecuencia. Las fechas cambiaron en 2026 con el Digital Omnibus, así que revisa el texto consolidado con tu asesor.

¿Qué debo registrar de cada llamada al modelo?

Como mínimo, los metadatos: modelo y versión de la API, versión del prompt, tokens de entrada y salida, tiempo de respuesta, coste y si la validación aceptó la salida. El texto completo de la entrada y la salida es útil para depurar, pero suele contener datos personales: guárdalo solo si está justificado, con acceso restringido y plazo de borrado.

Conclusión

Operar una app con LLM en producción es ingeniería de sistemas con una dependencia poco predecible en el centro. Lo esencial:

  • •El conjunto de evaluación va primero y funciona como puerta: si un cambio de prompt, modelo o datos lo empeora, no se despliega.
  • •Un LLM como juez sirve para escalar la corrección, después de calibrarlo contra personas y sabiendo que tiene sesgos de posición, verbosidad y autopromoción.
  • •Las salidas estructuradas garantizan la forma; la validación de valores en tu código sigue siendo obligatoria.
  • •Los documentos de terceros son datos: delimitadores, neutralización, lista blanca y mínimo privilegio.
  • •Entre la IA y la base de datos, una persona, hasta que el registro justifique otra cosa.
  • •Límites de entrada, tokens, tiempo, peticiones y gasto desde el primer día; configuración versionada para poder cambiar de proveedor y comprobarlo con la misma evaluación.
  • •RGPD y Reglamento europeo de IA se revisan en el diseño, con las fechas actualizadas en 2026.

Si estás en el paso anterior, empieza por la guía para implementar IA en tu empresa; si ya tienes una app y quieres ver estas piezas en tu caso, mira nuestro servicio de desarrollo de apps con IA o lo que publicamos en seguridad.

Fuentes

  • •OWASP Gen AI Security Project: LLM01:2025 Prompt Injection. https://genai.owasp.org/llmrisk/llm01-prompt-injection/
  • •Zheng et al. (2023): Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv:2306.05685). https://arxiv.org/abs/2306.05685
  • •Anthropic: Define success criteria and build evaluations (documentación de Claude). https://platform.claude.com/docs/en/test-and-evaluate/develop-tests
  • •Anthropic: Structured outputs (documentación de Claude). https://platform.claude.com/docs/en/build-with-claude/structured-outputs
  • •OpenAI: Structured Outputs (documentación de la API). https://developers.openai.com/api/docs/guides/structured-outputs
  • •Anthropic: Prompt caching (documentación de Claude). https://platform.claude.com/docs/en/build-with-claude/prompt-caching
  • •OpenTelemetry: Semantic Conventions for Generative AI (repositorio). https://github.com/open-telemetry/semantic-conventions-genai
  • •Reglamento (UE) 2024/1689 de Inteligencia Artificial, artículos 4, 14, 50 y 113 (texto en el BOE). https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
  • •Lewis Silkin (27-07-2026): The Digital Omnibus on AI enters into force today. https://www.lewissilkin.com/insights/2026/07/27/the-digital-omnibus-on-ai-enters-into-force-today-102nedo
  • •Reglamento (UE) 2016/679 (RGPD), artículos 22, 28 y 35 (texto en el BOE). https://www.boe.es/buscar/doc.php?id=DOUE-L-2016-80807

¿Hablamos de tu proyecto?

Una llamada de 30 minutos, gratis y sin compromiso, con quien escribiría el código.