Juicio Artificial: cuando una predicción se convierte en una decisión
En el artículo anterior partimos de una idea sencilla: La IA no piensa. Optimiza.
Una red neuronal ajusta parámetros, reduce errores y encuentra patrones útiles. Puede reconocer una imagen, predecir una señal, aproximar un sistema físico o estimar la probabilidad de que algo ocurra.
Pero ahora aparece una pregunta mucho más incómoda:
¿Qué sucede cuando ya no le pedimos a una IA que prediga, sino que decida?
Imaginemos un sistema que monitorea un servidor y genera el siguiente resultado: Probabilidad de falla durante las próximas 24 horas: 82 %.
La predicción parece clara. Pero todavía no existe una decisión.
¿Apagamos el servidor?, ¿Migramos inmediatamente las cargas de trabajo, ¿Esperamos otra medición?, ¿Aceptamos el riesgo?, ¿Qué ocurre si migrar el servicio cuesta más que una posible falla?, ¿Y si ese servidor controla una aplicación crítica? La inteligencia artificial produjo información. Alguien todavía tiene que juzgar qué hacer con ella.
Predecir no es juzgar
Esta diferencia lleva años apareciendo en la discusión económica sobre inteligencia artificial. Ajay Agrawal, Joshua Gans y Avi Goldfarb han planteado que buena parte del avance reciente de la IA puede entenderse como una reducción drástica del costo de la predicción. Pero tomar una decisión requiere algo adicional: asignar valor a las posibles consecuencias de una acción. A ese componente lo denominan judgment.
La distinción es poderosa porque separa dos preguntas que normalmente mezclamos. Predicción: ¿Qué probablemente va a ocurrir? y Juicio: Dado lo que puede ocurrir, ¿qué deberíamos hacer?
Y yo agregaría una tercera: ¿Qué consecuencias estamos dispuestos a aceptar si nos equivocamos?
En ese punto dejamos de hablar solamente de precisión matemática. Empezamos a hablar de riesgo, objetivos, restricciones, prioridades y responsabilidad.
Entonces, ¿qué es el Juicio Artificial?
No existe una definición científica universalmente aceptada de Juicio Artificial. En este blog utilizaré el término como un marco de trabajo.
Propongo definirlo así: Juicio Artificial es la capacidad diseñada de un sistema computacional para evaluar alternativas bajo incertidumbre, aplicar criterios y restricciones, ponderar consecuencias y recomendar o seleccionar una acción.
Hay una palabra especialmente importante: criterios. Porque una máquina puede optimizar una función. Pero alguien tuvo que decidir previamente qué debía optimizarse.
Toda decisión esconde una función de valor
Una red neuronal convencional puede representarse de manera muy simplificada como:
Recibe información
y produce una predicción
Por ejemplo:
Pero ahora queremos decidir qué hacer con esa predicción. Podemos expresar conceptualmente el problema como:
No necesitamos entrar demasiado en las matemáticas para entender la idea.
Tenemos distintas acciones posibles (a). Tenemos distintos escenarios futuros (S). Y necesitamos alguna función (U) que determine qué resultado consideramos mejor. El verdadero problema está escondido precisamente ahí:
¿Quién define qué significa “mejor”?
¿Menor costo?, ¿Mayor seguridad?, ¿Menor consumo?, ¿Mayor rendimiento?, ¿Menor impacto ambiental?, ¿Menor probabilidad de dañar a una persona?
Una función aparentemente matemática puede contener decisiones profundamente humanas.
Inteligencia Artificial → Juicio Artificial
Podemos imaginar el proceso completo así:
DATOS → PERCEPCIÓN → PREDICCIÓN → INCERTIDUMBRE → JUICIO → ACCIÓN → CONSECUENCIAS
La inteligencia artificial puede encontrar patrones. La predicción estima qué puede ocurrir. El juicio utiliza esa información junto con objetivos y restricciones para decidir qué hacer. Y la acción finalmente produce consecuencias en el mundo real.
Precisamente por eso NIST define los sistemas de IA de forma suficientemente amplia como para incluir sistemas capaces de producir predicciones, recomendaciones o decisiones, y enfatiza que sus riesgos dependen tanto de elementos técnicos como del contexto humano y social donde se utilizan.
La distancia entre predecir y actuar puede parecer pequeña dentro de un algoritmo. En el mundo real puede ser enorme.
Ya tenemos máquinas que actúan como jueces
Esto no es únicamente una discusión sobre el futuro. Actualmente existe una línea de investigación conocida como LLM-as-a-Judge.
La idea es utilizar un modelo de lenguaje para evaluar las respuestas producidas por otros modelos. Por ejemplo, podemos darle dos respuestas distintas y preguntarle:
¿Cuál es mejor?
El modelo analiza ambas y selecciona una. Eso parece bastante cercano a emitir un juicio.
El problema es que diferentes investigaciones han encontrado que estos jueces automáticos pueden introducir sesgos. Un estudio sistemático encontró, por ejemplo, sesgo de posición: dependiendo del modelo y de la tarea, cambiar el orden en el que aparecen las respuestas puede influir en cuál considera mejor.
Esto revela algo fundamental: Que una máquina pueda emitir un juicio no significa que ese juicio sea automáticamente confiable.
Podemos ir todavía más lejos
Investigadores desarrollaron Delphi, un sistema de IA diseñado para predecir juicios morales humanos ante situaciones descritas mediante lenguaje natural. Delphi fue entrenado con una gran colección de juicios humanos e incluso consiguió reproducir muchas de las respuestas proporcionadas por participantes.
Pero los propios investigadores encontraron limitaciones importantes, incluyendo sesgos y sensibilidad cultural insuficiente.
Aquí aparece una diferencia extraordinariamente importante: Predecir cómo juzgaría una persona no significa comprender por qué ese juicio es correcto.
Una máquina puede aprender estadísticamente: “En situaciones parecidas, la mayoría de las personas responde X.”
Eso no demuestra que haya desarrollado una teoría moral. Ni que comprenda las consecuencias. Ni que la mayoría tenga razón.
El juicio más importante podría ser: “No sé”
Cuando pensamos en sistemas inteligentes solemos imaginar máquinas cada vez más capaces de proporcionar respuestas. Pero quizá un sistema verdaderamente confiable debería desarrollar otra capacidad: saber cuándo no debería decidir. Imaginemos un sistema de ingeniería que pudiera responder: La incertidumbre de esta predicción es demasiado alta.
o: Este caso se encuentra fuera del dominio utilizado durante mi entrenamiento.
o: Las consecuencias potenciales requieren revisión humana.
o simplemente: No tengo suficiente información.
Yo llamaría a esto meta-juicio:
no solamente decidir cuál alternativa parece mejor, sino evaluar si existe suficiente evidencia para tomar una decisión. Este principio encaja con el enfoque de gestión de riesgos de NIST, que insiste en considerar las limitaciones, la incertidumbre, el contexto de uso y las responsabilidades de las personas involucradas en el ciclo de vida de un sistema de IA.
Un sistema que siempre responde puede parecer inteligente. Un sistema que sabe cuándo no debería responder podría ser mucho más útil.
¿Cómo se vería esto en ingeniería?
Supongamos que entrenamos una red neuronal para predecir la respuesta de un filtro de microcinta. Tenemos:
La red puede aproximar rápidamente cómo responderá el dispositivo. Eso es extremadamente útil. Pero todavía estamos principalmente en el territorio de la predicción. Ahora agreguemos:
- respuesta eléctrica
- temperatura
- restricciones geométricas
- tolerancias de fabricación
- incertidumbre del modelo
- objetivos de diseño
El problema cambia. Ahora queremos que el sistema determine: ¿Este diseño es suficientemente bueno para continuar?
Podría responder: Aceptar diseño o Rechazar diseño.
Pero podría existir una tercera respuesta mucho más interesante: Diseño prometedor, pero la incertidumbre es demasiado alta. Ejecutar simulación electromagnética de alta fidelidad antes de aceptarlo.
Eso ya no es simplemente utilizar una red neuronal como calculadora rápida. Estamos construyendo una arquitectura de decisión.
Pero aquí debemos poner un límite
Sería tentador concluir: “Entonces las máquinas ya tienen juicio.”
No iría tan lejos. Una computadora puede evaluar alternativas utilizando criterios. Puede asignar probabilidades. Puede aplicar restricciones. Puede optimizar. Puede recomendar acciones. Incluso puede ejecutar decisiones automáticamente. Pero todavía tenemos que distinguir dos cosas.
Juicio instrumental: Determinar qué alternativa satisface mejor unos objetivos previamente definidos.
Juicio normativo: Determinar qué objetivos deberían importar, qué consecuencias son aceptables y quién debe responder cuando algo sale mal.
La primera puede automatizarse en gran medida. La segunda es mucho más complicada. Por eso los marcos modernos de gestión de riesgo de IA siguen asignando explícitamente responsabilidades a personas y organizaciones y distinguen diferentes configuraciones de supervisión entre humanos y sistemas automáticos.
Y finalmente aparece la responsabilidad
Imaginemos que construimos un sistema que toma mejores decisiones que un humano en el 99.9 % de los casos. Suena extraordinario. Ahora observemos el 0.1 % restante. El sistema toma una decisión equivocada. Y alguien resulta afectado.
Entonces aparece una pregunta para la que no existe una simple función de pérdida: ¿Quién es responsable?
¿El programador?, ¿El ingeniero que validó el sistema?, ¿La empresa que decidió utilizarlo?, ¿La persona que aceptó la recomendación?, ¿El fabricante?, ¿El modelo?
Aquí aparece, para mí, uno de los límites más interesantes de esta discusión.
Podemos automatizar percepción. Podemos automatizar predicción. Podemos automatizar optimización. Podemos automatizar partes del juicio. Pero:
La responsabilidad no se automatiza tan fácilmente.
La siguiente frontera
Quizá el verdadero reto de los próximos años no sea construir sistemas que produzcan respuestas cada vez más inteligentes. Tal vez sea construir sistemas capaces de distinguir entre: lo que saben, lo que creen saber, lo que no saben, y sobre todo: cuándo no deberían tomar una decisión.
Por eso creo que vale la pena empezar a hablar de Juicio Artificial. No para afirmar que una máquina juzga como una persona. Sino para estudiar algo más concreto:
¿Qué ocurre cuando permitimos que una predicción algorítmica participe en decisiones que tienen consecuencias reales?
En el artículo anterior dijimos: La IA no piensa. Optimiza. Esta vez me gustaría dejar otra idea:
-Predecir es calcular lo que puede pasar. Juzgar es decidir qué hacer con ello. –
Y ahí, probablemente, empieza uno de los debates más importantes de la inteligencia artificial.
Ingeniería sin Humo
Ciencia, tecnología e inteligencia artificial explicadas con rigor, claridad y aplicaciones reales.
Fuentes para profundizar: Ajay Agrawal, Joshua Gans y Avi Goldfarb, trabajos sobre Prediction versus Judgment y teoría de decisión e IA, NBER; National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0); Shi et al., Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge; Jiang, Hwang y Choi, Investigating machine moral judgement through the Delphi experiment, Nature Machine Intelligence.
Leave a comment