La regulación bonaerense de IA exige trazabilidad y evaluación de riesgos, pero deja un vacío crítico: la explicabilidad. Por qué XAI debería ser obligatoria.
El punto de partida: una regulación provincial que abre la puerta, pero no cierra el riesgo
En noviembre, la Provincia de Buenos Aires publicó una resolución que aprueba reglas para el desarrollo, implementación y uso responsable de sistemas de Inteligencia Artificial en la Administración Pública bonaerense. Su objetivo declarado es proteger derechos y garantías, y asegurar de forma “razonable y confiable” la creación y/o aplicación de sistemas de IA. (Normas GBA)
Para quienes trabajamos con adopción real en el sector público, esto es un hito: no porque resuelva todo, sino porque instala un estándar mínimo de gobernanza. También deja algo muy claro: el Estado ya no puede usar IA como si fuera un “plugin” sin impacto institucional. Tiene que hacerlo con reglas.
Qué exige la norma en términos simples
Lo más valioso del texto, en la práctica, es que obliga a pensar la IA como un sistema que debe ser controlado, documentado y evaluado.
La resolución pide evaluación preliminar de riesgos antes del desarrollo o uso, y una clasificación formal que distingue riesgo inaceptable, alto riesgo, riesgo limitado y riesgo nulo. Además, establece medidas obligatorias de mitigación cuando el sistema es de alto riesgo. (Normas GBA)
Y hay un artículo que, para mí, es el corazón de la discusión pública: el principio de “Trazabilidad y/o auditabilidad”. La norma dice que el uso o desarrollo de sistemas de IA debe contar con procedimientos y registros idóneos de todas sus etapas para que el algoritmo sea rastreable e identificable y pueda verificarse su funcionamiento. (Normas GBA)
El reconocimiento incómodo: existen sistemas “opacos” o de “caja negra”
La propia resolución admite algo que muchas veces se evita decir en voz alta: hay sistemas de IA cuya arquitectura y diseño resultan incomprensibles. Los llama “opacos” o “de caja negra” y recomienda resguardar derechos al utilizarlos. (Normas GBA)
Ese reconocimiento es clave, porque abre la pregunta que todavía no estamos respondiendo con contundencia: si sabemos que una parte del ecosistema es opaca, ¿por qué no exigimos explicabilidad como condición para ciertos usos públicos?
Mi preocupación: trazabilidad no es explicabilidad
La norma avanza en trazabilidad, registros y auditoría del proceso, pero no convierte la explicabilidad en un requisito obligatorio. Y ese vacío importa.
Tener trazabilidad puede significar que sé qué proveedor se contrató, qué versión se implementó, qué prompts se usaron, qué políticas internas se aplicaron, qué logs guardo y cómo gestiono riesgos. Todo eso es necesario. Pero no necesariamente me permite responder la pregunta que más le importa a la ciudadanía cuando una decisión o recomendación la afecta: “¿por qué?”.
Ahí aparece XAI.
Qué es XAI y por qué es la diferencia entre gobernar y solo “usar tecnología”
XAI (Explainable AI) es el conjunto de enfoques que buscan que un sistema pueda ofrecer explicaciones comprensibles y defendibles sobre cómo llegó a un resultado. No hablo de una explicación “linda” para convencer: hablo de explicaciones útiles para control, rendición de cuentas y corrección.
Un marco muy práctico para entender qué debería cumplir una IA explicable lo propone NIST con cuatro principios: que entregue evidencia o razones, que la explicación sea comprensible para usuarios, que refleje correctamente el proceso real, y que opere dentro de límites de conocimiento y confianza. (nvlpubs.nist.gov)
Si el Estado va a incorporar IA en atención ciudadana, priorización de trámites, auditorías internas, sistemas de alerta o apoyo a decisiones, estos principios dejan de ser teóricos: pasan a ser parte de la infraestructura de confianza institucional.
El riesgo que en conferencias siempre vuelve: las alucinaciones
Las alucinaciones son, en términos simples, respuestas plausibles pero falsas. En el sector público no son un error simpático: son reputación, seguridad jurídica, y en algunos casos daño directo.
OpenAI lo plantea en su system card al describir que los modelos pueden producir texto convincente que es “sutilmente falso”, y también reconoce el problema de las alucinaciones como una categoría de riesgo.
La conclusión operativa para mí es directa: si un organismo público usa un modelo generativo como si fuera “la verdad”, la institución se vuelve vulnerable a errores que suenan profesionales.
La comparación inevitable: LLMs tipo ChatGPT y la “caja negra” que limita la auditoría
Los LLMs conversacionales son excelentes para lenguaje: redactar, resumir, clasificar, sugerir. El problema aparece cuando se los usa para afirmar hechos o sostener decisiones sin mecanismos de verificación y explicación.
En modelos propietarios, hay una limitación adicional: incluso queriendo auditar, hay información técnica que el proveedor no publica. En el GPT-4 Technical Report, OpenAI afirma que, por el “panorama competitivo” y las implicancias de seguridad, el reporte no incluye más detalles sobre arquitectura, hardware, cómputo de entrenamiento, construcción del dataset, método de entrenamiento u otros elementos similares.
Esto no significa “no usar”. Significa entender el límite. Podés auditar procesos, políticas, logs y resultados observables, pero no siempre podés inspeccionar el núcleo del modelo como si fuera un sistema plenamente transparente.
Y es interesante que la propia OpenAI, en su system card, mencione la necesidad de interpretabilidad y explicabilidad para abordar la naturaleza actual de los modelos “black-box”.
Lo que yo considero el próximo estándar para el Estado: XAI obligatoria en usos sensibles
La resolución bonaerense ya pone sobre la mesa dos piezas fundamentales: admite la existencia de “caja negra” y exige trazabilidad/auditabilidad, evaluación de riesgos y mitigación, especialmente en alto riesgo. (Normas GBA)
Mi planteo es que falta el paso que completa el circuito: que para ciertos usos públicos (alto riesgo, impacto en derechos, decisiones, priorizaciones o comunicación oficial sensible) sea obligatorio que el sistema sea XAI o, como mínimo, que el diseño garantice explicaciones robustas y verificables alineadas a principios como los de NIST. (nvlpubs.nist.gov)
Porque la rendición de cuentas no se negocia. El Estado no puede responder “el modelo lo dijo”. Tiene que poder explicar el criterio, la evidencia y los límites.
Cómo contrarrestar alucinaciones en organismos públicos sin vender humo
La perfección no existe, pero la ingeniería institucional sí.
El primer cambio es cultural: separar “asistencia de redacción” de “apoyo a decisiones”. Si el caso de uso impacta derechos o decisiones relevantes, la intervención humana y el estándar de explicación tienen que ser obligatorios. (Normas GBA)
El segundo cambio es de diseño: no pedirle al modelo que “sepa”, sino diseñarlo para que “se ancle” en evidencia y opere con límites. Incluso en el system card de GPT-4 se menciona el esfuerzo por reducir la tendencia a alucinar, lo cual refuerza la idea de que el riesgo es real y debe gestionarse con mitigaciones deliberadas.
Y el tercer cambio es normativo: si ya hablamos de auditabilidad, el paso lógico es exigir explicabilidad donde más importa.
“adoptar IA en el Estado es rediseñar confianza”
La regulación bonaerense es un avance porque obliga a pensar en riesgos, trazabilidad y responsabilidad. (Normas GBA)
Pero si queremos que la IA sume sin romper confianza, no alcanza con “documentar el proceso”: necesitamos poder explicar resultados, evidenciar criterios y reconocer límites. Eso, en el sector público, no debería ser optativo. Debería ser estándar.
