Es la premisa de tantas películas de ciencia ficción: la tecnología supera la inteligencia humana, causa estragos y, en última instancia, se apodera de la humanidad. Si bien esa película aún no ha sucedido en la vida real, el reciente lanzamiento de ChatGPT parecía los créditos iniciales, y esa es solo una de las muchas herramientas de inteligencia artificial (IA) generativa.

Ahora, líderes tecnológicos de alto perfil, como el cofundador de Apple, Steve Wozniak, y el director ejecutivo (CEO) de Tesla, Elon Musk, se encuentran entre los que piden a las empresas que suspendan los “experimentos gigantes de IA” mientras la industria realiza una evaluación de riesgos. Su carta abierta afirma que los proyectos de IA a gran escala “pueden plantear riesgos profundos para la sociedad y la humanidad” sin supervisión y gestión inteligente y piden una pausa temporal en su desarrollo. La carta también destacó la necesidad de sistemas de gobernanza y una nueva autoridad reguladora dedicada a la IA”.

ISACA 2023

Los sistemas de inteligencia artificial (IA) tienen un potencial significativo para transformar la sociedad y la vida de las personas, desde el comercio, salud, transporte y la ciberseguridad para el medio ambiente y promover el desarrollo sostenible.

La IA ha evolucionado desde 1950, cuando Alan Turin planteó el desafío de “si las máquinas podían pensar”. Desde entonces, la IA ha evolucionado del modelo de sistemas basados en la lógica, hasta el Maching Learning (ML), lo que ha ido mejorando la capacidad de “predicción” de las máquinas usando datos.

Existe una floreciente confusión de conceptos sobre IA, por lo cual en este documento se toma la definición de la OCDE (Organización para la Cooperación y el Desarrollo Económicos) sobre IA, que dice "sistemabasado en la máquina que puede hacer predicciones, recomendaciones o tomar decisiones, influyendo en entornos reales o virtuales, sobre ciertos objetivos definidos por los humanos:

“La inteligencia artificial (IA) generativa crea contenido nuevo en respuesta a indicaciones, ofreciendo un potencial transformador en múltiples sectores como la educación, el entretenimiento, la atención médica y la investigación científica. Sin embargo, estas tecnologías también plantean desafíos sociales y políticos críticos que los formuladores de políticas deben enfrentar: cambios potenciales en los mercados laborales, incertidumbres en materia de derechos de autor y riesgos asociados con la perpetuación de sesgos sociales y el potencial de uso indebido en la creación de desinformación y contenido manipulado. Las consecuencias podrían extenderse a la difusión de información errónea y desinformación, la perpetuación de la discriminación, la distorsión del discurso público y de los mercados y la incitación a la violencia. Los gobiernos reconocen el impacto transformador de la IA generativa y están trabajando activamente para abordar estos desafíos.”

INITIAL POLICY CONSIDERATIONS FOR GENERATIVE ARTIFICIAL INTELLIGENCE OCDE

La misma OCDE desarrolló cinco principios (que fueron formalmente adoptados por los países miembros en el mes de mayo del 2019) y que son los siguientes:

• Principio 1: crecimiento inclusivo, desarrollo sostenible y bienestar.
• Principio 2: valores centrados en el ser humano y la justicia.
• Principio 3: transparencia y capacidad de explicación.
• Principio 4: robustez, seguridad y protección.
• Principio 5: Responsabilidad.

Para lograr los principios enunciados se requiere una IA segura y confiable, sin embargo, los problemas con los datos (sesgo), la falta de integración de las fuentes de datos, los sistemas heredados y la falta de colaboración interna pueden crear incertidumbre sobre el logro de los objetivos de sostenibilidad definidos por Naciones Unidas.

Al igual que los riesgos tecnológicos los riesgos de la IA pueden surgir de diversas formas, sin embargo, IA también plantean desafíos críticos que los responsables como: posibles cambios en los mercados laborales, incertidumbres de derechos de autor y perpetuación de sesgos sociales y potencial de uso indebido en la creación de desinformación y contenido manipulado.

Las consecuencias podrían ser la difusión de información errónea y desinformación, la perpetuación de la discriminación, la distorsión del discurso público y la incitación a la violencia.

Gestión de riesgos de IA

La gestión de riesgos ocasionados por el desarrollo/uso de la IA, busca minimizar la incertidumbre que plantean los sistemas de IA.

En nuestro enfoque sobre la incertidumbre relacionada a AI, lo haremos sobre dos focos:

Desarrollo: Las fases del ciclo de vida de la metodología de desarrollo de los sistemas de IA.

Uso: IA plantea consideraciones de políticas públicas y se necesitan esfuerzos con el foco puesto en asegurar sistemas de IA fiables y centrados en las personas.

Las empresas que desarrollan/usan sistemas IA, deben tener un sólido Gobierno y Gestión de riesgos que incluyen políticas, metodologías, métricas, etc..

Como referenciamos al principio, el tema IA no es nuevo, se han desarrollado múltiples políticas, normas, marcos, estándares, etc. En este trabajo nos vamos a referir a los editados por: 

1. la norma NIST AI 100-1 “Artificial Intelligence Risk Management Framework (AI RMF 1.0)”, editada por el National Institute of Standards and Technology (NIST) en enero 2023 y

2. el estándar ISO 23894 “Tecnología de la información. Inteligencia artificial -Guía sobre gestión del riesgo”, la Organización Internacional de Normalización (ISO) emitió en marzo 2023.

Ambas para el tratamiento de este nuevo desafío de la AI, sí bien el primero es para las agencias federales de los EE.UU, pero es un buen marco para su adaptación por las empresas.

Vamos a dar una ligera semblanza sobre estas normas. El AI RMF 1.0 se divide en dos partes:

Parte 1: analiza los riesgos y la confiabilidad de la IA, describiendo las características de los sistemas de IA confiables, que incluyen:

1. válidos y confiables,
2. seguros y resistentes,
3. responsables y transparentes,
4. explicables e interpretables,
5. privacidad mejorada y
6. sesgos dañinos controlados.
7. práctica y uso responsable *

Nota: Nosotros agregamos en base a otros estudios e investigaciones la característica 7.

Parte 2: comprende el “Núcleo” del Marco. Describe cuatro funciones específicas para ayudar a las organizaciones a abordar los riesgos de los sistemas de IA. Estas funciones son: 

• GOBERNAR,
• MAPEAR,
• MEDIR
• GESTIONAR

A su vez, estas funciones se dividen en categorías y subcategorías.

Por su parte la ISO 23894, se integra con otros estándares de la organización:

ISO 31000:2018, Gestión de riesgos — Directrices ISO/IEC 22989:2022, Tecnología de la información. Inteligencia artificial. Conceptos y terminología de inteligencia artificial.

Guía ISO 73:2009, Gestión de riesgos — Vocabulario

El uso de estas normas y estándares por sí solo no conducirá a los cambios necesarios. Como todo tratamiento del riesgo , el mismo se logra con el compromiso organizacional en los niveles superiores(Gobierno del riesgo) y requiere un cambio cultural dentro de la organización y una Gestión de riesgos efectiva (políticas, metodologías , mediciones, etc.).

Sesgos dañinos controlados

Entre las características enunciadas por la AI RMF 1.0 está el seis (6) Sesgos dañinos controlados.

“Los prejuicios existen de muchas formas, son omnipresentes en la sociedad y pueden arraigarse en los sistemas automatizados que ayudan a tomar decisiones sobre nuestras vidas. Si bien el sesgo no siempre es un fenómeno negativo, ciertos sesgos exhibidos en los modelos y sistemas de IA pueden perpetuar y amplificar los impactos negativos en los individuos, las organizaciones y la sociedad”, tomado de la norma NIST Special Publication 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (marzo 2022).

Por ejemplo, los sistemas en los que las predicciones están algo equilibradas entre los grupos demográficos pueden seguir siendo inaccesibles para las personas con discapacidad o afectadas por la brecha digital o pueden exacerbar las disparidades existentes o los sesgos sistémicos. Según Gabriela Ramos, Directora General Adjunta de la UNESCO para las Ciencias Sociales y Humanas, “la inteligencia artificial parece estar aumentando la desigualdad porque la mitad del mundo no está conectada a internet”.

El sesgo existe de muchas formas y los sistemas automatizados que ayudan a tomar decisiones pueden tenerlos incorporados y la IA puede aumentar la velocidad y la escala de los sesgos y generar daños a personas, grupos, comunidades, organizaciones y la sociedad. 

NIST Special Publication 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (marzo 2022) ha identificado tres categorías principales de sesgo de IA que deben ser gestionados:

• El sesgo sistémico puede estar presente en los conjuntos de datos de IA, las normas, prácticas y procesos organizacionales a lo largo del ciclo de vida de la IA y la sociedad en general que usa los sistemas de IA.
• Los sesgos computacionales y estadísticos pueden estar presentes en los conjuntos de datos de IA y los procesos algorítmicos y, a menudo, se derivan de errores sistemáticos debido a muestras no representativas.
• Los sesgos cognitivos humanos se relacionan con la forma en que un individuo o grupo percibe la información del sistema de IA para tomar una decisión o completar la información que falta, o cómo los humanos piensan sobre los propósitos y funciones de un sistema de IA.

Uso del estándar y normas

En Argentina el Banco Central emitió la Circular A 7724, y en su artículo 4.6. Inteligencia artificial o aprendizaje automático, define que las entidades deberán identificar y documentar:

• El objetivo del uso, por sí o por terceros, de software que utilice algoritmos de inteligencia artificial o aprendizaje automático en sus proyectos o procesos.
• Roles y responsabilidades para la definición del contexto en que operan los sistemas de inteligencia artificial o aprendizaje automático, la identificación de los modelos, algoritmos y los conjuntos de datos utilizados, y la definición de métricas y umbrales precisos para evaluar la confiabilidad de las soluciones implementadas.

Los análisis de riesgos correspondientes deberán considerar, como mínimo:

• Los modelos adoptados, su entrenamiento y las posibles discrepancias con la realidad del contexto;
• Los datos utilizados para el entrenamiento, su volumen, complejidad y obsolescencia.
• La privacidad y la afectación a los usuarios en su calidad de consumidores.
• El nivel de madurez de los estándares de pruebas de software y las dificultades para documentar las prácticas basadas en IA.

Adicionalmente, se deberán implementar procesos que promuevan la confiabilidad en el uso de este tipo de algoritmos e incluyan al menos:

• Medidas para evitar la existencia de sesgos o discriminación contra grupos o segmentos de clientes o usuarios de los productos y/o servicios financieros.
• Documentación respecto de la transparencia, la explicabilidad de los modelos utilizados y la interpretabilidad de los resultados.
• La ejecución de revisiones periódicas de los resultados respecto de la tolerancia al riesgo definida.
• La comunicación al cliente cuando utilice servicios soportados por este tipo de tecnología.

Las entidades financieras bajo la A 7724, tienen una oportunidad en expresar el cumplimiento de los requerimientos, utilizando las normativas expresadas.

En Interop-la estamos en condiciones de acompañar y apoyar a las empresas y en particular a las entidades financieras, en este viaje al cumplimiento normativo y minimización de los riesgos por el desarrollo/uso de la Inteligencia Artificial.

Dr. Jorge Medin Hidalgo Malaisi.

Gerente Gobierno I&T