Auditorías algorítmicas y el control sobre las IA

¿Has usado Waze para no perderte de camino a casa o el filtro de spam para las molestas publicidades que llegan al correo? Bueno, si es así, has estado expuesto al uso de tecnologías algorítmicas, sistemas autónomos que trabajan para el usuario en cosas simples como mostrarte un anuncio o, en casos más complejos, para realizar el pre trial en los procesos judiciales anglosajones.

Actualmente, puedes encontrar participación de inteligencia artificial (IA) en la mayoría de los aspectos de tu vida,  desarrollo que ha sido exponencialmente veloz, por lo que el ser humano comienza a quedarse atrás en su intención de normar estos sistemas automatizados.

Siguiendo esta línea de investigación, el Programa de Derecho, Ciencia y Tecnología de la Universidad Católica de Chile (UC), organizó el seminario «Auditorías Algorítmicas, el futuro de la regulación de la Inteligencia Artificial».

El evento contó con la participación de Shea Brown, CEO de BABL AI y profesor de Astrofísica de la Universidad de Iowa; Cristina Pombo, Asesora del Departamento del sector social del Banco Interamericano de Desarrollo; y Sebastián Dueñas, Investigador del Programa de Derecho, Ciencia y Tecnología de la UC, quienes se reunieron para conversar sobre la actualidad de la regulación y cómo deberían normarse estas nuevas tecnologías.

El conversatorio trató la metodología de aplicación de las auditorías algorítmicas y lo que éstas significan en el marco regulatorio, enfocando la charla en el impacto de las IA y la necesidad de auditarlas para fiscalizar su correcta ejecución.

El impacto de los algoritmos

Los algoritmos son parte de una tecnología de procesamiento de datos gigantesca, que son nutridos de una gran cantidad de información, por lo que su trabajo, en colaboración con una inteligencia artificial, tiene una importante influencia a nivel ético y social.

Tanto en el sector público como en el privado, el uso de diversas tecnologías como los algoritmos ha crecido exponencialmente, sin embargo, la normativa no ha podido seguirle el ritmo, haciendo que la innovación se desarrolle en un marco pre regulatorio, que aún no ha sentado las bases de la normativa de ejecución. Además, el auge de las IA ha provocado que estén presentes en áreas como salud, política, educación o transporte, creando también una estrecha relación entre el servicio y su usuario.

Esta relación, independiente del sector, cada vez se ve más determinada por su funcionamiento y a su vez ellos se mantienen procesando un sin fin de datos. Esto ha nublado la vista de quienes intentan estudiarlos, sobre todo a aquellos de aprendizaje automático, por lo que los investigadores alargaron su definición con el concepto de «caja negra», debido a que sus resultados resultan ser impredecibles e incontrolables.

La preocupación por el riesgo de las IA nace por su relación con los sesgos que tiene el ser humano como la discriminación, exponiendo un gran desafío, ya que la mezcla de un algoritmo con estos aspectos sociales propios de la imperfección humana puede generar resultados con un daño psicológico, social o incluso físico.

Shea Brown

Para el CEO y fundador de BABL AI, Shea Brown, antes de ver los riesgos, hay que identificar tres aspectos de las IA: escala, velocidad y transparencia. Características que define como determinantes al momento de evitar una crisis generalizada, ya que son los tres puntos centrales del riesgo que las herramientas pueden presentar.

«En cuanto a la escala, cuando estos algoritmos se despliegan a nivel mundial de una vez,  afecta a muchas personas de manera simultánea, por lo que un error puede suponer una crisis a nivel global. En cuanto a la velocidad, estos algoritmos operan rápido, así que si algo sale mal, los usuarios pueden verse afectados incluso antes de entender qué pasa. Por último, en temas de transparencia, algunas personas no saben cómo operan los algoritmos, por lo que puede pasar que alguien se vea afectado y no lo sepa», explicó Brown.

Quienes están expuestos a inteligencia artificial en la mayoría de los casos no lo saben, principalmente debido a la complejidad de su funcionamiento, el que no es entendido por quienes son influidos. Esto resulta peligroso, ya que la aplicación de estas tecnologías vienen a complementar el rol del prestador de servicios para tener una mayor exactitud de las necesidades del consumidor, lo que a su tiempo requiere de la obtención y almacenamiento de datos personales y de seguridad.

Cristina Pombo

Tomar una decisión es una de las habilidades centrales del ser humano. Así es como Cristina Pombo resalta la importancia de estas nuevos sistemas automatizados de soporte de decisión, ya que estos últimos años el sector público se ha apoyado en IA para agilizar procedimientos.

«Los formuladores de políticas públicas ponderan información para asignar subsidios, cupos escolares o vacantes laborales, y esa toma de decisión se ha hecho cada vez más rápida, gracias no solo a la cantidad de datos que se procesan de los ciudadanos, sino también a una mayor capacidad y velocidad computacional».

Es por lo anterior que quienes formulan políticas públicas deben tener una mayor noción del riesgo que las inteligencias artificiales pueden tener, a pesar de que estos últimos años se han visto algoritmos en plataformas privadas como Netflix, Spotify, Amazon o Mercadolibre, están cada vez más presentes en organizaciones públicas, por lo que la influencia social de posibles fallas es cada vez mayor.

En este escenario, y tomando en cuenta el poder y la influencia de las IA, las auditorías algorítmicas se proclaman como la solución para acabar con la «caja negra» de estas nuevas tecnologías, haciéndolas más comprensibles, predecibles y controlables, tanto para el usuario como para la entidad que las utilice.

Las auditorías

Para realizar una auditoría algorítmica se deben seguir ciertos pasos, los que, a pesar de no estar determinados por ley, se han postulado como el camino a seguir por diversas organizaciones. En este caso, Sebastián Dueñas, investigador del Departamento de Derecho, Ciencia y Tecnología, explica la guía que publicó el Banco Interamericano de Desarrollo, con el fin de orientar a quienes realicen una auditoría algorítmica.

Sebastián Dueñas

Dueñas explica que antes de comenzar con una auditoría algorítmica, el organismo debe hacer un análisis del tipo de inteligencia que está tratando, con factores como: función, autonomía e influencia.

El investigador explica que teniendo ya identificado el sistema, como primer paso se debe definir el alcance de la auditoría, tomando en cuenta: los requisitos del desarrollo de la IA, los principios que se consideraron al momento del diseño, casos de uso similar y el impacto social. En segundo lugar, se debe hacer un mapeo de los stakeholders, para saber a quiénes influye mayormente esta IA. La tercera etapa es recolectar la documentación, elaborando una lista con los puntos que se van a auditar, un perfil de datos y el perfil del modelo.

Ya con lo anterior realizado, se hace un testeo de la IA, simulando fallas y buscando vulnerabilidades en el sistema, este último paso nos permitirá elaborar una matriz de riesgo referida al uso del sistema. Cuando el testeo esté listo, se deberán analizar los resultados y actualizar la matriz.

Con la matriz actualizada y formalizada se hace un plan de mitigación de los riesgos, recopilando el detalle y la evolución de la IA, para elaborar finalmente el informe de auditoría. Posterior al informe, se debe decretar el estado del sistema, para saber si es posible utilizarlo y el impacto de sus riesgos.

Finalmente Dueñas concluye: «sí, se puede usar la IA, pero antes debemos implementar mecanismos de mitigación y rastrear la implementación de dichos mecanismos, para cerciorarnos de que cumplan con el objetivo planteado».

La auditoría algorítmica aún no tiene una regulación exacta, la normativa referida a la ejecución de los algoritmos sigue en proceso de molde, ya que a pesar de existir una guía que sienta las bases del proceso, no deja de haber un retraso en la legislación, la que no ha avanzado de par en par con la implementación de estas herramientas.

Desafíos y proyecciones

La ola regulatoria en estas materias ya se ha identificado en Latinoamérica, en primer lugar, hay países que cuentan con una normativa referida a los datos, particularmente este aspecto establece una política de protección de información personal.

Cristina Pombo identifica una política nueva en algunos países, diferente a la actual normativa, y que se enfoca derechamente a las IA, «ahora en los países se puso de moda hacer políticas de inteligencia artificial, yo creo que esa moda pasará, y vendrá una nueva práctica pensada en responsabilidad algorítmica», comentó.

Los especialistas tienen un actitud positiva de cara al futuro de la globalización de los algoritmos, estos piensan en derribar la denominada «caja negra», plantea Shea Brown, quien apunta a un desarrollo del conocimiento en aspectos de funcionamiento y riesgos. Además, advierte de posibles conflictos entre quienes prestan el servicio de una IA y el órgano que busca regularla.

«Este es el año en el que el resto del mundo va a despertar, las personas que no saben de esto estarán un poco más al tanto en cuanto los riesgos que tiene la IA. Es el momento de que veamos avances en regulación, sin embargo, es posible que esto traiga consigo una disputa entre las industrias que buscan innovar y las jurisdicciones que están legislando», agrega.

Pombo cree que aún falta para tener un marco regulatorio completo, en primer lugar se debería evaluar el nivel de autonomía que tienen los sistemas automatizados de soporte de decisión, aludiendo a que las medidas tomadas deben ser explícitas en lo que refiere a la posible vulneración de derechos.

Concluye, que la correcta regulación y el análisis de los algoritmos debería contemplar criterios clave, con el alcance de influencia como el más importante al momento de clasificar y normar una IA. Sumado a la importancia de minimizar los riesgos contra los grupos sociales vulnerables y la limitación de derechos fundamentales, haciendo una pronta legislación que pueda equiparar el nivel del marco regulatorio con el desarrollo de estas tecnologías, las que llevan tiempo evolucionando.

También te puede interesar:
— Sesgos, autorregulación y marco regulatorio, los dilemas de la IA en el mundo
— Algoritmos éticos: ¿cuáles deben ser los estándares para que una IA tome la decisión?
— Inteligencia Artificial en la justicia penal chilena