¿Cuándo vale la pena que el juez le crea al robot?

Ya han pasado algunos años desde que se verificó que COMPAS, el algoritmo que calculaba las probabilidades de reincidencia de un acusado reproducía sesgos raciales contra las personas afroamericanas; sin embargo, ese mismo caso demostró que las conclusiones pueden ser muy diferentes dependiendo de la manera en que se ordenan y miden los datos, puesto que la propia compañía que diseñó el sistema explicó que no se verificaba el efecto discriminatorio si el cálculo de las variables alto riesgo, reincidencia y color de piel se hacía de manera distinta.

La incidencia de la Inteligencia Artificial (IA) puede ser menos riesgosa, como el caso de chatbot de asistencia a los usuarios como el austríaco Justizonline. A nivel regional han surgido iniciativas como PROMETEA en Argentina que apunta a los dictámenes judiciales automatizados y en Chile han surgido ya compromisos de implementación.

Edison Calahorrano Latorre

Los ámbitos en que puede intervenir la tecnología dentro del proceso son muy variados; así, el profesor de la Pontificia Universidad Católica de Perú, Álvaro Pérez Ragone, señala que una primera manifestación puede reconocerse en la digitalización, desde la conducción y gestión virtualizada, celebración de audiencias por videoconferencia, presentación de documentos mediante medios electrónicos y mecanismos online de resolución de disputas.

Una segunda manifestación es la aparición de sistemas de inteligencia artificial como herramientas que pretenden dotar a la toma de decisiones de celeridad, eficiencia y seguridad; en la medida en que la gran capacidad de procesar información permitiría ampliar exponencialmente las relaciones de variables y escoger aquella que demuestre mayor racionalidad y se acerque al paradigma de la decisión justa.

Se ha señalado por el mismo autor que los tres grandes problemas de implementación de la Inteligencia Artificial en la toma de decisiones judiciales, y el posible reemplazo al juez humano, son la traducción del Derecho en códigos informáticos; los problemas de las decisiones o juicios discrecionales que requieren ponderación valórica que la máquina no puede proporcionar; y, finalmente, la adecuada utilización de lenguaje judicial.

A pesar de los avances, otros autores como Battelli afirman que, por ahora, la inteligencia artificial a lo mucho puede ser un soporte valioso al servicio del operador jurídico, y constituirse en una herramienta que mejore la toma de decisiones, encontrándonos lejos de aquellas totalmente autónomas.

Cabe señalar que el proyecto de Reglamento del Parlamento Europeo y de Consejo de Europa, que regula la IA, en su versión de 16 de abril, y que está pronto a ver la luz, coloca a los sistemas de Inteligencia Artificial que incidan en la administración de justicia como aquellos que pueden ser considerados de alto riesgo, por lo que requieren algunas previsiones esenciales como la supervisión humana y la transparencia respecto de la operación realizada por el algoritmo para la toma de decisiones.

Frente al advenimiento inevitable de sistemas con mayor autonomía que sirvan como soporte para la decisión de juez vale peguntarse ¿las conclusiones de un sistema de inteligencia artificial al que se le plantea un cuestionamiento vinculado al proceso pueden ser asimilados a una prueba científica?; por lo tanto, en caso de no ser afirmativa la respuesta de la primera pregunta, ¿requiere este tipo de prueba un mecanismo particular de admisibilidad y valoración en el proceso civil?

La pregunta tiene relevancia si los hallazgos más recientes de la literatura especializada constatan que el volumen y la calidad de los datos recogidos y utilizados para un sistema de inteligencia artificial pueden afectar drásticamente a la función del sistema para comunidades y poblaciones específicas. Por lo tanto, sin un volumen de datos suficiente o una representación de diferentes comunidades, los datos pueden producir resultados de inequidad.

Ya se puede hablar de discriminación algorítmica, sesgos que se fundamentan en la subrepresentación de determinados grupos en los datos, o sesgos de acumulación que difuminan la diversidad. En estado actual, el algoritmo no es más que el reflejo de la calidad de los datos y la forma de ordenarlos por quien lo programa.

El cuestionamiento consiste en lo siguiente: si un sistema de IA tiene como fin proporcionar conclusiones respecto de un tema a ser tomadas en cuenta por el juez para el ejercicio de su razonamiento probatorio, ¿qué tanto le creemos?, ¿cómo evaluamos su fiabilidad?, ¿son pertinentes los criterios de evaluación para una prueba científica?, estas preguntas deben responderse en un contexto en el que los juzgadores tienen una tendencia a la deferencia respecto de criterio científico frente a temas que se alejan de Derecho, con la peculiaridad que, en este caso, el criterio lo da un algoritmo.

En el caso Daubert v. Merrell Dow Pharmaceuticals, Inc., en conjunto con los fallos General Electric Co. v. Joiner; Kumho Tire Co. v. Carmichael se fijaron los fundamentos del denominado Daubert Standard como regla de admisibilidad de la prueba pericial que consolida al juez como el “guardián” respecto de la admisibilidad con base en la evaluación de la relevancia y fundamentos confiables con que debe contar la prueba de dichas características; además debe velar porque la prueba sea fiable y ello se traduce en que las conclusiones fueron obtenidas mediante el método científico y puede considerarse conocimiento validado por una comunidad científica; finalmente, otros criterios para dicha calificación son verificar que la técnica o procedimiento fue validado por pares, si puede ser probada y se conoce su rango de error, e inclusive, si es posible verificar que la investigación que llevó a dichas conclusiones es independiente de quienes involucran el litigio y no fue dirigida a contar con un testimonio experto dirigido.

COMPAS

Basándonos en lo señalado, parece estar afianzado que la admisibilidad de la prueba científica se rige por la necesidad de que, en primer lugar, un experto pueda comparecer y explicar el método con el que se generaron las conclusiones que se pretende introducir como prueba; que se conozca el margen de error y que el procedimiento sea comprobable; es decir, un par con la misma experticia pueda comprender la explicación sobre la fiabilidad y confianza de sistema.

Carmen Vásquez, quien ha estudiado en profundidad la prueba pericial y los criterios para su admisibilidad ha afirmado que, incluso la cientificidad (entendida como sometimiento de su proceso de generación a un método científico debidamente afianzado por la comunidad científica) de la prueba no garantiza la fiabilidad y pertinencia de la prueba, situaciones que solo corresponden al juez tras un análisis integral. Al final, como señala Taruffo el problema para el juez radica en cómo determinar que la prueba científica pueda demostrar un hecho como verdadero dentro del proceso.

Entonces, ¿vale la pena flexibilizar estos criterios frente a las conclusiones generadas por algoritmos en sistemas de IA?, al menos podría ponerse en duda que el insumo de una red neuronal de deep learning con altos niveles de opacidad y un débil control de sesgos desde el diseño pueda ser prueba científica en un proceso.

En general la opacidad y poca explicación de mecanismo de control de sesgos como proceso transversal a la generación, recopilación y ordenamiento de los datos, diseño mismo de algoritmo, etapa de ensayos (sandboxes) y despliegue de sistema conspira contra la fiabilidad de las conclusiones como prueba admisible.

A todo esto puede denominarse explicabilidad del sistema y podría reducirse a una afirmación: si un par con similares conocimientos no puede explicar cómo el sistema llegó a las conclusiones, estas son inadmisibles como aporte epistémico para el juez, no reúnen los criterios básicos de Daubert Standard; y, vale la pena evitar que este último pueda verse expuesto a una deferencia injustificada a las conclusiones de un sistema que, en realidad, no es fiable ni reúne las características de una prueba científica.

Está de más señalar que, si el propio diseñador del algoritmo ve limitado su posibilidad de comprender cómo llega este a determinadas conclusiones, menos posibilidades tiene de ser un aporte epistémico en el proceso, por lo que un hábito de deferencia a sus conclusiones sería poco recomendable. En definitiva, un juez debe mantener la prudencia de a quién decida creerle, aunque quien le aconseja sea una IA.

Edison Calahorrano Latorre es académico e investigador en derecho privado de la Universidad Central de Chile.

 
También te puede interesar:
— La inteligencia artificial en la fiscalización de los impuestos
— ¿Controlar o incentivar? la regulación de la inteligencia artificial
— Inteligencia Artificial en la justicia penal chilena