IA ChatGPT aprueba examen universitario de Derecho

ChatGPT es un algoritmo de aprendizaje automático, clasificado entre los “modelos de lenguaje”, que se caracterizan por trabajar con grandes cantidades de texto, con la finalidad de dar soluciones a problemas que requieran uso del léxico.

El bot está desarrollado por Open AI, y es una inteligencia artificial (IA) diseñada —teóricamente— para mejorar la generación de texto natural de los algoritmos con respuesta automatizada.

Esta inteligencia artificial se hizo conocida por su capacidad para escribir ensayos e informes con una correcta gramática y escritura, lo que en el mundo de la academia no fue recibido de la mejor manera. Así lo indicaron en Nueva York, ciudad que prohibió el uso del bot en las escuelas, ya que algunos profesores indicaron que los estudiantes han hecho uso de la tecnología para realizar sus trabajos.

El examen

En tal contexto y para medir su capacidad, la Universidad de Minnesota sometió a ChatGPT a una evaluación, diseñada especialmente para sus alumnos de Derecho. La prueba consistió en 95 preguntas de opción múltiple y 12 de desarrollo, en las que el bot obtuvo la calificación C+, logrando aprobar. Sin embargo, no ha sido el único examen al que se ha sometido a ChatGPT, ya que anteriormente fue evaluado en gestión empresarial, en The Wharton School, calificando con B-.

Al analizar el informe de retroalimentación dado por las instituciones, se percibe una mayor facilidad del bot para resolver cuestiones relacionadas con la gestión de operaciones y análisis procedimental. Al momento de escribir, ChatGPT destacó por tener una “sólida comprensión de las normas legales básicas”.

Cabe aclarar que estas evaluaciones se hicieron “a ciegas”, junto con la evaluación estudiantil, es decir, los profesores no sabían cuál era la prueba del algoritmo. Aun así, Jonathan Choi, profesor de la Universidad de Minnesota, explica que sospechaban de la redacción, ya que contaba con una gramática perfecta y frases repetitivas.

Entre los aspectos negativos de la evaluación, en Wharton quedaron sorprendidos, porque el bot presentó errores en matemática básica, equivocaciones que los docentes definieron como “increíbles”, agregando que en la práctica, estos podrían representar un problema a gran escala.

Implicancias judiciales

La inteligencia artificial ha tomado cada vez más protagonismo en los tribunales ordinarios; los sistemas automatizados de decisión han sido considerados por diferentes países como China, Singapur o Estados Unidos para cumplir roles como asistentes legales. Un ejemplo es Xiao Zhi 3.0, algoritmo chino que comenzó encargándose de tareas simples como la lectura de derechos, pero que ahora desempeña roles como la grabación de testimonios con reconocimiento de voz, análisis de datos en tiempo real y verificación en temas económicos sencillos.

Matías Aránguiz

Matías Aránguiz, subdirector del Programa Derecho, Ciencia y Tecnología de la Universidad Católica de Chile, cree que antes de contemplar el impacto de estas tecnologías en la práctica judicial se debería tener claro qué rol se le otorga al algoritmo, ya que, en teoría, no debería ser una herramienta determinante al momento de dictar sentencias, sino más bien, un complemento al criterio del juez a cargo.

Respecto de este punto, Aránguiz considera que hay que distinguir “el trabajo que se va a reemplazar”, porque no es binario, explica: “No es darle todo el poder o no tener tecnología; puede haber puntos de reemplazo, en que la IA no dicta la sentencia, es una ayuda intermedia”.

El investigador UC también comenta que el grado de autonomía que se les otorga a las IA es fundamental para calcular su implicancia ética en los procedimientos, ya que antes de darle independencia a estas herramientas, se debería tomar en cuenta su riesgo de error: “La pregunta no es si el sistema es bueno o malo; la pregunta es qué nivel de autonomía puede tener. Uno puede medir el riesgo de que el algoritmo se equivoque y, sabiendo esto, analizar cuánta autonomía le damos”.

Los sesgos de programación

María José Arancibia

Otro de los puntos a considerar al momento de aplicar las inteligencias artificiales tiene que ver con los sesgos y discriminaciones, ya que, al ser una herramienta condicionada por la tutela humana, corre el riesgo de ser influenciada en lo bueno y en lo malo de quien la desarrolla.

Así, la abogada socia de ObradorDigital, María José Arancibia, explica que esta tecnología queda a cargo de un desarrollador, una persona, por lo que si no se tiene una regulación de los contenidos que se les enseña, puede presentar los mismos defectos que un ser humano.

“A la IA tienes que alimentarla de información y, como quien la alimenta es un humano, éste puede sesgar a la IA. Debe haber reglas desde antes de su creación, sobre qué se le enseñará y qué no; sobre qué dirá y qué no podrá decir”, añade.

Uso educativo

La utilidad de ChatGPT ha variado desde la escritura de ensayos hasta la creación de piezas artísticas como canciones o poemas, y es esta capacidad la que ha puesto en duda su uso en el sector académico de las universidades norteamericanas.

El debate nos ha dejado con dos partes. Por un lado, están quienes piensan que la IA complementa el estudio de los alumnos: aquí está Jonathan Choi, profesor de la Universidad de Minnesota, quien escribió en Twitter que ChatGPT no es capaz de tener un conocimiento autónomo, sino más bien, necesita algunas capacidades humanas para funcionar.

Por otra parte, hay una cantidad de docentes que creen que se prestará para que los estudiantes hagan trampa en sus exámenes, o incluso peor, servirá para difundir información inexacta. Es por ello que en Nueva York, el distrito escolar prohibió utilizar ChatGPT en las escuelas públicas, las que deberán solicitar su uso para fines relacionados directamente con la enseñanza sobre inteligencia artificial.

María José Arancibia —también profesora de derecho civil— aclara que no todo debe verse como negativo o positivo, sino que debería existir un análisis crítico de la manera en la que se abordan estas innovaciones a nivel académico, ya que por sí sola, la tecnología es sólo una herramienta: “La tecnología no es buena ni mala para los estudiantes, por lo tanto, que las herramientas sean positivas o negativas dependerá de cómo estén siendo utilizadas. No podemos apresurarnos a dar una opinión al respecto, ya que el responsable es quien le da uso”.

¿Qué dice ChatGPT?

ChatGPT

Consultamos a ChatGPT al respecto, no solo sobre su capacidad como estudiante, sino también por la aprobación del examen de Minnesota. El bot nos indica que solo es una IA diseñada para responder preguntas, pero que es capaz de resolver dudas relacionadas con el Derecho.

“Como IA no puedo aprobar exámenes o realizar acciones físicas en el mundo real. Mi capacidad se limita a responder preguntas y proporcionar información basada en mi entrenamiento en datos y texto otorgados previamente. Sin embargo, puedo resolver cuestiones relacionadas con el Derecho y proporcionar información general sobre temas legales”, dijo ChatGPT.

También te puede interesar:
— Conversando con un bot
— Sesgos, autorregulación y marco regulatorio, los dilemas de la IA en el mundo
— Responsabilidad civil e inteligencia artificial: un desafío del futuro
— Algoritmos éticos: ¿cuáles deben ser los estándares para que una IA tome la decisión?