Conocimos a Marina Buitrago en la jornada Retos y Oportunidades en el Sector LegalTech organizada en Madrid por la Facultad de Derecho y Ciencias Políticas de la Universitat Oberta de Catalunya el pasado mes de diciembre. Ya entonces nos llamó poderosamente la atención esta Graduada en Derecho por la UOC (con 12 Matrículas de Honor) y estudiante de último año de Ingeniería Informática en la Universidad Carlos III (seis Matrículas de Honor con especialización en IA), un muy recomendable perfil profesional híbrido que ya asoma en su Linkedin: Aspiring Lawyer. Aspiring Computer Engineer. I always take the necessary path, no matter the challenges. I will go to the end of the world for something I care enough about. Marina está trabajando actualmente en una serie de proyectos, uno en el ámbito de la ciberseguridad en relación con la IA Explicable y otro en el Desarrollo de Legal Tech, y además está con las manos en la masa preparando su podcast de Derecho tecnológico que saldrá próximamente. Apasionada de la escalada (valora de esta disciplina deportiva que entrañe una gran exigencia física y cognitiva) publicamos hoy su primer artículo en Derecho Práctico en la absoluta seguridad de que esta mujer hollará la cima que se proponga.
El aprendizaje automático (AA) es una rama de la Inteligencia Artificial, que se caracteriza por la capacidad de las máquinas de emular el comportamiento inteligente humano ejecutando tareas complejas y resolviendo problemas.
El primer paso para desarrollar un modelo de AA es definir la tarea que se pretende predecir. A modo de ejemplo, en el caso de un predictor de sentencias de un tribunal, la tarea a predecir podría ser si se estima, si no se estima o si se estima parcialmente la demanda. Asimismo, también se podrían predecir los fundamentos de derecho del tribunal o una combinación de las dos anteriores. Es decir que se proporcionará determinada información al modelo, esa información será procesada y el modelo nos devolverá un output con la solución al problema definido.
La información que proporcionamos a los modelos se denomina variables de entrada o atributos y es la información con la que el modelo se nutrirá. Por su parte, la variable que queremos que nos devuelva el modelo se denomina variable de salida.
El segundo paso es organizar las variables de entrada. Estos atributos deberán ser cuidadosamente seleccionados pues esta es la información de la que se nutre el modelo para aprender. No existe un procedimiento que garantice que con una serie de datos se van a conseguir unos buenos resultados, sino que la selección de dichos datos se basa en las hipótesis del analista de datos. Lo que sí es cierto es que para lograr unas buenas predicciones es imprescindible la disponibilidad de datos fiables, abundantes y representativos.
Ahora bien, el analista de datos en este caso deberá ser jurista o, al menos, el jurista deberá realizar una importante labor en este campo. Ello se debe a que solo el jurista sabe qué leyes, sentencias, normas o doctrina son relevantes según qué caso. Por consiguiente, el jurista tiene que ser un gran analista de jurisprudencia y un gran conocedor del ordenamiento jurídico en el que está operando. Siguiendo con nuestro ejemplo aplicado a tribunales penales tal vez lo que nos interese sea conocer si la sentencia se estimará o desestimará y cuál será la pena. Un buen conocedor del derecho sabe que las normas penales van más allá del Código Penal y la Ley de Enjuiciamiento Criminal. A modo de ejemplo, el art. 333 CP recoge que:
«El que introdujera o liberara especies de flora o fauna no autóctona, de modo que perjudique el equilibrio biológico, contraviniendo las leyes o disposiciones de carácter general protectoras de las especies de flora o fauna, será castigado …»
Esto es una ley penal en blanco, lo cual significa que se ha de acudir a otras leyes o reglamentos para determinar la tipicidad. Si el analista no se ha percatado de todas las fuentes legales que intervienen en nuestro modelo, será cuando se produzcan las famosas alucinaciones. Cuando el modelo no tiene información en su base de datos de entrada tiende a sobregeneralizar según sus datos de entrenamiento y este comportamiento puede ser impredecible, pudiendo inventar información. Luego, las alucinaciones no son tanto un problema del modelo como una deficiencia del analista. En realidad, las alucinaciones podrían ser comparables a la argumentación por analogía del jurista con salvadas diferencias. El jurista sabe distinguir cuándo puede realizar una analogía y cuándo no. No es el caso de la inteligencia artificial, la cual –por el momento– no sabe cuándo procede o no argumentar por analogía y por ello es que en ocasiones puede indicar artículos erróneos o sentencias inexistentes.
Por otro lado, y como ya se señaló, el jurista debe seleccionar cuidadosamente qué fuentes legales serán necesarias para entrenar al modelo. La utilización de Large Language Models de manera indiscriminada es una muestra de que no se están empleando los profesionales adecuados en las fases de pre-entrenamiento. La utilización de información irrelevante al caso, no solo no aporta valor sino que puede aportar ruido en los datos. Por ejemplo, si se está realizando una IA en el ámbito penal, los datos provenientes de derecho internacional privado probablemente aporten muy poco valor. Cuando se usan LLM hay que valorar si la información proporcionada ayuda al modelo a recoger relaciones semánticas entre palabras o contextos o, de lo contrario, es irrelevante o contraproducente. Además, el almacenamiento de un gran volumen de datos es significativamente costoso y el proceso de entrenamiento del modelo con dichos datos supone un gran consumo de tiempo y energía, lo que se puede traducir en un grave impacto en la huella de carbono (emisiones en el orden de toneladas métricas de CO2).
No es esencial que el jurista domine todos los aspectos técnico-informáticos, pero es crucial que posea un entendimiento sólido y claro sobre la información relevante, comprendiendo su importancia y el método adecuado para su manejo.
Existen diferentes formas de aprendizaje en un modelo de AA: supervisado, semi-supervisado, no supervisado, aprendizaje por refuerzo y algunas otras variantes. En el presente caso, por su importancia, nos centraremos en el aprendizaje supervisado. Como se mencionó anteriormente por un lado tenemos las variables de entrada y por otro la variable de salida. En el caso del predictor de sentencias podríamos tener, como se muestra en la figura, una serie de variables de entrada (año de resolución de la sentencia, antecedentes de hecho, entre otras que también pueden provenir de otras fuentes legales) y la variable de salida que podría ser el fallo de la sentencia (aunque como se mencionó, podría ser otra).
El tercer paso consiste en dividir los datos entre los conjuntos train y test pues cada uno de estos conjuntos serán usados en los pasos siguientes. Esta división se puede realizar de diferentes maneras, pero normalmente se suele tomar para train el 70% de las filas y para test el 30% restante.
El cuarto paso implica entrenar al modelo de AA. Para ello se tomará el conjunto train. Cuando estamos ante aprendizaje supervisado, en la fase de entrenamientoel modelo estudiará las filas teniendo los datos de su variable de salida. Esto es, será provisto de todas las filas y con todos y cada uno de sus respectivos atributos (incluyendo la variable de salida): año de resolución, artículos mencionados en los fundamentos, etc y su respectiva variable de salida (el fallo asociado). De esta manera el modelo aprenderá en qué casos se estima, desestima o estima parcialmente una sentencia. El correcto aprendizaje dependerá en gran medida de la calidad de los datos, por lo que es imprescindible que los datos estén adecuadamente etiquetados. El etiquetado no es más que, ante un individuo de nuestro conjunto (una fila de la tabla), asignar una variable de salida.
Luego, la fase de etiquetado es esencial y muy delicada. Todo conjunto de calidad debe evitar un etiquetado erróneo de sus datos, pues ello conllevaría la introducción de contradicciones y ruido en los datos. En ciertos casos, para garantizar la calidad de los datos, el etiquetado se realizará manualmente, mientras que en otros, será posible la automatización. Independientemente del método elegido, la participación del jurista resulta fundamental.
A modo de ejemplo, si la variable de salida es una lista con los artículos que el tribunal requerirá para su fundamentación jurídica, la automatización es muy compleja e incluso podría inducir a error. Ello se debe a que, con la automatización, fácilmente se podría extraer de una sentencia la estructura art. XX <ley>, sin embargo, no es posible saber si el tribunal está empleando ese artículo para apoyar su fundamentación o para argumentar por qué en el caso no es aplicable. Por consiguiente, no es posible realizar este tipo de etiquetado de manera automatizada y se requieren juristas expertos que sean capaces de analizar el contenido de la sentencia y seleccionar en qué artículos se basa la fundamentación jurídica. Por su parte, en el caso de que solo sea necesario que la variable de salida sea el fallo (estima, desestima, estima parcialmente) esto será automatizable de manera más sencilla, aunque también se requerirá cierta intervención del jurista pues es necesario encontrar un patrón cuya semántica sea equivalente a una de las etiquetas de la variable de salida. A modo de ejemplo sinónimos de desestimar que son recurrentes en la jurisprudencia son “no haber lugar al recurso”, “no haber lugar a la estimación del recurso” o “inadmitir la demanda”, todo ello dependiendo de la jurisdicción en donde son más recurrentes algunos patrones más que otros.
El quinto paso abarca la fase de test. El modelo, una vez entrenado se le propondrá predecir la variable de salida y dado que el aprendizaje es supervisado, se comparará mediante el uso de diferentes métricas los resultados emitidos por el modelo con los resultados reales de la variable de salida.
La labor del jurista en este caso también es fundamental puesto que será el encargado de analizar los resultados proporcionados por la IA. Si los resultados no son los adecuados deberá ser capaz de analizarlos e interpretar el comportamiento desviado (a modo de ejemplo, se podría deber a que los datos están desbalanceados; en el conjunto de test el modelo se enfrenta a tipos de datos no presentes en el conjunto train). Por su parte, cuando las métricas de evaluación indican una alta precisión del modelo, es necesario realizar una evaluación cuidadosa para determinar si el modelo mantendría su efectividad en un conjunto de datos reales de producción. Esta rigurosa evaluación es una tarea compleja que requiere un profundo entendimiento del marco legal en el que se opera, habilidad que solo un experto jurista puede llevar a cabo con éxito.
En definitiva, el input del jurista en el desarrollo de Inteligencia Artificial es fundamental y el correcto dominio y conocimiento de las fuentes legales es una habilidad clave en la actualidad. Se requiere de una gran capacidad analítica y un manejo productivo y avanzado de las fuentes legales.
