Aunque Lefebvre siempre ha estado en primera línea de la innovación legal, los últimos dos años están siendo ciertamente vertiginosos para esta compañía. Cómo no, nos referimos al impacto que ha tenido la inteligencia artificial generativa. Y llevábamos tiempo escuchando de profesionales a los que admiramos que Ángel Sancho, director de IA y Sistemas de Información Legal, y Jorge Sabater, responsable de Producto Online y Arquitectura General, tienen buena parte de culpa de lo que está aconteciendo en ese Ecosistema Lefebvre. Con ellos mantuvimos una conversación que derivó en un bombardeo incesante de esas ideas que hacen que te explote la cabeza.
Ángel tiene formación jurídica, pero vocación tecnológica. Para él, la IA generativa es un hobby: es trabajo, pero también entretenimiento. Nos dice que le gusta dibujar, rollo ilustración (aunque no publica) y también le encanta la música clásica. La formación de Jorge es la ingeniería de telecomunicaciones, pero su vocación es, podríamos decir, ilimitada. No es ingeniero puro, porque su lado humanista es muy acusado, interesándose por todo lo relacionado con el lenguaje y las humanidades en general. Aficionado a los libros antiguos, habla latín, griego, alemán, inglés, francés, italiano… Ojo al dato: ha ganado medallas en natación compitiendo en Campeonatos de España, y eso le hace más ilusión que la generativa.
Si estas alturas estás pensando que estamos ante dos auténticos personajes, te doy toda la razón. Pero personajes de los buenos, de aquellos que protagonizan hitos fundamentales en las organizaciones. Tipos geniales que entienden, como leerás más adelante, que, al final, las grandes innovaciones se basan en entender lo que quiere el cliente. Conoce el gran trabajo de Ángel y Jorge, los amos del calabozo en Lefebvre.
Para empezar, tengo que deciros que compañeros vuestros en Lefebvre, pero también colegas de otras empresas del sector, me han hablado maravillas de vosotros. Por lo que me han dicho, me da la impresión de que sois una especie de amos del calabozo (aunque mole más decir dungeon master) de la tecnología y conocimiento de Lefebvre.
Jorge. La ventaja que tenemos es que todo el desarrollo que se ha hecho internamente nos permite controlar el sistema de parte a parte. Es decir, hemos desarrollado y controlado desde el sistema editorial, donde se mete toda la información, pasando por el sistema de producción, que envía esa información a internet con su actualización, hasta el producto en internet, donde se publica esa información. Entonces, cuando hay que incluir alguna pieza nueva, al controlar el sistema entero y tener una visión precisa de todo, es fácil saber cómo encajarlo para llegar a resultados rápidos. No tenemos que ponerlo como un extra que luego tiene que coordinarse con los demás, sino que podemos tocar en varios puntos del sistema para que la integración sea buena. Eso nos permite ir muy rápido y ser realmente los amos del calabozo, en la medida que el conocimiento de todo el sistema son las llaves del calabozo.
Dentro del proceso, desde la ideación de un producto hasta el lanzamiento, sois de esa gente que está en todas las fases, entonces…
Ángel. Sí, y además te cuento una idea que es importante, pensando en la IA generativa. El proceso, al final, es un trabajo iterativo y con equipos multidisciplinarios. Hay una idea, vamos a prototiparla, y si encaja técnica y funcionalmente, seguimos avanzando. Junto a nuestras compañeras Macarena y Mónica, que tienen un perfil jurídico, lo que hacemos es validar si la idea tiene sentido para un profesional jurídico. En última instancia se hace un alter ego de si el sistema está siendo inteligente o no. Piensa en un programa de ajedrez: una cosa es que muevas las piezas, y otra es que las muevas inteligentemente. Pero siempre el proceso es muy iterativo y pegado a la tecnología. Como decía Steve Jobs, hay miles de ideas flotando en el espacio. Lo difícil es coger las ideas que sean más valiosas para el usuario y que, además, sean factibles.
Y que sean ejecutables…
Jorge. Sí, y a ser posible, que las podamos probar rápido. Es decir, lo que no queremos es invertir meses en ver si la idea merece la pena o no. No podemos fiarnos de nuestras intuiciones mucho tiempo.
O sea, en ese sentido, funcionáis con una filosofía startup pura y dura.
Ángel. Completamente. Esto a veces lo sufre Macarena, por esa intensidad extra en la generación de ideas y en el testeo de prototipos. Pero sí, lo has definido muy bien.
Habladnos un poco más de vuestra relación con los diversos departamentos (innovación, comunicación, comercial, etc.) con los cuales interactuáis en todo ese proceso, desde la ideación al lanzamiento.
Jorge. Al final, lo que a veces te encuentras es un poco de resistencia al cambio. Por ejemplo, con GenIA-L se cambia completamente la forma de ver la base de datos. Te olvidas de la lista de resultados. Trasciende la clásica lista de resultados, da unas respuestas y ofrece funcionalidades que hasta su lanzamiento no existían. Y si esto lo quieres meter en producto, tienes que cambiar el producto de arriba a abajo. Ya no tiene sentido tener el carromato con los bueyes si ahora tenemos motor de explosión. Estamos cambiando, y esa resistencia al cambio, al final, es la más puñetera.
Ángel. En este proceso, en el momento que vamos concibiendo las ideas, las vamos comunicando a dirección, y estamos trabajando en esta línea Cuando hay algo ya maduro, entonces ya pasa a un proceso de decisión, más de detalle, y se empieza a pensar en su validación con clientes y todos los procesos de comercialización. Es lo bueno de trabajar agile y, además, como somos un equipo pequeño, ni siquiera necesitamos formalizarlo con sprints y otros elementos que, a veces, no ayudan demasiado.
En el caso de la IA generativa, el extra de dificultad es que, como ha dicho Jorge, ya no es una evolución de la base de datos: estamos en una tercera generación. El interfaz de usuario ya no tiene nada que ver con la base de datos que conocemos de toda la vida. Se parece más a un Siri o a una interfaz muy simple.
Y a esto hay que sumar las primeras ideas que llegaban sobre la IAGen, en el sentido de que no se podía aplicar al derecho porque, y es cierto, alucina, no se puede actualizar, no te puede citar las fuentes, que eran los problemas realmente importantes en su momento. Pero los fuimos resolviendo a base de integrarla con un buscador, que es la arquitectura que ahora todo el mundo asume. Lo que necesitas es un buen buscador y un excelente sistema de prompts: con esas dos cosas puedes empezar. Y la tercera pata, que a veces no se tiene tan presente, es que tienes que identificar los casos de uso. Tienes que decir: ¿Qué problema vamos a resolver al cliente?
Supongo que has visto nuestro producto. Hay una serie de prompts, de habilidades, que están pensadas del siguiente modo. Si yo tuviese un junior, tengo que encargarle información para que la busque, pero luego le voy a pedir que esa información me la presente de una forma agradable: en una tabla de casuística; en un esquema de conclusiones a favor o en contra; con una explicación sencilla porque este tema no lo domino; o con una explicación muy profunda y jurídica, ya que este tema lo domino. De este modo, cada uno de esos botones que hay tiene un enfoque distinto al informe.
El símil que me ayuda a entender cómo GPT no es nada si no hay un buscador debajo es el siguiente: nuestro cliente es como un socio de un despacho, que no va a hacer las búsquedas por sí mismo, y lo que normalmente ocurre en los grandes despachos es que esto se lo encarga a un junior, y este pide ayuda a un documentalista. El documentalista le genera un dossier y le dice que, sobre el tema que le ha planteado, ha encontrado todo esto, a ver si le sirve. El junior coge eso y le dice al jefe cómo quiere que le presente el informe. Y ese junior es el GPT que estamos instruyendo para que tenga prompts cada vez más inteligentes.
«GenIA-L, con su IA generativa, no es una evolución de la base de datos: estamos en una tercera generación»
Entonces tiene que haber un equilibrio entre ese prompt y el buscador subyacente, ¿no? Da la impresión, e igual estoy soltando una boutade, de que habéis diseñado una herramienta, GenIA-L, que el abogado puede utilizar sin tener demasiado desarrollada esa habilidad de legal prompting. Se lo ponéis muy fácil, sobre todo en las sugerencias.
Jorge. Esa es la idea. La cuestión no es darle más botoncitos para que juegue, sino darle la solución a su problema. En el fondo, es lo mismo que pasa con las búsquedas. Hay que saber buscar para encontrar lo que se quiere, y no todo el mundo tiene esa capacidad. Entonces, lo primero que tenemos que hacer para elaborar ese informe es nutrirlo de la información necesaria, y por ello tenemos que tomar las decisiones de búsqueda que tomaría un experto buscador humano sobre qué consultas debo hacer. Tenemos que conseguir sacar esa buena información, actuando no ya como un motor de búsqueda clásico, sino como un agente de búsqueda más inteligente, que luego se verá completado con el GPT. Pero lo que intentamos es no requerir del usuario una habilidad extra para que aquello funcione bien. Es decir, lo que no queremos es tener que decirle al usuario que esto no lo está usando bien, que no tiene que preguntar ni buscar así. Eso debemos dejarlo atrás para decirle al usuario: tú pregunta que nosotros responderemos.
Ángel. Tu pregunta merecía dos respuestas muy interesantes. Una es que, si el buscador no funciona, GPT no va a funcionar. Esa es la primera parte. La segunda es que no hemos optado por un chat abierto, que también lo podríamos hacer y nos lo planteamos, pero preferimos ayudar al usuario encapsulando una serie de prompts expertos. Hemos trabajado en ese proceso de búsqueda subyacente y la forma de presentarle la información. Si le diésemos un chat abierto al usuario, probablemente no se le ocurriría la mitad de los prompts que hemos puesto: puede pedirnos una tabla, que los argumentos los planteemos en un sentido y en otro, puede haber una explicación coloquial o un informe jurídico más técnico. Y todos esos prompts son los que hemos encapsulado y trabajado con la experiencia.
Jorge. Y, por otra parte, si hiciéramos un chat abierto, a ver quién es el guapo que le hace un control de calidad y dice si esto funciona bien o mal. Con eso garantizamos unas funcionalidades básicas que son atractivas y no nos pillamos los dedos en el sentido de que, en vez de alucinar el GPT, alucine el cliente preguntándole cosas raras.
«Los problemas de la IAGen los fuimos resolviendo a base de integrarla con un buscador, que es la arquitectura que ahora todo el mundo asume»
Me gustaría saber cuándo se os encendió la bombilla y dijisteis: ¡Hay que hacer esto!
Ángel. Al principio de salir ChatGPT, ya estábamos viendo cosas de IA generativa y teníamos algunas ideas, pero cuando vimos que funcionaba tan bien, la siguiente pregunta fue identificar esos tres puntos débiles que hemos comentado antes: alucinaciones, un nuevo lenguaje que no sirve para actualizarse y que no te va a decir las fuentes. Vimos a mediados de diciembre de 2022 que la solución era engancharlo con el buscador y utilizarlo como esa inteligencia extra. Piensa en ese símil de que tenemos un documentalista muy bueno, pero si le podemos meter un junior, entonces el abogado ya puede dejar de sufrir y de decir aquello de qué pereza las bases de datos. Todos los profesionales jurídicos se quejan del exceso de resultados.
La pregunta anterior se justifica porque hay detalles que me parecen curiosos. Si hablamos de herramientas innovadoras antes de la irrupción de la IAGen, vuestras Sibila y Tándem son posteriores a otras como Cloud y Vincent, de vLex. Además, Lefebvre no apostó en su día por la analítica jurisprudencial estadística predictiva, que ha dejado herramientas como Jurimetría o Tirant Analytics. Pero habéis sido los primeros en lanzar una herramienta de IA Generativa aplicada a la investigación legal.
Jorge. Es que esta tecnología sí que nos parecía atractiva. Lo de la analítica de jurisprudencia, personalmente, nunca me terminó de convencer, conociendo cuál era la materia prima de que disponíamos, y sabiendo lo que se puede hacer con modelos de aprendizaje. Creo que es algo que puede impresionar mucho pero que no pasaría de ser parte del bagaje de la caja de herramientas de un abogado. En cambio, esto sí tiene impacto: una capacidad de tratamiento del lenguaje así no la he visto en mi vida, y llevo mucho tiempo mirándolo. Esto es otra cosa, la capacidad de dar una información, sintetizarla y manipularla sin perder información por el camino…
Es que los tres somos boomers y sabemos que es muy bestia la evolución en las herramientas de búsqueda de información jurídica de los últimos años. Siempre digo que, si hay un abogado que sabe perfectamente lo que es la transformación digital, es ese abogado de más de 45 años que ha llegado a consultar jurisprudencia y legislación en repertorios o carpetas en formato papel.
Jorge. Las herramientas no tienen nada que ver. Al principio hacíamos fuego con dos piedras. Metías las bases de datos en disquette, y sólo el resumen, porque no cabía más. Luego el CD, que parecía que no se iba a acabar nunca, y en realidad no cabía nada: metías los resúmenes y no metías los documentos. Y cada vez que había que hacer una edición de la base de datos era un dolor. Al final te pasabas la mayor parte del tiempo en cosas que no eran esenciales para la búsqueda.
Y apareció la nube, pero al final seguías haciendo exactamente lo mismo que con el programa Cicerón hace 25 años: buscabas la lista de documentos, pinchabas y veías el documento. Más bonito, más rápido, pero hacías exactamente lo mismo. Al final, el modelo de uso, el paradigma, era el mismo. Y ahora llega la IAGen y lo cambia por completo.
Ángel. Esto es un nuevo paradigma donde los interfaces ya no tienen nada que ver y hay que plantearlo de otra forma. Y todo lo que es el buscador, para el usuario, está por debajo. Ya no tenemos que enseñar que hay unos filtros, que hay operadores lógicos, los paréntesis…
Lo cierto es que los profesionales jurídicos, entonces, tenían sus objetivos y plazos y los cumplían, consultando en papel, CD o DVD. Eran eficaces con aquellas herramientas. Pero ahora sí que se puede ser más eficiente con las soluciones actuales existentes. Y ser eficiente es cumplir los mismos objetivos y plazos, pero con más seguridad y menos recursos. Y el tiempo es el recurso más valioso del jurista…
Jorge. Incluso la barrera de entrada para obtener buenos resultados también se baja, porque antes estaba el profesional avezado que sabía buscar bien, y el que no era tan diestro. Ahora ya no tienes que ser un genio de los operadores lógicos. El profesional explica lo que quiere, recibe una respuesta y de ahí puede saltar a la documentación, pero sin lista de resultados. Por todo ello, esta tecnología actual sí que merece todo el esfuerzo que le podamos dedicar, mientras que las otras que has mencionado, a las que seguro que se les puede sacar rentabilidad comercial, son cosas que pasan y no cambian el mundo.
Hablemos de alucinaciones. Se supone que cuando tienes un dataset, un repositorio de conocimiento jurídico propio y tan bien curado y revisado como el de Lefebvre, es imposible que se produzcan esas alucinaciones, pero no es así, ¿verdad?
Ángel. No es imposible. Se producen. ¿Por qué? Porque, aunque le obligues a utilizar los datos propios, puede que, en algún momento, se haya hecho un mal resumen, o puede que en la fase de documentación no se haya conseguido hacer un dossier donde esté la información correcta. Por simplificar, pueden pasar dos cosas en ese dossier inicial. En primer lugar, es posible que no se haya encontrado la información o un sitio donde esté la respuesta. Y la otra es que tengamos que mejorar el prompt para hacerlo más estricto. Y eso es lo que hemos hecho en este último año: enseñarlo un poco mejor a decirle ‘mira, excluye esto, ten cuidado con esto, y si no estás seguro, no contestes’.
Jorge. Con lo que estamos muy cómodos es que, al tener un sistema relativamente complejo, pero sin muchas cajas negras, somos capaces de resolver los problemas que encontramos tocando en un sitio u otro del sistema, de manera bastante eficaz.
Ángel. Eso es importante lo que dice Jorge. Y lo es porque hay muchas tecnologías de búsqueda que son neuronales y, al final, son cajas negras. En nuestro caso, lo que hay por debajo es mucha inteligencia artificial simbólica, sabemos todas las piezas que hay que tocar. Entonces, la parte de caja negra queda en los modelos de lenguaje, que es donde afinamos con los prompts y con mucho trabajo de validación, y aquí nuestras compañeras juristas son las que ‘sufren’ probando y probando consultas para ver qué prompts están fallando y por qué.
Los despachos o asesorías jurídicas que están leyendo esto, y que estén valorando la implementación de ese tipo de tecnología en su repositorio de conocimiento jurídico, estarán conociendo los recursos que una gran compañía como Lefebvre invierte en evitar alucinaciones. ¿Qué pautas les podríais dar para evitarlas?
Ángel. Claro, ese es otro tipo de repositorio que tiene otras complejidades. Primero tienes que saber el repositorio que vas a atacar, qué estructura tiene y cómo sacar la información correcta. Incluso en nuestro caso no es simplemente hacer una búsqueda. No es lo mismo sacar búsqueda información de un Memento, de una legislación o de una sentencia. Tienes que entender muy bien el contenido. Y en el caso de los contratos u otras formas de conocimiento, tienes que saber dónde está.
Jorge. Nosotros llevamos mucho tiempo estructurando la información con el objetivo de presentarla de forma óptima en el producto final. Es decir, los Mementos tienen una estructura muy detallada, pero en jurisprudencia y legislación nos encargamos de estructurarla todo lo posible a partir del formato original. Aunque el CENDOJ haga un buen trabajo, nosotros de manera automática le damos mayor estructura. Al final todo el buscador se basa, entre otras cosas, en esa estructura. Si alguien quiere utilizar su dataset propio, pues tendrá que ver qué estructura tiene, de qué estructura lo puede dotar, para ver en qué medida es capaz de obtener la información requerida para responder. Ojo, no a su pregunta, sino a su necesidad, porque me imagino que no siempre va a ser un sistema de recuperación de información lo que quiera montar un despacho.
Ángel. Por contestar mejor a tu pregunta, serían tres partes. Una es que tiene que asegurarse de que cuando haga la consulta en su repositorio va a extraer lo más valioso de ahí. Lo segundo, tienen que hacer un análisis o tareas de prompts: para conseguir que el programa haga esto, tengo que explicárselo de esta forma. Y eso va unido a una tercera idea, que son los montones de validaciones. Tenemos identificados una serie de consultas que hay que revisar.
¿Cómo va a afectar a una herramienta tan innovadora como Sibila el protagonismo que tiene ahora GenIA-L?
Jorge. Ahora lo principal es que dejemos como algo anticuado cualquier base de datos que solamente ofrezca una lista de resultados, algo que a nadie se le ocurra usar porque ya hay una cosa nueva. Y después seguiremos con Sibila. Con Sibila tenemos muy claro por dónde tenemos que ir.
Ángel. Tenemos un roadmap potente, pero ahora lo que podemos decir es que nuestro objetivo es que las bases de datos conocidas hasta ahora se queden como un residuo.
¿Es el fin de las bases de datos tradicionales?
Jorge. Eso es lo que nosotros confiamos que ocurra. Dicho de otra manera, si después de hacer GenIA-L sigue siendo atractivo leerse una lista de resultados, es que GenIA-L es un fracaso.
Ángel. La necesidad de información que vamos a resolver es la misma que los que iban a sus tomos de jurisprudencia, que luego se resolvió con online, pero ahora simplemente tendrán un interfaz súper sencillo donde puedan interactuar de formas distintas. Por debajo vamos a tener lo mismo, pero las bases de datos como las hemos conocido creo que empiezan a ser algo obsoleto.
«Si después de hacer GenIA-L sigue siendo atractivo leerse una lista de resultados, es que GenIA-L es un fracaso»
Dejadme que vuelta al tema de los prompts, porque tras escucharos no sé hasta qué punto es necesario, para un usuario de GenIA-L o de otras soluciones basadas en IA generativa, desarrollar habilidades de legal prompting, visto el músculo que está adquiriendo esta tecnología y las expectativas que se están generando para un futuro más o menos próximo. ¿No será más interesante que el jurista dedique sus esfuerzos a la lógica computacional que hay detrás de todo esto?
Ángel. Yo creo que no tiene que volverse loco. Punto primero. Has mencionado dos cosas. Sobre la lógica computacional, creo que le basta con entender un poco qué es eso de un API, un JSON y las reglas del if-then-else. Entender cómo un ordenador estructura los datos y cómo definen las reglas no está de más, y, a partir de ahí, que cada uno profundice como quiera. Hay un debate sobre cuánto deben saber los juristas de computación. No tienen que saber tanto como yo, pero sí que he observado que conocer ese tipo de cosas les ayuda a entender algunos conceptos.
En cuanto a los prompts, es cierto que cada vez son mejores, con lo cual tampoco necesita volverse loco. Entonces te diría dos cosas. La más importante: realmente lo valioso de un prompt es entender la tarea que estás pidiendo. Si entiendes la tarea, vas a saber meter en el prompt los detalles que son valiosos. El prompt no es simplemente decir que actúe como si fuese un juez experto del Tribunal Supremo. Es actuar como se lo pedirías a alguien a quien le dijeses «oye, léete estos documentos y constrúyeme esto». Es bueno entender un poco qué tiene un buen prompt, su estructura general: hay un contexto, hay una instrucción, hay un rol. Y luego tener un poco de conocimiento de qué se le puede pedir. ¿Se le puede pedir una tabla? ¿Le puedo pedir que me haga argumentos a favor y en contra? Son un tipo de cosas que no son obvias y, en ese sentido, sí que parece interesante que cojan un poco de formación de prompts.
Realmente lo valioso de un prompt es entender la tarea que estás pidiendo. Si entiendes la tarea, vas a saber meter en el prompt los detalles que son valiosos
Cuando ideáis un producto, lógicamente, lo hacéis para satisfacer las necesidades de los profesionales. ¿Cómo las conocéis? ¿Dónde está vuestro oráculo?
Jorge. Nosotros sabemos qué búsquedas no abren ningún documento, cuántos documentos se abren y se rebotan. Es decir, sabemos cuándo hay algo que falla. No queremos saber qué es lo que quiere el cliente arquetípico porque eso no existe. Lo que sí sabemos es que hay un porcentaje de ellos que se comportan de tal manera, y eso es lo que nosotros queremos modificar. Al final, tenemos que hacer cambios que podamos medir para confirmar que algo ha cambiado.
Ángel. Aquí tenemos suerte porque estamos trabajando en un sistema de información jurídica. Si hiciésemos un CLM desde cero, esa información no la tenemos, tienes que hacer otro tipo de estudios de mercado. En nuestro caso, además, esa información cuantitativa, que es muy obvia, está consultada en base a resultados. Es decir, sabemos que estos usuarios no han abierto documentos. Eso ya te da una pista que en nuestro caso vale mucho.
Jorge. Otro ejemplo. Sabemos que estos documentos han enganchado tantas consultas, ligeramente diferentes, una detrás de otra, y no han llegado a abrir ningún documento en más de 10 segundos. Al final, las grandes innovaciones se basan en entender lo que quiere el cliente.
Ángel. Eso lo complementamos con los analistas jurídicos que están trabajando de manera directa y toda la redacción de Lefebvre y su experiencia. Además, cuando llega el caso salimos a ver a los clientes para confirmar todas esas ideas.
Lo dicho. Dos personajes incomparables.
