Los Modelos de Lenguaje de Gran Tamaño (LLM) han transformado la forma en que los humanos interactúan con la tecnología. En los últimos años, se ha producido un auge de distintas aplicaciones de Inteligencia Artificial basadas en estos modelos, pero ¿qué son exactamente estos modelos de lenguaje que hay detrás de herramientas tan conocidas como ChatGPT o Copilot? En el presente artículo, publicado en NewLaw Pulse (la newsletter de PwC para estar al tanto de las últimas novedades tecnológicas aplicadas al ámbito legal y fiscal), se aborda el concepto de LLM, la evolución de estos modelos y su relevancia actual.
¿Qué entendemos por LLM?
Los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) son un tipo de Inteligencia Artificial (IA) que se centra en el procesamiento y generación de lenguaje humano. Son, en esencia, sistemas de aprendizaje profundo que se nutren y entrenan con grandes conjuntos de datos para, posteriormente, poder realizar tareas relacionadas con el procesamiento del lenguaje. Estos modelos generan nuevas combinaciones de texto que imitan el lenguaje natural basándose en los datos con los que fueron entrenados.
Los LLM han revolucionado recientemente la forma en que las máquinas interactúan con los humanos, permitiendo conversaciones fluidas y naturales a través de numerosas aplicaciones de IA. Pero, ¿cómo hemos llegado a este grado de desarrollo tecnológico y qué avances han sufrido estos sistemas para poder procesar cantidades ingentes de datos?
Historia y evolución de los LLM
La historia de los LLM se remonta a los primeros días de la informática. En 1950, el matemático británico Alan Turing propuso en su ensayo ‘Computing Machinery and Intelligence’ lo que ahora conocemos como el Test de Turing. Este experimento, diseñado para evaluar la capacidad de una máquina para exhibir un comportamiento inteligente indistinguible del de un humano, sentó las bases para el desarrollo de la Inteligencia Artificial.
En 1966, surgió el primer chatbot de la historia, Eliza, creado por Joseph Weizenbaum en el Instituto de Tecnología de Massachusetts. Eliza se basaba en patrones de sustitución para generar respuestas, lo que le permitía imitar el lenguaje natural. Aunque su capacidad de procesamiento y su repertorio para hacer frente a distintas casuísticas planteadas por los usuarios eran limitados, su enfoque simulando conversaciones humanas fue realmente innovador para la época.
A lo largo de las siguientes décadas, los LLM continuaron evolucionando, con desarrollos significativos en áreas como el procesamiento del lenguaje natural y el aprendizaje automático que permiten mejorar los resultados que ofrecen estos sistemas. Sin embargo, no fue hasta la llegada de los modelos de lenguaje como GPT en el año 2017, cuando asistimos a un salto sin precedentes en la calidad de la generación de texto. GPT (Generative Pretrained Transformer, por sus siglas en inglés), es un modelo de lenguaje desarrollado por OpenAI que utiliza una arquitectura basada en transformadores para generar texto coherente y de alta calidad. Dichos modelos partían de una arquitectura Transformer de modelo que utiliza mecanismos de atención para mejorar la velocidad y la calidad de la generación de texto.
Desde su lanzamiento, GPT ha pasado por varias versiones, cada una más potente y capaz que la anterior. No obstante, pese a su peso en el mercado, este fenómeno no se limita a GPT, sino que también se está viviendo con otros modelos de lenguaje, que experimentan mejoras significativas en lapsos muy cortos de tiempo. Estos modelos, cada vez más sofisticados y capaces de procesar grandes cantidades de datos, están revolucionando el campo del procesamiento del lenguaje natural. Podemos encontrar otros ejemplos de LLM desarrollados por otras compañías como pueden ser: PaLM 2 de Google, LLaMA de Meta o Grok de X.
En la actualidad, estos LLM tienen la capacidad de generar contenido original en diversos estilos y formatos. Estos modelos pueden mantener conversaciones complejas con los usuarios y pueden elaborar o resumir artículos de noticias o poesía. Fruto de los avances recientes, los LLM son capaces de procesar distintos tipos de contenidos, convirtiéndose en LLM multimodales. Esto significa que también pueden procesar y generar otros tipos de contenidos, como imágenes y videos, abriendo enormemente el abanico de posibilidades que ofrecen a los usuarios.
Impacto en la IA y relevancia actual
La IA ha transformado la forma en que interactuamos con la tecnología de una manera sin precedentes. Desde los primeros días de Eliza hasta los modelos de última generación como GPT pasando por los ordenadores capaces de realizar tareas complejas como conducir un vehículo o jugar una partida de ajedrez, hemos visto un progreso impresionante en la capacidad de las máquinas para asimilar el contexto en función de las probabilidades asociadas a cada situación para generar contenido asimilado al lenguaje humano. El aumento de la capacidad de procesamiento de los LLM, la simplicidad de su uso, y los entrenamientos cada vez más refinados contribuyen positivamente a una mejoría pronunciada en los resultados que ofrece la IA.
Estos avances no solo han mejorado la calidad de nuestras interacciones con las máquinas, sino que también han abierto nuevas posibilidades para la colaboración entre humanos y máquinas. Los LLM nos permiten comunicarnos con las máquinas de una manera más natural y eficiente, lo que tiene el potencial de transformar una amplia gama de industrias, desde los servicios que se ofrecen a los clientes hasta la formación y desarrollo del capital humano. En concreto, en el ámbito legal, como en todas las profesiones basadas en el conocimiento, el alcance de la transformación dependerá de nuestra capacidad de mejorar la precisión de los modelos mediante el entrenamiento con información de calidad y pertinente para cada una de las tareas de cara a obtener mejores resultados en aquellas tareas que requieren de un conocimiento técnico más avanzado como pueden ser: generar documentos legales, analizar grandes volúmenes de documentación, identificar patrones y proporcionar resúmenes jurídicos relevantes.