China tiene una IA capaz de escribir un libro
¿Puede la IA escribir El Quijote? China revela un modelo superior capaz de escribir un libro
Investigadores chinos desarrollan modelos de inteligencia artificial capaces de generar textos coherentes de más de 10.000 palabras
El Quijote tiene 378.591 palabras, de las cuales son distintas 22.800. El reto para una inteligencia artificial que quiera ponerse a la altura de Miguel de Cervantes es titánico, pero no imposible.
La limitación habitual de los chatbots ha sido su capacidad para generar respuestas extensas y coherentes. Mientras que modelos como ChatGPT, Claude o Gemini pueden manejar grandes volúmenes de texto y mantener el contexto en conversaciones largas, suelen flaquear cuando se trata de producir salidas que superen las mil palabras.
Un grupo de investigadores de la Universidad de Tsinghua, en Pekín, dice haber encontrado una solución a este desafío, algo que supone nuevas posibilidades para el futuro de la inteligencia artificial.
Escribir un libro
Los chatbots actuales no son capaces de generar textos de 800 o mil palabras fácilmente. Incluso con un prompt adecuado, no suelen llegar a la orden que se les ha dado en una primera interacción. Esto representa un obstáculo para aplicaciones que requieren la creación de textos extensos, como la redacción informes detallados.
José Francisco Ruiz, uno de los grandes maestros en traducción, contaba en El Debate que si le pedimos a una IA que escriba un libro, «saldría una versión bastante aceptable del texto que precisaría, como mucho, una pequeña edición humana posterior» y aclaraba que se debe a que «se está volcando toda la inversión sobre las lenguas dominantes».
Saldría una versión bastante aceptable del texto que precisaría, como mucho, una pequeña edición humana posteriorTraductor
Sobre los traductores gratuitos, Ruiz aclara que «lo que no tienen es conciencia como para identificar la autoría del texto, lo que traducen es el texto, no traducen a autores». Pero este experto va más allá: «No lo saben ahora, pero eso es tan simple como cruzar una serie de elementos contextuales, históricos... es decir, alimentar esta máquina con otro tipo de contenidos como para que sea capaz de identificar rasgos estilísticos, frecuencias léxicas...».
El avance de Tsinghua
El equipo de investigación dirigido por Yushi Bai en la Universidad de Tsinghua ha presentado un avance que podría cambiar este panorama. Han desarrollado dos modelos de lenguaje grande (LLM) capaces de generar textos de más de 10.000 palabras de manera coherente. No llegaría a las 300.000 palabras de El Quijote pero ya podría hacer frente a una novela breve.
Estos nuevos modelos, denominados LongWriter-glm4-9b y LongWriter-llama3.1-8b, no solo amplían la capacidad de salida de los LLM existentes, sino que también demuestran que es posible crear textos largos y coherentes en una sola respuesta.
Los nuevos modelos demuestran que es posible crear textos largos y coherentes en una sola respuesta
Los investigadores atribuyen la limitación de salida de los modelos actuales a la longitud de los textos utilizados durante el ajuste fino supervisado (SFT). Para superar esta barrera, desarrollaron un sistema llamado AgentWrite, que descompone las tareas de generación y permite a los LLM producir respuestas extensas y coherentes. Según los expertos, «el LLM de contexto largo existente ya posee el potencial de una ventana de salida más grande».
Efectividad
Para probar la efectividad de sus modelos, los investigadores solicitaron a un chatbot basado en GLM-4 9B que creara una historia de 5.000 palabras. El resultado fue una salida máxima de 1.896 palabras, lo que redunda en la limitación de los modelos tradicionales. Pero el LongWriter-glm4-9b pudo generar una respuesta de 7.872 palabras ante la misma solicitud, lo que representa un avance sin precedentes. Sin embargo, los investigadores también notaron que estos modelos mejorados tienden a producir respuestas más largas de lo solicitado, un punto a ajustar en futuras versiones.
LongWriter-glm4-9b pudo generar una respuesta de 7.872 palabras ante la misma solicitud
El trabajo del equipo de Tsinghua marca un precedente importante en el desarrollo de chatbots y modelos de lenguaje largo. La velocidad a la que se desarrollan los modelos de IA dan la razón a Sam Altaman y a su lista de profesiones en riesgo.