Daniel Arias: «Con la IA, la evaluación tradicional ha muerto. Y no hay solución clara a la vista»

«Querido alumno universitario de grado: te estamos engañando». Bajo este título, el catedrático y economista Daniel Arias Aranda (Madrid, 1972) alcanzaba la efímera condición de «viral» el pasado enero con una carta publicada en LinkedIn en la que trazaba un descarnado retrato de la universidad actual.

Hablaba Arias, desde la altura que le conceden sus 25 años como profesor –antaño en la Complutense, hogaño en la de Granada–, de absentismo del alumnado, deficiencia de habilidades, adicción al móvil, falta de vocabulario y de saber estar... y de una menguante calidad de los trabajos que, para más inri, se ve ahora más amenazada por la llegada de herramientas de IA cada vez más potentes. Desde su cuenta de Twitter, Arias ya se ha pronunciado sobre ellas... y no precisamente para bien.

–No parece que le haga mucha gracia ChatGPT.

–La herramienta esta ahí y a disposición de todo el mundo, por lo que lo que es preocupante es la manera en la que vamos a revisar los trabajos de los alumnos a partir de ahora. Tenemos una IA que en muy poco tiempo ha evolucionado de manera rápida y que es capaz de escribir textos de manera bastante aceptable e incluso rozando la perfección o casi, sobre todo GPT-4. Este es el último curso que estaremos corrigiendo trabajos que no se hayan hecho con IA. A partir de septiembre, cuando todos los alumnos la conocerán ya, se hará un uso mucho más extenso de ella.

–¿No se ha enfrentado todavía a trabajos 'adulterados'?

–Como todavía estamos en el segundo cuatrimestre y la entrega de trabajos es al final del mismo, todavía no he tenido trabajos para leer. Pero es un secreto a voces. El propio profesorado lo está utilizando también, así que esto es un nuevo paradigma.

–¿De qué manera lo están utilizando los profesores?

–El fin de semana pasado hubo un congreso en Salamanca sobre este tema de las IA y de cómo van a impactar en nuestra docencia. Los profesores que ahora mismo tenemos más interés en ello estamos haciendo pruebas y experimentos para elaborar guías docentes y sistemas de evaluación y preparando el escudo para cuando venga el espadazo. Estamos viendo, en definitiva, cómo replanteamos la docencia. La mayor preocupación que surgió en este congreso fue con los TFG y los TFM. Ya no se pueden evaluar de la misma manera porque posiblemente la mayoría de su contenido estará hecho por una IA. La única opción que nos queda es la de la evaluación presencial, es decir, tener el trabajo delante y hacerle al alumno un examen oral para ver si realmente lo ha hecho él. Esto está muy bien, pero cuando tienes 50 o 100 alumnos en clase estamos hablando de 25 horas para examinarlos a todos. Si tú tienes 60 horas de clase y tienes que dedicar 25 de ellas a esto, no vamos a poder dar toda la materia. Ahí es donde viene la mayor de nuestras preocupaciones ahora mismo, pero como esto evoluciona tan rápido seguro que vendrán otras…

–Desde luego, teniendo en cuenta que GPT-4 ha salido apenas cuatro meses después de ChatGPT y puede hacer ya textos ocho veces más largos.

–Hay otro tema, que estuvimos comentando, que es el de los artículos científicos. Antes sabías que había uno o varios investigadores haciéndolos. Yo he estado haciendo pruebas con GPT-4 y te hace perfectamente un estudio estadístico de unas variables falsas. Y te lo hace muy bien, de tal forma que se lo pasas a cualquier estadístico y no tiene por qué encontrar ningún error. Hay por tanto un riesgo de que las revistas científicas se empiecen a inundar de trabajos falsos hechos por IA donde no ha habido una recopilación de datos, la aplicación de una metodología estadística, etc; y eso no se haya revisado y esté publicado.

–¿Cómo abordar este tema con los alumnos?

–Con naturalidad. El profesor tiene que hablarle a los alumnos sobre la existencia de la herramienta, no tiene ningún sentido ocultarla. Esta ahí, se va a utilizar y todos tenemos que asumir que las reglas del juego han cambiado. A partir de ahí, lo que se puede hacer es: primero, como tenéis esta herramienta, el nivel de exigencia va a subir muchísimo; y, por otro, me vais a tener que demostrar que conocéis lo que me entregáis. Pero los 50 y pico profesores que nos hemos reunido en Salamanca no hemos encontrado una solución mejor a este tema.

–Entonces, ¿los exámenes orales se perfilan como la única solución ahora mismo?

-Claro. Hasta ahora, el profesor examinaba el trabajo y le ponía una nota, pero eso ha muerto ya. Si haces eso, lo que realmente estás evaluando es al algoritmo que lo ha escrito, no al alumno. Lo que yo puedo hacer es que para reducir ese tiempo que sería de 25 horas si le dedicara 15 minutos a cada uno en un examen oral, es hacerlo en menos tiempo y examinarle sobre su propio trabajo. Esa es la otra alternativa, porque si no el tiempo nos come. Tendríamos que dejar de dar materia para poder cubrir seis créditos de una asignatura. Y eso es inviable, si tenemos en cuenta la bajada de nivel que han tenido ya los alumnos en los últimos 10 años.

Aunque hay herramientas para detectar plagios, existen otras que te reescriben el texto que te ha hecho la IA para que no parezca tal

–¿Qué ventajas, por el contrario, le ve a la herramienta?

–Es una herramienta muy potente, que te permite escribir textos de una calidad bastante buena y donde lo que más va a importar es la calidad de lo que ya se llaman los prompts (órdenes). Cuanto mayor sea la calidad del prompt, más es la calidad del output, así que en ese sentido hay una línea muy interesante de investigación para saber cómo tener los mejores resultados. Evidentemente, para un diseñador gráfico y para un periodista les será de utilidad porque les va a ser de mucha ayuda. El problema es que aumente la calidad de tal manera que, en vez de hacer falta cuatro periodistas o diseñadores, con uno sea suficiente, y no sé si esto es una ventaja o no. Yo he leído bastante sobre el tema y hay gente que dice que esto es como cuando se pasó de la enciclopedia a Google. No exactamente, Google te ahorraba tiempo. Cuando yo hacía la tesis doctoral y me tenía que ir a la biblioteca de la UCM llevaba una bolsa llena de monedas para ir buscando artículo tras artículo y luego fotocopiarlos y llevarlos a casa. Google me ahorra ese trabajo y me hace más productivo. La cuestión es que la IA y la velocidad a la que va sí que va a sustituirme, en el sentido de que es capaz de trabajar por mí.

–¿No hay aún desarrolladas herramientas de detección de plagios por IA?

–Sí, las hay. La Universidad utiliza una herramienta que se llama Turnitin y nos sirve para detectar los plagios. Ahora Turnitin ha mandado un correo a la Universidad diciendo que se ha implementado una nueva herramienta que sirve para detectar si el texto está hecho por IA. Eso está muy bien, pero ya hay otras herramientas que a su vez cogen el texto que te ha escrito la IA y te lo reescribe para que no lo parezca. Es la espada contra el escudo.

–E imagino que no hay otra que a su vez también identifique esto...

–No, porque yo por ejemplo le puedo meter a GPT-4 varios de mis textos de trabajos científicos publicados y decirle: «Con el estilo que has aprendido de Daniel Arias Aranda, escribe un artículo», y lo hace. Yo he hecho la prueba y Turnitin me daba solo un 15 % de plagio, y eso es muy poco. Así que lo veo bastante complicado ahora mismo.