Desarrollan un nuevo test sorprendentemente difícil para la IA, pero sencillo para los humanos

El progreso en el desarrollo de la inteligencia artificial (IA) ha dado un paso significativo con el lanzamiento de ARC-AGI-2, una nueva edición de referencia para medir el avance hacia la inteligencia artificial general (IAG). El objetivo de este desafío, presentado por ARC Prize, es impulsar la investigación en IA al identificar y superar las brechas de capacidad que aún existen entre los sistemas de IA actuales y la inteligencia humana.

Desde su creación en 2019, ARC-AGI ha sido una herramienta esencial para medir el avance hacia la IAG. El primer punto de referencia, ARC-AGI-1, permitió identificar el momento en que la IA superó la simple memorización y comenzó a mostrar signos de razonamiento, como lo demostró OpenAI con su sistema o3. Sin embargo, a pesar de estos avances, la IAG sigue siendo un objetivo distante. Los sistemas actuales, aunque superhumanos en áreas específicas como el juego de Go y el reconocimiento de imágenes, siguen siendo ineficientes y requieren supervisión humana significativa para adaptarse a nuevos dominios.

En este contexto, ARC-AGI-2 se presenta como un desafío aún mayor para los sistemas de IA, en particular para los motores de razonamiento. Aunque las tareas siguen siendo relativamente fáciles para los humanos, resultan extremadamente complejas para la IA. Los sistemas de razonamiento de IA actuales apenas logran alcanzar un porcentaje muy bajo en las puntuaciones de ARC-AGI-2, mientras que los humanos resuelven cada tarea en menos de dos intentos, según estudios controlados con cientos de participantes.

Una de las principales características de ARC-AGI-2 es su énfasis en la eficiencia. No solo se trata de que la IA sea capaz de resolver una tarea, sino también de hacerlo de manera eficiente. En palabras de los creadores del desafío, la inteligencia no se define únicamente por la capacidad de resolver problemas, sino también por la capacidad de hacerlo con la menor cantidad de recursos y tiempo posible. Esta noción de eficiencia es fundamental en la medición de la IAG, ya que refleja una capacidad clave de la inteligencia general: la adaptabilidad y la adquisición de nuevas habilidades con alta eficiencia.

El desafío de ARC-AGI-2 busca identificar y abordar las brechas en la capacidad de razonamiento de los sistemas de IA. Algunos de los descubrimientos más interesantes incluyen la dificultad de los sistemas de IA para interpretar símbolos de manera semántica, para aplicar múltiples reglas simultáneamente y para adaptar las reglas a diferentes contextos.

En respuesta a estos desafíos, ARC Prize también ha anunciado el Premio ARC 2025, un nuevo incentivo para impulsar el progreso en sistemas de código abierto capaces de superar los retos propuestos en ARC-AGI-2. Este nuevo concurso, que se lanzará esta semana en la plataforma Kaggle, está diseñado para alentar a los investigadores a crear soluciones altamente eficientes en el ámbito de la IAG.

En última instancia, ARC-AGI-2 no solo representa un avance en la medición del progreso de la IA, sino también un paso hacia la construcción de sistemas más inteligentes y eficientes. Al centrar la atención en las brechas de capacidad entre humanos y máquinas, ARC Prize sigue siendo una guía clave en la búsqueda de la inteligencia artificial general.