Dos inteligencias artificiales rinden la prueba de admisión universitaria en Chile - PAES

 

Dos inteligencias artificiales rinden la prueba de admisión universitaria en Chile

La Prueba de Acceso a la Educación Superior (PAES) se ha convertido en un desafío no solo para los estudiantes chilenos, sino también para las inteligencias artificiales (IA). Recientemente, de la mano de Puntaje Nacional, el preuniversitario gratuito más grande de Chile, las IA más avanzadas del mundo, GPT-4 de OpenAI y Claude 2 de Anthropic, rindieron la prueba de invierno de PAES. Los resultados han sido notables.

 

El desafío de la PAES para las IA

 

La PAES es una prueba de admisión que evalúa las habilidades de los estudiantes en distintas disciplinas relevantes para los estudios universitarios. En este experimento, las IA rindieron las pruebas en Competencia Matemática 1 (M1) y Competencia Lectora.

 

Para llevar a cabo este desafío, se prepararon los PDF liberados por el DEMRE de la prueba de invierno que tomaron los estudiantes en junio de 2021. Un reto fue que las pruebas incluyen imágenes, y ni GPT-4 ni Claude 2 pueden procesar imágenes en este momento. Estas se hicieron accesibles para las IA a través de otros modelos de inteligencias artificiales que son multimodales, es decir, que pueden leer imágenes. Dos de estos modelos son Bing, de Microsoft, y Bard, de Google. Con estas herramientas, se prepararon textos alternativos de las imágenes, como las que se usan para poblaciones con dificultades visuales.

 

Los resultados de las IA en la PAES fueron sorprendentes. En la prueba de Competencia Lectora, Claude 2 respondió correctamente 56 de las 60 preguntas, mientras que GPT-4 respondió correctamente 53. La conversión de puntuación del clavijero dejó a Claude 2 con un puntaje de 910 y a GPT-4 con 850.

 

Para la prueba de Competencia Matemática 1, se añadió una tercera IA, GPT-4 con Code Interpreter, una versión de GPT-4 que permite ejecutar código Python para analizar datos, crear gráficos y resolver problemas matemáticos, entre otras funciones. Claude 2 obtuvo un puntaje de 778, GPT-4 un puntaje de 886 y GPT-4 con Code Interpreter impresionó con un puntaje de 926.

¿Qué significa esto para la IA y la educación?

 

Estos resultados ponen de manifiesto el avance significativo que ha experimentado el campo de la IA. Aunque la tecnología todavía no es perfecta y requiere revisión experta, las IA han demostrado ser capaces de realizar tareas complejas.

 

“Las IA demostraron ser muy capaces, pero este experimento refleja que aún requieren la guía de expertos humanos para alcanzar un desempeño óptimo. Algunas de sus limitaciones se pueden superar integrando capacidades humanas y artificiales, con lo cual vemos ganancias en productividad, calidad y creatividad”, señaló Federico Escobar, director académico de Puntaje Nacional.

 

Marcio Mondaca, especialista de matemáticas de Puntaje Nacional, observó que las IA cometieron errores comunes de estudiantes en la prueba de M1. Esto sugiere que las IA no solo están aprendiendo a manejar tareas complejas, sino que también están replicando patrones de comportamiento humano.

 

Un análisis detallado de los resultados revela que las IA tienen dificultades con ciertos tipos de preguntas. Por ejemplo, Claude 2 tuvo problemas para adaptarse a las opciones propuestas en la PAES. En cuanto a GPT-4, tuvo problemas con la simplificación de fracciones y con descripciones largas. En general, las imágenes representaron dificultades importantes para las IA, incluso cuando fueron reemplazadas por descripciones textuales.

 

Estos hallazgos podrían ser útiles para mejorar la enseñanza de matemáticas y lectura. Al entender los tipos de errores que las IA y los estudiantes cometen, los educadores pueden diseñar intervenciones más efectivas.

La IA y el futuro de la educación

El hecho de que las IA puedan rendir una prueba como la PAES sugiere que podrían tener un papel más importante en la educación en el futuro. Las IA podrían ser utilizadas como parte de la preparación de los y las estudiantes para las pruebas, proporcionando retroalimentación instantánea y personalizada.

 

Además, las IA podrían ser utilizadas para investigar cómo los estudiantes aprenden y cómo mejoran su rendimiento. Al analizar los patrones de errores y éxitos de las IA en pruebas como la PAES, los investigadores pueden obtener información valiosa sobre el proceso de aprendizaje.

 

En conclusión, este experimento demuestra que las IA han llegado a un punto en el que pueden rendir pruebas de admisión universitaria y obtener resultados notables. Aunque todavía hay mucho que aprender sobre cómo las IA pueden ser utilizadas en la educación, está claro que tienen un gran potencial.

Recuerda que la prueba PAES se rendirá los días 28, 29 y 30 de noviembre de 2023, allí deberás rendir las pruebas obligatorias inscritas y al menos una electiva entre Ciencias e Historia y en el caso de ser requerido por tu carrera y universidad de preferencia, también deberás rendir la electiva Competencia Matemática M2. Estudia y practica con todo el material gratuito que te ofrecemos en Puntaje Nacional para que puedas entrar a la universidad y carreras de tu preferencia.