Enrique Graue – Boletín del IISUE http://www.iisue.unam.mx/boletin Artículos y eventos sobre la universidad y la educación. Thu, 23 Nov 2017 19:18:48 +0000 es-ES hourly 1 https://wordpress.org/?v=4.5 Artículos y eventos sobre la universidad y la educación. Enrique Graue – Boletín del IISUE Artículos y eventos sobre la universidad y la educación. Enrique Graue – Boletín del IISUE http://132.248.192.241/~iisue/www/www/boletin/wp-content/plugins/powerpress/rss_default.jpg http://www.iisue.unam.mx/boletin ¿Qué salió mal en el examen de COMIPEMS? http://www.iisue.unam.mx/boletin/?p=5928 http://www.iisue.unam.mx/boletin/?p=5928#comments Thu, 31 Aug 2017 16:00:45 +0000 http://www.iisue.unam.mx/boletin/?p=5928 El 5 de agosto de 2017, la Comisión Metropolitana de Instituciones Públicas de Educación Media Superior (COMIPEMS) dio a conocer los resultados del examen de ingreso al bachillerato, para el que se habían registrado 325 403 aspirantes.

Dos días más tarde, se anunció que había ocurrido un error al calificar 11 051 exámenes de jóvenes que aspiraban a una de las opciones de educación media superior que ofrece la UNAM. Esta cifra posteriormente se elevó a 14 046.

Tras culminar su revisión, la Universidad anunció que 3 613 aspirantes que habían sido rechazados inicialmente tendrían derecho a ingresar a una de las opciones de educación media superior que ofrece esta institución.

Para saber más sobre este error y comprender las repercusiones que tendrá, hablamos con Alejandro Márquez, especialista en economía de la educación del Instituto de Investigaciones sobre la Universidad y la Educación (IISUE) de la UNAM.

alejandro2

Escuela Nacional Preparatoria, Plantel 5.

¿Alejandro, cómo funciona la prueba COMIPEMS en la UNAM?

La UNAM tiene sus propios exámenes; sin embargo, en los sistemas de puntaje para la asignación de lugares sus resultados deben sumarse a los de las demás escuelas. En ese sentido, aun cuando se dice que son exámenes de la UNAM, los procesos de selección se hacen considerando los resultados de los otros chicos.

Esta es una prueba que, hasta donde sabemos, aplica el Centro Nacional de Evaluación para la Educación Superior (Ceneval) de acuerdo con la Guía EXANI-I. Las preguntas tienen diversos niveles de dificultad con el fin de que la mitad de la población se ubique por debajo de la media, y la otra mitad hacia arriba. El hecho de que casi siempre los promedios de esta prueba se ubiquen por la mitad del total del número de aciertos implica que la prueba está cumpliendo su cometido. Los que obtienen muy malos resultados son muy pocos; los que obtienen muy altos resultados, también. Es decir, se busca una distribución más o menos normalizada.

El Ceneval, que es la institución que aplica las pruebas y las califica, ha dicho que ellos no son los culpables de que los chicos se queden fuera o dentro de determinada institución, dado que cada una de ellas decide a quiénes acepta y a quiénes no con base los puntos obtenidos por el aspirante y los lugares disponibles. En otras palabras, se aplica un conjunto de criterios para empatar el resultado de la prueba con el punto de corte de cada institución; así se resuelve si el alumno queda en su primera, segunda, tercera o décima opción.

El proceso de elaboración de las pruebas es sumamente costoso porque cada uno de los ítems debe reflejar un determinado nivel de dificultad, el cual debe ser muestreado o probado poblacionalmente para que el examen no resulte demasiado fácil ni demasiado difícil. Recordemos que los distintos niveles de dificultad buscan que la población a la que se aplica se distribuya normalmente de acuerdo con el grado de dominio que tiene sobre los temas incluidos en la prueba.

La prueba PISA, por ejemplo, tiene la capacidad de invertir sumas importantes de dinero para obtener más y mejores ítems porque la Organización para la Cooperación y el Desarrollo Económico (OCDE) cuenta con mayores recursos, que son proporcionados por los países que participan en la prueba. Ceneval o el Instituto Nacional para la Evaluación de la Educación (INEE) no tienen los mismos recursos. Eso hace que cada una de las versiones de los exámenes sea muy difícil de obtener. Sin embargo, se asume que estas dos instituciones tienen el cuidado de realizar las pruebas técnicas necesarias para que sus pruebas resulten adecuadas.

Cabe advertir que en cada aplicación de las denominadas pruebas estandarizadas, usualmente se debe contar con tres o cuatro versiones del mismo examen; es decir, aunque las preguntas pueden diferir, todas las versiones de la prueba miden lo mismo y tienen el mismo grado de dificultad. Para lograr esto es que se necesitan los análisis técnicos a los que son sometidas las pruebas en su diseño y es la razón de que resulte costosa su elaboración.

Actualmente, estas pruebas cuentan con respuestas de opción múltiple. Hay algunas opciones que no tienen nada que ver con la pregunta. Otras son semejantes a la respuesta verdadera; se las llama “distractores” y se las utiliza para conocer el dominio que tienen los sujetos sobre un tema. Pero el hecho de que cada pregunta contemple al menos cinco opciones de respuesta implica que se debe tener un control muy preciso a la hora de calificar los exámenes para asegurarse de que se utiliza la plantilla de respuestas correcta para cada versión del examen.


¿Cómo se relacionan la COMIPEMS y el Ceneval a la hora de aplicar el examen?

COMIPEMS es una organización que regula la competencia. El que aplica los exámenes, hace el conteo y saca los listados con resultados es el Ceneval. Es como si la COMIPENS recurriera al Ceneval para que ellos lo hicieran en la práctica.


¿Tenemos información suficiente para saber dónde estuvo el error? ¿Cómo podemos estar seguros de que el error se limita a esos 14 000 exámenes?

El problema pudo ocurrir cuando se calificó un grupo de exámenes con la plantilla incorrecta. Otra posibilidad es que se asignara mal la clave a algunos de los exámenes. Lo que no queda claro es cómo determinaron que, de los 174 279 jóvenes que hicieron examen para entrar a la UNAM, sólo 14 046 tuvieron ese problema.

Se necesita tener mucha claridad al respecto, sobre todo ahora, cuando parece que la gente comienza a aceptar las evaluaciones, aunque todavía hay quien manifiesta una amplia desconfianza hacia ellas. Como dijo Eduardo Backhoff, consejero presidente del INEE, estos problemas son desafortunados porque la perspicacia y la sospecha de que las cosas no se hacen bien son muy difíciles de reparar.

Se necesita tener mucha claridad al respecto, sobre todo ahora, cuando parece que la gente comienza a aceptar las evaluaciones”

Lo que falló aquí es un aspecto técnico que tiene fuertes consecuencias. La prueba EXANI-I se considera una “prueba de alto impacto” (PAI) por la magnitud de los efectos que genera en los sujetos. Al ser una PAI existe una gran responsabilidad de cuidar todos los aspectos técnicos para que los sujetos tengan la certeza de que están siendo bien medidos. Cuando ocurre un error de este tipo, toda la confianza se cae. Incluso leí que mucha gente está dudando de que en años anteriores se haya presentado el mismo problema sin que nadie lo reconociera.

Por eso creo que las autoridades vinculadas a este proceso deben ser lo más claras posible: habiendo varias versiones del mismo examen, ¿cómo acotaron el problema a estos 14 000 jóvenes?


¿Cuáles son los mecanismos de verificación que tienen quienes califican la prueba para confirmar los resultados? En una prueba tan costosa, debería haber algún filtro antes de publicarlos.

Debería existir una serie de controles. Creo que el hecho de que la prueba se aplica cada año hace que los procesos de revisión se vuelvan laxos. Hay errores humanos que pasan desapercibidos, pero cuando son de esta magnitud el propio impacto de la prueba hace que sean muy visibles. El hecho de que antes no se haya tenido una situación similar (o nadie se haya manifestado al respecto) no implica que nunca hayan fallado; simplemente, esta vez el error fue muy grande. Y hay que considerar que la calificación es relativamente fácil de obtener con los nuevos sistemas (bases de datos, programas estadísticos) que se han desarrollado. Lo único que hay que hacer es aplicar la plantilla de respuestas correcta y verificar que coincida con lo que se conoce como el “tren de respuestas” de cada uno de los aspirantes.


De los 14,063 exámenes mal calificados, 3,613 obtuvieron puntaje suficiente para entrar a la UNAM. ¿Qué implica esto en términos de costos extra?

Claro que implica un alto costo. Cada alumno exige mayores esfuerzos institucionales, en la economía de la educación es importante estimar los costos por alumno. Muchas veces parece que año con año los presupuestos van para arriba, pero cuando controlas la inflación y divides entre el número total de personas que se están atendiendo en cada institución escolar, descubres que los crecimientos son mínimos o inexistentes. Esto implica que, a veces, los recursos están siendo sobre explotados.

Para algunos niveles educativos, esto significa que la expansión se lleva a cabo a través de los salarios de los trabajadores (académicos, administrativos, directivos), porque ellos no ven crecer su sueldo, pero sí el esfuerzo que implica atender a una mayor cantidad de alumnos. En ese sentido, son ellos quienes están pagando el costo del crecimiento del sector escolar.

La expansión se lleva a cabo a través de los salarios de los trabajadores (académicos, administrativos, directivos)”

Existe algo que, en economía de la educación, llamamos “costos marginales”. Cuando tienes un salón con 20 alumnos, el costo de meter a uno más es marginal (casi nulo). Sin embargo, cuando ya tienes 50 alumnos y todas las bancas están ocupadas, incluir una más implica un alto costo. Entonces, para mantener condiciones aceptables, se tendría que construir un nuevo salón, contratar un nuevo maestro y adquirir nuevas bancas, entre otros costos. Cuando hablamos de sobrecupos, se afectan definitivamente las condiciones en las que una institución ofrece servicios educativos.


Finalmente, ¿qué opinas sobre este tipo de pruebas estandarizadas como criterio único para admitir a los alumnos a las distintas opciones educativas del nivel medio superior?

Cuando surge este tema, mucha gente voltea a ver el proceso de selección de la Universidad Autónoma de la Ciudad de México (UACM), que utiliza un sorteo. Mucha gente parece estar de acuerdo con este sistema porque quita de en medio las objeciones que se pueden hacer a las pruebas de logro académico; a saber, que las variables socioeconómicas y culturales están altamente vinculadas con los puntajes de los exámenes. Es decir, que las pruebas de logro académico también implican un proceso de selección social.

En la UACM dicen “quitamos la selección social y nos quedamos con el sorteo”. Pero, en realidad, la mayoría de la gente está más inclinada a aceptar un criterio de mérito académico como algo que les otorga o no las oportunidades que un simple “no me tocó”. Lo que se había logrado con esta prueba de ingreso único a la educación media superior en la Ciudad de México es que todos estaban en el mismo sistema de oportunidades. Y la gente iba aceptándolo bien. Por eso resultó tan desafortunado el error que vivimos este año, porque pone en juego toda la veracidad del proceso.

]]>
http://www.iisue.unam.mx/boletin/?feed=rss2&p=5928 1