DIRECTOR

Alejandro Canales Sánchez

CONSEJO EDITORIAL

Jorge Ernesto Bartolucci, Universidad Nacional Autónoma de México, México

Patrick Boumard, Université de Bretagne Occidentale, Brest, Francia

Daniel Cassany, Universidad Pompeu Fabra, España

Cristián Cox Donoso, Universidad Diego Portales, Chile

María de Ibarrola Nicolín, Departamento de Investigaciones Educativas, México

Gustavo Fischman, Arizona State University, EUA

Felipe Martínez Rizo, Universidad Autónoma de Aguascalientes, México

Roberto Rodríguez Gómez Guerra, Universidad Nacional Autónoma de México, México

José Francisco Soares, Universidad Federal de Minas Gerais, Brasil

Emilio Tenti Fanfani, Universidad de Buenos Aires, Argentina

Lilia Toranzos, Organización de Estados Iberoamericanos, Argentina

Carlos Tünnermann Bernheim, Academia Nicaragüense de la Lengua, Nicaragua

Alicia Vargas Porras, Universidad de Costa Rica, Costa Rica

Guillermo Zamora Poblete, Pontificia Universidad Católica de Chile, Chile

COMITÉ EDITORIAL

Germán Álvarez Mendiola (DIE-CINVESTAV), Graciela Cordero Arroyo (UABC), Gloria del Castillo Alemán (FLACSO-México), Gunther Dietz (UV), Ana Lucía Escobar Chávez (UAS), Ana Hirsch Adler (IISUE-UNAM), Martín López Calva (UPAEP), Andrés Lozano Medina (UPN), Dinorah Miller Flores (UAM-Azcapotzalco), Enrique Pieck Gochicoa (UIA), Rosa Martha Romo Beltrán (UdeG), Estela Ruiz Larraguivel (IISUE-UNAM), Patricio Solís Gutiérrez (COLMEX), Ana María Tepichin Valle (COLMEX).

Editora: Gabriela Arévalo Guízar

Corrección: Cecilia Fernández Zayas

Diseño editorial, formación, fotografía, traducción ePub: Ernesto López Ruiz

Perfiles Educativos ha sido aprobada para su inclusión en el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica (IRMICYT), del CONACYT, así como en los índices y las bases de datos: SCOPUS (Elsevier, Bibliographic Databases), Scientific Electronic Library Online (Scielo México), Scielo Citation Index (Scielo-Thomson Reuters), Red de Revistas Científicas de América Latina y el Caribe, España y Portugal (REDALYC), Índice de Revistas sobre Educación Superior e Investigación Educativa (IRESIE), Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal (LATINDEX) y Citas Latinoamericanas en Ciencias Sociales y Humanidades (CLASE).

Perfiles Educativos es una publicación que da a conocer principalmente resultados de la investigación en educación. Su línea editorial da cabida a los diversos aspectos de indagación, pues considera que las ciencias de la educación se han constituido en un campo inter y pluridisciplinario. La educación es un campo de conocimiento y también un ámbito de intervención; es por ello que en la revista se publican resultados de investigaciones con referentes teóricos o empíricos, desarrollos teóricos y reportes de experiencias educativas con un fundamento conceptual que por su carácter merezcan ser difundidos. Perfiles Educativos es una revista de intercambio y debate abierta a todos los interesados en el campo de la investigación educativa.

© 2019, Instituto de Investigaciones sobre la Universidad y la Educación (IISUE)

Perfiles Educativos es una publicación trimestral del IISUE de la UNAM. Los artículos firmados no necesariamente reflejan los criterios del IISUE y son responsabilidad exclusiva de los autores. Se permite la reproducción de los textos publicados siempre y cuando sea sin fines de lucro y citando la fuente. Revista Perfiles Educativos, Edificio del IISUE, lado norte de la Sala Nezahualcóyotl, Zona Cultural, Coyoacán, 04510, México, D.F. Correo electrónico: perfiles@unam.mx

Suscripciones anuales: México $500.00 M.N. Extranjero: USD 50.00. Precio del ejemplar: $100.00 M.N. Información sobre suscripciones a los teléfonos 56 22 69 95, ext. 2023. Conversión a ePub: Ernesto López Ruiz, teléfono (443)318 89 97 ernesto@alkimiamorelia.com. Certificado de licitud expedido por la Comisión Calificadora de Publicaciones y Revistas Ilustradas, el 16 de noviembre de 1981. Perfiles Educativos es nombre registrado en la Dirección General de Derechos de Autor. Se diseñó para ePub en mayo de 2019.

La evaluación de la comprensión lectora en México

El caso de las pruebas EXCALE, PLANEA y PISA

BIANCA P. CARACAS SÁNCHEZ[1] | MOISÉS ORNELAS HERNÁNDEZ[2]

Este estudio exploratorio expone la influencia del Banco Mundial y del Fondo Monetario Internacional en la educación en México; analiza su vínculo con la creación de institutos y centros reguladores de la evaluación, así como su participación en ciertos instrumentos nacionales e internacionales. Se analizan los resultados de tres pruebas: EXCALE 09, PLANEA y PISA, en donde se observa el comportamiento lector de los estudiantes de 15 años que cursan el último año de secundaria o el primer semestre de bachillerato. El artículo presenta los resultados de las pruebas, con la finalidad de mostrar el logro educativo, así como los errores más frecuentes que se consideran determinantes para el aprendizaje. Al final se aportan elementos para la mejora del trabajo docente en el aula.

Palabras clave : Evaluación de pruebas estandarizadas, Comprensión de lectura, Logro educativo, Organismos internacionales, Instrumentos de evaluación.

This exploratory study shows the influence the World Bank and the International Monetary Fund on education in Mexico. It analyzes their ties to the establishment of regulatory assessment institutes and centers, as well as their participation in certain domestic and international instruments. It analyzes results from three tests, EXCALE 09, PLANEA and PISA, in which the reading performance of 15 year old students who were in their last year of lower secondary education or their first semester of upper-secondary studies. The article presents the test results to demonstrate educational attainment as well as the most common mistakes regarded as educational determinants. The article concludes with elements for improving teacher classroom performance.

Keywords: Assessment of standardized tests, Reading comprehension, Educational achievement, International organizations, Assessment instruments.

Recepción: 20 de septiembre de 2018 | Aceptación: 1 de marzo de 2019

DOI: https://doi.org/10.22201/iisue.24486167e.2019.164.59087

[1] Integrante en distintas ocasiones de los comités de codificación de la Prueba Planea 06 y 09 de Expresión Escrita en el INEE; así como de la prueba Estudio Regional Comparativo y Explicativo (ERCE) realizada por la UNESCO, que es el estudio de escritura y comprensión lectora más importante que se aplica a niños de tercero y sexto de primaria en Latinoamérica y países del Caribe. También ha participado en la evaluación del área de Comprensión de Lectura del Programa para Evaluación Internacional de los Estudiantes (PISA) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Fue coordinadora y lectora del material en el Programa Nacional de Lectura en el proceso de Selección de Bibliotecas Escolares y de Aula, en la Secretaría de Educación Pública (SEP) (México). Maestra en Docencia para la Educación Media Superior en el área de Español y Licenciada en Lengua y Literaturas Hispánicas, ambas en la Universidad Nacional Autónoma de México (UNAM) (México). CE: ixquicab@gmail.com

[2] Investigador adscrito al área de Historia de la Educación y la Cultura del Instituto de Investigaciones sobre la Universidad y la Educación (IISUE) de la Universidad Nacional Autónoma de México (UNAM) (México) y profesor de los cursos: Historia, educación y sociedad y Sistemas de enseñanza media superior en la Maestría en Docencia para la Educación Media Superior en la Universidad Nacional Autónoma de México (UNAM) (México). Doctor en Historia por el Centro de Estudios Históricos de El Colegio de México. Líneas de investigación: historia de la educación en México; historia de la universidad siglos XIX y XX. CE: ornelasmoi6@gmail.com

INTRODUCCIÓN[1]

En la actualidad, la evaluación se ha convertido en uno de los rasgos de mayor relevancia en los sistemas educativos de los países desarrollados, pues se ha consolidado como un instrumento necesario para medir la calidad de la enseñanza y su orientación. En este escenario, la educación en México no ha sido la excepción, ya que en las últimas dos décadas se ha realizado un gran avance en las áreas de medición educativa, desarrollo de pruebas, validación de reactivos y métodos de escala. Este auge se explica a partir del interés de generar y participar en los diversos instrumentos nacionales e internacionales que juzgan de manera sistemática la eficacia de las políticas públicas y el desempeño de los múltiples actores involucrados.

Lo anterior ha contribuido a desarrollar una cultura de la evaluación en los distintos niveles de enseñanza del sistema educativo mexicano; sin embargo, aún falta mucho por hacer, por ejemplo, diseñar políticas públicas acerca del marco general de evaluación, es decir, que exista una estrategia que interrelacione la evaluación docente, la evaluación del alumnado, la evaluación de los centros escolares y, sobre todo, la evaluación del sistema educativo, ya que no existe un programa que vincule estos aspectos y que proponga una solución que integre los diversos esfuerzos.

La evaluación debe ser vista como una disciplina que tiene como soporte tanto conocimientos como bases metodológicas que le dan objetividad, validez, confiabilidad, pertinencia y credibilidad. Lejos de ser un proceso improvisado, es un ejercicio riguroso que requiere de planeación (González, 2012). La evaluación aplicada a la enseñanza es un proceso sistemático y riguroso de acopio de datos que sirve para conocer la situación, formar juicios de valor y para la toma de decisiones adecuadas para la mejora educativa (Casanova, 1999). En este contexto, el presente artículo propone entender a la evaluación como: 1) un proceso sistemático de búsqueda de evidencia para formular juicios de valor que orienten la toma de decisiones (Lukas y Santiago, 2004); y 2) como una acción operada desde los compromisos de México con organizaciones internacionales: el Banco Mundial (BM) y la Organización para la Cooperación y el Desarrollo Económicos (OCDE).

Con este propósito se abordará la influencia de los organismos internacionales en la educación en México; se analiza su vínculo con la creación de institutos y centros reguladores de la evaluación y se presentan como datos de la investigación los resultados publicados por el INEE en informes nacionales de tres pruebas estandarizadas (EXCALE, PLANEA y PISA) que se han aplicado a estudiantes de noveno grado en México. Sólo se observa, de manera particular, la medición de la habilidad de la comprensión lectora, que es el tema central del trabajo. Se estudian a fondo los instrumentos señalados para entender qué competencias se evalúan y cómo se evalúan, con el propósito final de aprovechar los resultados y provocar una reflexión que ayude a mejorar la práctica docente. Se proporcionan datos cuantitativos provenientes de una evaluación referida a norma (puntajes promedio por cada prueba), ya que se trata de un diseño ex post facto.

LOS ORGANISMOS INTERNACIONALES Y LA EVALUACIÓN EDUCATIVA EN MÉXICO

La activa participación de México en pruebas internacionales, así como el diseño y la ejecución de instrumentos nacionales, se deben a una serie de factores políticos y financieros que se emprendieron durante los últimos años del siglo XX y que están relacionados estrechamente con las recomendaciones de organismos internacionales como el Fondo Monetario Internacional (FMI) y el Banco Mundial (BM).

El FMI es un organismo conformado por las autoridades hacendarias y financieras de los países que lo integran (Aranda, 2005); el BM, por su parte, es una asociación regulada por 189 países miembros cuyo objetivo es reducir la pobreza extrema y promover una mayor equidad en el mundo en desarrollo (Banco Mundial, 2018). Para esta última instancia, la educación adquirió una relevancia mayor a partir de 1968, cuando se incorporó la política de combate a la pobreza. Desde entonces, el Banco Mundial ha comenzado a ser una de las fuentes externas de financiamiento más significativas para el crecimiento educativo a nivel mundial, ya que otorga cerca de 15 por ciento de toda la ayuda externa a la educación (Maldonado, 2000).

El BM, por tanto, se convirtió en una de las instituciones de mayor experiencia en el ámbito de la investigación educativa, orientada hacia el campo de la economía de la educación; sus políticas de financiamiento a la educación tienden a establecer parámetros, condiciones y criterios específicos para otorgar los préstamos (Bracho, 1992). Desde esta premisa, y para los fines de este trabajo, conviene advertir dos situaciones: en primer lugar, la necesidad de conocer la situación económica que obligó a México a solicitar préstamos a estos organismos (las crisis económicas de 1976 y 1982 ocasionaron buscar fondos para el pago de la deuda externa); y, en segundo, el hecho de que la adquisición de estos préstamos implicó asumir compromisos que exigieron una reforma en las políticas públicas, incluida a la educación.

De esta forma, lo anterior significó la imposición al gobierno de Miguel de la Madrid (1982-1988) de duras condiciones por parte del FMI y del BM; por ejemplo, privatizar una importante sección de toda la industria paraestatal, recortar el gasto social y eliminar diversos subsidios, en particular en el campo. La crisis, por tanto, marcó un cambio sustantivo en la relación del gobierno con la economía que impactó en el gasto asignado a rubros como salud y educación (Correa, 2010). En este punto, José Aranda (2006) señala que el FMI pasó de ser un organismo de crédito internacional, a una instancia que definiría las políticas públicas de los países agremiados con problemas de deuda externa.

El Banco Mundial diseñó también una política específica hacia el sector educativo en los países miembros que se centró en exigir la atención en el crecimiento de la demanda (Bracho, 1992) ocasionada por el aumento demográfico de la población. Todo esto provocó que posteriormente se introdujera el término de globalización en la política educativa, cuyas características permearon no sólo en el área económica o política, sino también en los estratos culturales. Para Roger Dale (2007) este préstamo de políticas (policy borrowing) es un mecanismo propio de la globalización para introducir influencias externas a los sistemas de educación nacionales.

De esta manera, los países acreedores a los préstamos otorgados por el BM y el FMI se comprometieron a avanzar en la universalización de la enseñanza primaria, y para ello se abocaron a expandir la cobertura en este nivel. En suma, la recomendación, más allá de satisfacer la demanda educativa, estableció lineamientos que insistían en la reducción de los costos educativos mediante la formación extraescolar, es decir: favorecer una educación más eficaz y productiva por la vía de la reforma a los planes de estudio, mediante el uso de herramientas de enseñanza como la radio, la televisión y la instrucción programada; y realizar estudios de gestión para mejorar la planificación y la fiscalización de los sistemas educativos (Sánchez Cerón, 2001).

Criterios económicos para definir la evaluación educativa

Estudiosos de la educación como Margarita Noriega (1998) señalan que en la década de los ochenta del siglo XX, el factor determinante del gasto educativo no lo estableció la demanda del alumnado, sino el monto destinado al pago de la deuda. De esta forma, si dicho pago crecía, el presupuesto para la educación tendía a disminuir; así, el debate de la eficiencia del gasto y la calidad educativa colocó a la evaluación en un lugar relevante, ya que ganó terreno como una herramienta sinónimo de ahorro. Jacques Ardoino (2001) señala que la evaluación sirve más como un instrumento al servicio de la economía y la planeación financiera que a la educación; de ahí que el vocablo “evaluación” sea un eufemismo de la palabra “control”, que surgió en el ámbito de lo contable y administrativo, en referencia a la verificación, en los años sesenta.

A fin de hacer más eficiente el gasto público, el Banco Mundial pugnó por la calidad de la educación; exigió que se evaluara la educación superior y que se restringiera el crecimiento de la matrícula. Por ejemplo, en la primera revisión a las universidades latinoamericanas, Donald Wilker, encargado del informe, identificó que los problemas de funcionamiento estaban en los criterios que regían la libre admisión a las universidades, la alta deserción y la baja productividad del personal académico (Aboites, 2012), y como parte de la solución propuso la evaluación.

Esta política exigió a México poner en marcha un extenso programa de evaluación del sistema educativo, con el propósito de mejorar su calidad y hacer frente al recorte presupuestal, que se convirtió en el principal obstáculo a vencer en la década de los ochenta. Como resultado de ello, los diferentes actores y programas que integran el sistema educativo fueron objeto de valoración. A partir de ese momento, la evaluación se instauró como una medida estratégica a fin de mejorar la calidad de la educación (Rueda y Luna, 2011).

En esta misma lógica, el gobierno mexicano creó el Centro Nacional para la Evaluación (CENEVAL), que sería el encargado de realizar el examen de selección para la educación media superior y superior, el llamado EXANI (Examen Nacional de Ingreso). Después creó los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), que evaluarían a las instituciones educativas, y el Fondo para el Mejoramiento de la Educación Superior (FOMES), que haría un trabajo similar, además de atender el financiamiento. También se creó el Consejo para la Acreditación de la Educación Superior (COPAES) (Aboites, 2012).

Con la creación de estos centros de evaluación, México cumplió con las recomendaciones de los organismos internacionales; en particular, con las que solicitó el Banco Mundial. La acción se tradujo en la obtención de créditos y el arribo de inversiones extranjeras que fueron en aumento a inicios del gobierno de Carlos Salinas de Gortari. Las reformas en la educación renovaron la imagen de México ante los Estados Unidos y Canadá, debido a que se proyectó como un país que se comprometía con la calidad y la transformación. Sin duda, la firma del Tratado de Libre Comercio de América del Norte (TLCAN) en 1994 abrió a México a la globalización y marcó el ingreso a la OCDE, que demandó la revisión de las políticas nacionales de ciencia y tecnología y la elaboración de una política sobre la educación superior que integró el bachillerato (Zorrilla, 2015).

A partir del año 2000, la OCDE, a través de PISA (Programme for International Student Assessment), comenzó la aplicación de pruebas internacionales para jóvenes de 15 años. La iniciativa tomó forma en 1997 y entró en vigor al año siguiente en países miembros de la Organización, aunque otros países no miembros también solicitaron la prueba. El principal interés era encontrar indicadores sobre el rendimiento en matemáticas, ciencias y lectura, pero también conocer en qué medida el estudiante de 15 años utiliza la información para resolver problemas reales de la vida cotidiana.

Para Ángel Díaz-Barriga (2011), PISA es una prueba a gran escala que tiene un empleo reciente a nivel mundial, aunque aclara que no es la primera prueba internacional, pues este tipo de instrumentos se emplean desde los años cincuenta del siglo XX para determinar el grado en que los estudiantes de un país, región o localidad pueden mostrar ciertos aprendizajes. Con todo, PISA es lo más relevante en el contexto de la globalización, desde los supuestos de la sociedad del conocimiento.

La prueba tiene una importancia particular en los países miembros de la OCDE, ya que a partir de esos resultados se inició un análisis y una serie de calificaciones para dictaminar el nivel de desarrollo educativo de cada país, que se vería reflejado en las políticas económicas, ya que, por medio de este instrumento, la OCDE evalúa las condiciones para que se puedan realizar inversiones extranjeras. En el caso de México, las consultoras internacionales tienen muy presente el tema de la educación en sus estudios sobre la factibilidad de los negocios en ciertas regiones; es el caso de la firma global Deloitte, que señala el tema educativo como un factor a considerar para la inversión en la industria manufacturera.

Un balance de años recientes reconoce que el sistema educativo mexicano padece un desfase entre la educación y las necesidades del mundo del trabajo en comparación con países de la región como Brasil, Argentina y Colombia. En efecto, el informe que elaboró en 2014 la empresa privada Grupo Manpower subraya el divorcio entre la educación y la capacitación para las competencias laborales, y apunta que la mayoría de los empleados tienen dificultad para cubrir puestos de trabajo en la industria automotriz y el sector manufacturero. Todo ello imponía la necesidad de contar con una determinada infraestructura en la educación en los próximos años a fin de estar acorde con la edad laboral que se necesita para afianzar el futuro económico de México.

En el contexto político y económico expuesto, resulta importante considerar que los compromisos con los diversos organismos internacionales no permiten prever un cambio a corto y mediano plazos en las políticas educativas, pues la educación en México está condicionada a estos convenios internacionales y, consecuentemente, la evaluación será el instrumento que indicará la inversión y los préstamos que recibirá el país. Ante este horizonte, la prueba PISA adquiere un papel relevante.

Nuestro análisis considera que la injerencia de estos organismos internacionales se traducirá en inversiones a corto, mediano y largo plazos en distintos sectores como el laboral, el cultural y el político, a fin de propiciar el desarrollo económico y la inserción laboral. De esta manera, se impone conocer las condicionantes a las que el país ha quedado sujeto para entender el porqué de los cambios constantes en las propuestas de planeación y financiamiento de la educación, y para discernir el propósito que tiene el Estado sobre a quién de los mexicanos se educa, con qué finalidad y, sobre todo, cómo se va a educar.

PRINCIPALES INSTRUMENTOS EVALUATIVOS EN MÉXICO

En México, a partir del año 2005 se usaron dos instrumentos para evaluar el aprendizaje alcanzado por los alumnos de educación básica y media superior: las pruebas ENLACE (Exámenes nacionales del logro académico en centros escolares) y EXCALE (Exámenes de la calidad y el logro educativos) desarrollados por la Secretaría de Educación Pública (SEP) y el Instituto Nacional para la Evaluación de la Educación (INEE).

ENLACE se realizó cada año (entre 2006 y 2013) en México en todas las escuelas públicas y privadas de nivel básico con el fin de conocer el nivel de desempeño de los estudiantes en las materias de español y matemáticas; mientras que EXCALE valoró periódicamente en qué medida se cumplía con los propósitos del currículo educativo. Ambas pruebas tenían algunas debilidades; por ejemplo, ENLACE tuvo una aplicación excesiva, ya que se realizó cada año, en distintos grados, y con base en el resultado de la prueba otorgó incentivos a los docentes de educación básica, lo que provocó el fenómeno conocido como inflación de resultados; es decir, derivó en un uso inadecuado de dichos incentivos. Por otra parte, los resultados de EXCALE tuvieron poca visibilidad social e insuficiente influencia para la toma de decisiones de la política educativa (INEE, 2017).

En el presente artículo sólo se tomarán en cuenta los EXCALE 09[2] en función de que abordan como objeto de estudio a los estudiantes de 15 años que se encuentran terminando su educación obligatoria, o bien, que están ingresando a la enseñanza media superior. Cabe señalar que no se trabajarán los resultados de ENLACE debido a la poca certeza que ofrecen.

EXCALE (Exámenes para la calidad y el logro educativos)

La primera ocasión que se realizó esta prueba fue en el 2005, casi al final del ciclo escolar 2004-2005, con el fin de obtener resultados a nivel nacional. Se aplicó a 52 mil 251 alumnos de secundaria y 2 mil 397 escuelas, y estuvo alineada al plan y programas de estudio de 1993 (INEE, 2006). El examen se diseñó con tres características propias: eran criteriales, estaban alineados al currículo y eran matriciales. Se consideraron criteriales porque las pruebas se diseñaron para evaluar el dominio que tenían los estudiantes de una disciplina en particular. Su interés era conocer el nivel de logro que alcanzaban los estudiantes como resultado de su escolarización formal. Cada contenido temático se evaluaba a profundidad, procurando incluir todos los conocimientos y habilidades de importancia para la disciplina y grado escolar.

La segunda característica de los exámenes era quedar alineados a currículo, porque su propósito era evaluar los aprendizajes pretendidos por los planes y programas de estudio nacionales; por último, tenían un diseño matricial, ya que los reactivos se agrupaban en bloques para ser distribuidos entre los alumnos; no todos contestaban las mismas preguntas, pero con las respuestas de todos se obtenían resultados del examen en su conjunto (INEE, 2012). Las áreas que comprendía eran: español (comprensión lectora y reflexión sobre la lengua), español (expresión escrita) y matemáticas.

Las pruebas EXCALE de español se evaluaban con reactivos de respuesta seleccionada (opción múltiple) y la sección de expresión escrita a través de una respuesta abierta o construida. Los reactivos se dividieron en 63 por ciento de comprensión lectora y 37 por ciento de reflexión sobre la lengua. Para fines de este estudio sólo se analizará la comprensión de lectura y se omitirán los resultados de la reflexión sobre la lengua y la expresión escrita, pues son temas que demandan una investigación propia.

Las habilidades y conocimientos que se evaluaron en la comprensión lectora fueron: la extracción de la información, el desarrollo de una comprensión global, el desarrollo de una interpretación, el análisis del contenido, y la estructura y evaluación crítica del texto.

Para el análisis de las respuestas se tomaron en cuenta las nociones técnicas de dificultad y el nivel de logro que se fundan en la teoría de respuesta al ítem; también se otorgaron ciertas categorías para la interpretación de las pruebas. La señalada teoría se basó en el Modelo de Rasch, que hace referencia a la dificultad de los reactivos y a la habilidad de las personas para responder de forma correcta.

A fin de interpretar los resultados, se usó una escala de cuatro niveles que mide el logro educativo, es decir, una escala que busca categorizar las habilidades que posee el estudiante, o bien, lo que el alumno es capaz de hacer. La finalidad de estos niveles es suministrar un marco de interpretación común para los EXCALE y, al mismo tiempo, facilitar la comunicación de los resultados (INEE, 2006).

Cuadro 1. Descripción genérica de las competencias académicas por nivel del logro educativo

Nivel de logro

Competencias

Avanzado

Indica un dominio muy avanzado (intenso, inmejorable, óptimo o superior) de conocimientos, habilidades y destrezas escolares que refleja el aprovechamiento máximo de lo previsto en el currículo.

Medio

Indica un dominio sustancial (adecuado, apropiado, correcto o considerable) de conocimientos, habilidades y destrezas escolares que pone de manifiesto un buen aprovechamiento de lo previsto en el currículo.

Básico

Indica un dominio imprescindible (suficiente, mínimo, esencial, fundamental o elemental) de conocimientos, habilidades y destrezas escolares necesarios para poder seguir progresando satisfactoriamente en la materia.

Por debajo del básico

Indica carencias importantes en el dominio curricular de los conocimientos, habilidades y destrezas escolares que expresan una limitación para poder seguir progresando de manera satisfactoria en la materia.

Fuente: elaboración propia, con base en INEE, 2006: 12.

Ahora bien, sobre los niveles de logro en la comprensión lectora se presenta el Cuadro 2, que tiene como propósito identificar el nivel obtenido, de acuerdo con las habilidades lectoras que posee el estudiante de secundaria.

Cuadro 2. Definiciones de logro en el área de comprensión lectora

Nivel de logro

Competencias en comprensión lectora

Avanzado

663-800

Los alumnos interpretan la información que proviene de diferentes partes del texto en ensayos y textos científicos, así como el contenido y organización de las ideas, argumentos, contraargumentos y elementos persuasivos.

Medio

556-662

Los alumnos reconocen el propósito de reportajes, así como el tema central de cuentos de ficción. Pueden sustituir el mensaje de estos cuentos por un refrán o proverbio, así como precisar el contexto sociocultural, el espacio y ambiente donde ocurren los hechos, además de valorar la congruencia entre personaje/caracterización y acción/lugar.

Básico

455-555

Los alumnos reconocen el propósito del ensayo, de la entrevista y de la carta comercial, así como el tema central de crónicas, monografías, comentarios, obras de teatro, cuentos tradicionales y fábulas. Detectan la organización de las ideas dentro de un ensayo y una entrevista.

Por debajo del básico

200-454

Los alumnos identifican el propósito y el tema de textos con un contenido familiar, y pueden seleccionar un título relevante que los encabece. Pueden identificar las características gráficas y/o contenido de leyendas e instructivos.

Fuente: elaboración propia con base en Peón, 2009: 55-57.

En un estudio realizado por Zamudio et al. (2012) sobre la dificultad de los reactivos mencionan que en comprensión de lectura a nivel secundaria había 33 reactivos de menor dificultad y 29 de mayor dificultad. Los reactivos de los niveles por debajo del básico y básico, que hacen referencia a habilidades que apenas alcanzan a cumplir con el mínimo elemental requerido para avanzar en la escuela, se agruparon en un solo nivel, denominado menor dificultad; de la misma manera, los reactivos de los niveles medio y avanzado se conjuntaron en otro llamado mayor dificultad, puesto que ambos corresponden a un logro apropiado o deseable para transitar sin problemas —e incluso con éxito— por la escuela básica.

Respecto a la dificultad de las habilidades de comprensión lectora (Gráfica 1), la proporción de reactivos en el nivel de menor dificultad del conjunto extracción de la información (50 por ciento) es la mayor de todas, pues resulta 10 puntos porcentuales más alta que la de desarrollo de una interpretación (40 por ciento), que es el conjunto que le sigue. Por su parte, la diferencia entre desarrollo de una interpretación y desarrollo de una comprensión es mínima: sólo dos puntos porcentuales. La diferencia de dificultad entre estos dos tipos de habilidades y analizar el contenido y la estructura resulta mayor, pues existe una diferencia de seis puntos porcentuales en los reactivos de este último tipo de habilidad localizados en el nivel menor dificultad y los de desarrollo de una comprensión global; y, asimismo, una diferencia de ocho puntos entre los reactivos de ese mismo tipo de habilidad y los de desarrollo de una interpretación (Zamudio et al., 2012).

En la Gráfica 1 se puede observar que los reactivos que implican la extracción de información resultan más fáciles para los estudiantes, lo que indica que, en el aula, el profesor acostumbra a realizar ejercicios de identificación de información, que son los habituales de comprensión lectora. En cambio, se necesitará trabajar más para generar habilidades de competencia lectora. Las habilidades que se deben fortalecer en el salón de clases son: desarrollo de una interpretación, desarrollo de una comprensión global y análisis del contenido y la estructura. De este modo, las pruebas EXCALE funcionaron como un mapeo de los conocimientos adquiridos en la educación básica en México.

Resultados de EXCALE

Los resultados obtenidos por los estudiantes mexicanos de tercer año de secundaria se observan en la Gráfica 2, y refieren a los cuatro periodos de aplicación de la prueba. La gráfica se realizó a partir de los informes de resultados publicados después de la aplicación de cada periodo de prueba.

Antes de iniciar con el análisis de los datos, cabe señalar que el nivel de secundaria se ha enfrentado a una serie de cambios en los planes y programas de estudio y eso afectó los resultados de la prueba, pues la comparación entre una aplicación y otra puede originar imprecisiones; sin embargo, para los fines de este estudio, que es advertir el comportamiento de los estudiantes mexicanos en las pruebas estandarizadas en el área de lectura, es pertinente realizar un balance de los indicadores de logro. Así pues, los resultados obtenidos por los estudiantes mexicanos en el área de comprensión lectora son:

1. Casi 33 por ciento de los estudiantes que termina el tercer grado de secundaria no tiene las habilidades mínimas que se establecen en el currículo nacional y 38 por ciento alcanza apenas el nivel básico.

2. La mayor parte de los estudiantes de tercer grado de secundaria a nivel nacional son capaces de identificar el propósito del autor en un texto, así como de extraer información explícita de la lectura.

3. Tres de cada diez estudiantes pueden tomar distancia con respecto del texto y hacer una evaluación crítica del mismo; comprender, analizar y opinar sobre él; identificar con claridad las ideas en un texto argumentativo (argumentos, contraargumentos); inferir la conclusión de un ensayo, reconstruir información implícita y apoyarse en la estructura textual.

4. A la mayoría de los estudiantes (70 por ciento) se le dificulta usar la información esencial de una lectura y aplicarla en la solución de una situación novedosa; por ejemplo, sustituir el tema global por un refrán o relacionarlo con una oración temática. Asimismo, les resulta complicado reconstruir el significado literal de una metáfora o la connotación de expresiones.

Algunos elementos que pueden contribuir a explicar estos resultados son la desarticulación y la falta de balance de los contenidos en el plan y programas de estudios de secundaria de la Secretaría de Educación Pública (SEP), ya que enlazan aspectos puntuales con otros muy generales. Los programas de estudio presentan, además, problemas de distribución, saturación o escasez de temas por grados, lo que ocasiona ambigüedad en los contenidos. Por último, los alumnos reportan que los maestros dedican más tiempo a ejercicios de gramática que a actividades que fomenten el desarrollo de la comprensión lectora o la redacción.

Las medidas que se pueden emprender para mejorar el aprendizaje de la comprensión lectora son:

• Reorganizar y sistematizar los contenidos propuestos en los planes y programas de estudio, para que propicien situaciones didácticas significativas para los alumnos atendiendo a sus diversos entornos.

• Utilizar los resultados de este informe como un diagnóstico de lo que saben y no saben los estudiantes, de manera que los colectivos docentes, con apoyo de los servicios de asesoría académica a la escuela, puedan considerarlos en la definición de sus trayectos formativos (INEE, 2006).

PLANEA (Plan nacional para la evaluación de los aprendizajes)

La prueba PLANEA busca establecer en qué medida el estudiante, al término de los distintos niveles de la educación obligatoria, logra el dominio de aprendizajes esenciales: lenguaje y comunicación, y matemáticas. En esta prueba se pretende que el alumno emplee de manera eficiente el lenguaje para organizar su pensamiento y discurso. Por ejemplo, deberán ser capaces de leer, comprender, emplear, reflexionar e interesarse en diversos tipos de textos a fin de ampliar sus conocimientos y reconocer la importancia del lenguaje en la construcción de éste (PLANEA, 2018).

En el área de comprensión lectora, las unidades de evaluación o habilidades que se miden son: la extracción de información, el desarrollo de una comprensión global y de la interpretación, análisis de contenido y estructura; así como la evaluación crítica del texto.

Cuadro 3. Definiciones de logro en el área de comprensión lectora

Habilidad

Lo que el alumno debe realizar

Reactivos 2017

Extracción de información

Obtener determinados datos de un texto; por ello busca, localiza y selecciona información relevante o hace uso de información específica para cumplir una demanda.

15

Desarrollo de una comprensión global

Considerar el texto como una unidad y entender su función y propósito comunicativo, así como el tema, el contenido y la coherencia global del material leído.

15

Desarrollo de una interpretación

Construir una idea con base en la asociación de dos o más fragmentos del texto. La información que se debe vincular está asentada en el material de lectura, pero las relaciones entre la información pueden no ser explícitas.

32

Análisis del contenido y la estructura

Saber cómo se desarrolla el texto y reflexionar sobre su contenido y la estructura del texto, lo que implica evaluarlo, compararlo y contrastarlo, además de entender el efecto que tiene sobre el lector.

33

Evaluación crítica del texto

Alejarse del texto para evaluarlo de manera crítica, compararlo y contrastarlo contra una representación mental, además de entender el efecto que tiene la estructura, forma y contenido sobre la audiencia, para después hacer un juicio.

28

Total de reactivos

Comprensión lectora

123

Fuente: elaboración propia con base en PLANEA, 2018: 6.

La prueba ofrece resultados que toman en cuenta el nivel de logro obtenido, de manera similar a la prueba EXCALE, que parte de una escala que va de 200 a 800 puntos bajo una media de 500. La distribución de la escala de logro de PLANEA es: el nivel I (315-441) ubica a alumnos con un dominio insuficiente de los aprendizajes clave del currículo; el nivel II (442-567) coloca a los estudiantes que registran un dominio básico; el nivel III (568-659), a los que obtienen un dominio satisfactorio; y el nivel IV (660-865), a los estudiantes con un dominio sobresaliente.

La aplicación de la prueba a alumnos de tercero de secundaria en el 2017 contempló a 131 mil 662 alumnos y 3 mil 398 escuelas, lo cual permitió generar un resultado de representación nacional en función de la entidad federal y el tipo de escuela. Aunque el promedio obtenido fue similar al de 2015, la prueba señaló que el origen socioeconómico aumentó la distancia en los grupos menos favorecidos (PLANEA, 2018). Por ejemplo, evidenció que los estudiantes indígenas obtienen un menor puntaje, situación que exige mayor atención a fin de aumentar la matrícula y mejorar las condiciones educativas de los grupos étnicos del país. También se evidenció que en la prueba de lenguaje y comunicación el resultado fue favorable a las mujeres.

En el país, tres de cada diez estudiantes que finalizan la educación básica están en el nivel I (33.8 por ciento) lo cual indica que no han adquirido un aprendizaje completo de la asignatura de español, pues solo identifican, por ejemplo, definiciones y explicaciones de artículos de divulgación científica y la función y recursos lingüísticos en anuncios publicitarios. Asimismo, comprenden el tema de un ensayo e identifican la rima en un diálogo teatral, que son aprendizajes necesarios, pero insuficientes.

La mitad de los estudiantes se ubicó en el nivel II (40 por ciento), ya que manejaron un nivel indispensable de aprendizajes que suma las habilidades del nivel I con las del II. Reconocen la trama y el conflicto de un cuento, interpretan el lenguaje figurado de un poema, organizan información para una encuesta, identifican el propósito, tema, opinión y evidencias en un texto argumentativo, pero carecen de algunas habilidades para tener un logro satisfactorio.

Los alumnos que logran el nivel III (17.9 por ciento) tienen como rasgo distintivo la capacidad de comparar géneros periodísticos, reconocer el tema en un artículo de divulgación científica e interpretar hechos; identificar valores y comparar el tratamiento de un mismo tema en dos relatos míticos; también pueden establecer las características sociolingüísticas de personajes en cuentos latinoamericanos. En suma, advierten en una obra teatral el ambiente y el contexto social en el que se desarrolla.

Por último, los alumnos que alcanzan el nivel IV (8.3 por ciento) muestran un logro sobresaliente, pues resuelven las tareas ejemplificadas en los tres niveles anteriores y, además, son capaces de adaptar los atributos biográficos a una obra de teatro y seleccionar información relevante en un prólogo para utilizarlo en una reseña literaria. Muestran habilidad para identificar secuencias argumentativas y valorar los fundamentos de un ensayo, un artículo de opinión y un debate (PLANEA, 2018).

Resultados de PLANEA

Los resultados de la prueba por tipo de escuela ofrecen información por el género de los alumnos, la edad, el nivel de marginación y la entidad federativa. El conjunto de estos criterios arroja los resultados que se expresan en la Gráfica 3.

Las escuelas comunitarias y telesecundarias registran el mayor porcentaje de alumnos ubicados en el nivel I, pues 4 de cada 10 tienen un logro insuficiente en lenguaje y comunicación; las secundarias técnicas y las generales públicas (47.3 y 47.9 por ciento, respectivamente) se ubican en el nivel II. Con respecto a la secundaria privada, 32.8 por ciento de los estudiantes se ubica en el nivel III.

En relación con el género, los hombres alcanzan un puntaje promedio de 486, y las mujeres de 514, en una escala que va de los 200 a los 800 puntos, con una media de 500. En cuanto a la edad, los resultados indican que los estudiantes que superan la edad típica obtienen resultados inferiores a sus compañeros que tienen 15 años al terminar la secundaria; es decir, 50 puntos menos. El puntaje promedio en la edad típica es de 507, y el promedio de la extraedad es de 480, lo que los ubica en el nivel II y I, respectivamente (INEE, 2017).

El logro educativo más favorable, de acuerdo con la evaluación más reciente de PLANEA, se encuentra en zonas de mayor ventaja socioeconómica en comparación con comunidades en condiciones más vulnerables, donde se presentan rezagos educativos importantes en lenguaje y comunicación. La evaluación por entidad federativa arrojó resultados cercanos al promedio nacional (500 puntos). En general, los niveles de logro alcanzados son bajos y demandan la atención urgente del sistema educativo. La Gráfica 4 ofrece el puntaje de la prueba por entidad y subraya el nivel obtenido de mayor a menor: las cuatro más altas, tres intermedias y cuatro con el menor puntaje.

Cabe señalar que el avance del logro educativo no depende en exclusiva del desempeño docente-alumno, pues el entorno social juega un papel muy importante. En este punto, la prueba incluye un cuestionario que busca rastrear aspectos que considera determinantes para el aprendizaje, como la situación laboral de los padres, su nivel educativo, la comunidad en la que viven y el tiempo que invierten en las tareas escolares de los hijos. Así, PLANEA se presenta como una prueba nacional que puede aportar elementos valiosos para mejorar el trabajo del docente en el aula, en el entendido de que el gasto invertido en la evaluación tendría que impactar en la calidad de la educación.

PISA (Programme for international student assessment)

La prueba PISA surgió de una iniciativa de la OCDE a fin de medir los conocimientos adquiridos por los estudiantes una vez terminada la enseñanza obligatoria. Las áreas que se evalúan son lectura, matemáticas y ciencias, con base en competencias que son calificadas como habilidades o destrezas para analizar y resolver problemas, manejar información y responder a situaciones reales que se presentarán en el futuro (PISA, 2008).

La prueba en México se realizó por primera vez en el año 2000 e incluyó a 32 países más. Aunque se efectúa de forma trienal, en cada periodo evalúa un área en particular; por ejemplo: lectura en el 2000, matemáticas en 2003, ciencias en 2006, lectura en 2009, matemáticas en 2012, ciencias en 2015 y lectura en 2018. Las muestras de aplicación van de 4 mil 500 a 10 mil alumnos y se aplican en un mínimo de 150 escuelas. El proceso de selección está a cargo del INEE, que envía al consorcio de PISA el listado general de todas las escuelas secundarias y de enseñanza media superior del país para proceder después a la elección de los planteles. Con base en esta lista se elige de forma aleatoria a los estudiantes que participarán en la prueba, aunque no emite resultados por escuela o alumno, pues el objetivo es evaluar en conjunto el sistema educativo nacional (PISA, 2006).

La prueba está compuesta por diferentes tipos de reactivos; por ejemplo, seleccionar una opción de respuesta, responder con una frase corta y construir una respuesta más amplia. En todos los casos están acompañados de un estímulo introductorio (texto, gráfica, diagrama, mapa, etc.). La medición completa del estudio incluye 180 reactivos que se distribuyen en versiones (PISA, 2006).

En el área de lectura la prueba no realiza una valoración de la comprensión lectora, como lo vimos en las dos pruebas revisadas anteriormente en este estudio, sino que explora exclusivamente la competencia lectora. Aquí se impone definir qué se entiende por comprensión lectora (reading comprehension) y competencia lectora (reading literacy): la primera consiste en la capacidad que un individuo tiene de captar de forma objetiva las ideas que un autor transmite en un texto escrito; mientras que la competencia lectora será la habilidad de un ser humano para comprender un texto de forma útil en la sociedad que le rodea. Así, la comprensión está ligada más al individuo que al entorno, a partir de la capacidad intelectual o emocional, o incluso al perfil psicológico; mientras que la competencia lectora otorga un peso mayor a la socialización, la inteligencia social o la inteligencia ejecutiva (Jiménez, 2014).

La prueba de lectura busca dar cuenta de la capacidad que tiene el alumno de entender cierta tipología textual; la manera como interactúa con ella (sentido y significado del texto) y cómo relaciona este significado con el contexto de origen. Por consiguiente, los alumnos deben demostrar dominio en acceder y recuperar, integrar e interpretar, reflexionar y evaluar; dimensiones que se refieren a los procesos o estrategias cognitivos que los lectores emplean frente a los textos (INEE, 2010).

Otra particularidad de la prueba son los textos que utilizan, ya que se organizan de dos formas: por su tipo textual (narración, exposición, descripción, argumentación, instrucción y transacción) y por la manera de presentar el contenido, que son los textos continuos (organizados en oraciones y párrafos: reportajes, artículos), discontinuos (que presentan información de forma no secuencial: gráficas, tablas, cuadros) y mixtos (combinación entre continuo y discontinuo: una tabla con su explicación). La última dimensión de la prueba se refiere a la clasificación del texto según los contextos y usos que el autor otorgó, que son: personal (textos que satisfacen el interés individual), público (textos relacionados a intereses sociales, como documentos oficiales), educativo (textos para una tarea de aprendizaje) y laboral (dirigidos al trabajo: solicitud de empleo).

En cuanto a los reactivos, vale señalar que son elaborados por contratistas internacionales, aunque se invita a los países participantes a presentar preguntas; los contratistas las revisan y una vez aprobadas son usadas en PISA. Se ponen a prueba en una aplicación piloto, y se descartan las más fáciles y las más difíciles. Después se realiza la aplicación definitiva, aunque una vez establecidos los criterios, el siguiente paso será desarrollar las descripciones de los niveles de desempeño, que van de lo sencillo a lo complejo.

Cuadro 4. Niveles de desempeño

Nivel Puntuación

Tareas

Nivel 6

más de 698

Los estudiantes que alcanzan este nivel son lectores capaces de realizar con detalle y precisión inferencias, comparaciones y contrastes. Demuestran una comprensión completa y detallada de uno o más textos.

Nivel 5

626 a 698

Los alumnos son capaces de localizar y organizar diferentes fragmentos de información que no resultan evidentes en lo absoluto e inferir qué información es relevante en un texto.

Nivel 4

552 a 625

Los estudiantes son capaces de localizar y organizar diferentes fragmentos de información que no resultan evidentes en un texto. En cuanto a la capacidad reflexiva, deben saber usar conocimientos formales o informales para formular hipótesis o evaluar críticamente un texto.

Nivel 3

480 a 551

Los alumnos tienen la habilidad de localizar y reconocer la relación entre diferentes fragmentos de información que se ajusten a múltiples condiciones. Las tareas de reflexión en este nivel demandan que el estudiante sea capaz de relacionar, comparar, explicar o evaluar una característica de un texto, o bien, demostrar una comprensión detallada empleando su conocimiento cotidiano.

Nivel 2

407 a 479

Los estudiantes pueden reconocer la idea principal en un texto, entender las relaciones entre sus pares o construir un significado dentro de una parte limitada del texto cuando la información no sea evidente; el lector debe hacer inferencias de bajo nivel.

Nivel 1a

334 a 406

Los lectores pueden localizar uno o más fragmentos de información explícita y reconocen el tema principal o el propósito del autor en un texto que aborde un contenido familiar, o bien, establecer una relación sencilla entre la información del texto y su conocimiento cotidiano.

Nivel 1b

262 a 333

Los estudiantes son capaces de localizar un solo fragmento de información explícita ubicado en un lugar evidente dentro de un texto corto, cuya estructura sintáctica sea sencilla, esté ubicado en un contexto familiar y sea del tipo narrativo o en forma de una lista simple.

Fuente: elaboración propia con base en INEE, 2010: 50-51.

Como se observa en el Cuadro 4, los niveles de desempeño se desprenden de las tareas que los estudiantes realizan en la evaluación. En este punto, PISA define siete niveles para lectura: 1b, 1a, 2, 3, 4, 5 y 6. Las tareas más fáciles corresponden a los niveles 1b y 1a, y las más difíciles se asocian a los niveles 4, 5 y 6. Por su parte, el nivel 2 se identifica como el nivel básico, que permitirá a los estudiantes comenzar a demostrar las competencias en lectura que los ayudarán a solventar de manera eficaz situaciones de la vida real (INEE, 2010). La prueba exige otro tipo de lector que se está gestando en estas últimas décadas: el lector de la era de la informatización, es decir, el que se enfrenta a una abundancia de textos y a su interacción. Allí confluyen elementos distractores que favorecen una mente “malabarista”, ya que exige competencias en la lectura que no requieren información analítica de textos ordenados y concebidos según una lógica (Solé, 2012). Así, la tarea del lector se multiplica, pues se propone una mirada más crítica y, sobre todo, hermenéutica.

Resultados PISA

Después de definir los niveles de desempeño, a continuación se presenta el análisis de los resultados obtenidos en la prueba aplicada en el 2015, ya que, si bien la última aplicación fue en el 2018, los resultados aún no se conocen. Con todo, este ejercicio de revisión de la prueba servirá como panorama para dilucidar los resultados en el área de lectura durante los diez años de participación de México en la prueba PISA.

Cerca de 20 por ciento de los estudiantes de los países de la OCDE no obtienen la media en las competencias lectoras básicas, porcentaje que se ha mantenido estable desde 2009. Por ejemplo, en 2015 la media fue de 493 puntos, y los mejores puntajes correspondieron a: Canadá (527), Finlandia (526), Estonia (519) y Japón (516), todo ellos miembros de la OCDE; y Singapur (535), Hong Kong-China (527), Macao-China (509) y China-Taipei (497), países participantes. Los países con el índice más bajo fueron Grecia (467), Chile (459), Turquía (428) y México (423). Todo ello implica que México dista del promedio de la OCDE, ya que 29 por ciento de los estudiantes de la muestra global se encuentran en niveles superiores, lo cual contrasta con el 5 por ciento de los jóvenes mexicanos ubicados en dichos niveles. De manera particular, se observa que, de los países latinoamericanos, Chile cuenta con 15 por ciento de estudiantes en los niveles superiores (niveles 4 a 6) seguido por Uruguay con 12 por ciento. Por debajo de México se encuentran Brasil (407), Perú (398) y República Dominicana (358).

En tal sentido, la Gráfica 5 expone la media del puntaje obtenido por los países punteros. Resulta interesante señalar que los países no miembros de la OCDE, como Singapur, China y Vietnam, obtienen resultados excelentes no sólo en lectura, sino también en matemáticas y ciencias, lo que impone conocer sus programas educativos.

Ahora bien, en relación con México resulta preocupante que la mayoría de los estudiantes se ubican en los niveles 1a y 1b, ya que son incapaces de realizar una lectura básica; esto hace patente la dificultad para utilizar la lectura como una herramienta de conocimiento y crecimiento personal. Todos ellos enfrentarán serios problemas para incorporarse a niveles educativos más altos y a la vida laboral (INEE, 2016). La Gráfica 6 ofrece los resultados que ha obtenido México en la prueba desde sus inicios, y en la que se ha mantenido con un promedio similar en el mismo nivel de logro.

Los factores que influyen en el bajo puntaje de la comprensión lectora en México son diversos, aunque el de mayor peso se ubica en el entorno familiar, cultural y escolar de los alumnos: a mayor nivel cultural la capacidad lectora aumenta, mientras que el rendimiento lector tendrá una expresión baja cuando el nivel socioeconómico y cultural esté en la misma orientación (Hernández y Bazán, 2016). Ante esta circunstancia surge en el área de la lectura una teoría conocida como “efecto Mateo”,[3] señalada por Keith Stanovich en 1986, que apunta que los niños que leen bien y tienen buen vocabulario continuarán leyendo más y aprenderán más significados de palabras; por tanto, leerán cada vez mejor. En contraparte, los niños que tienen un reducido vocabulario, que leen lento y sin entusiasmo, leerán cada vez menos, tendrán un desarrollo de vocabulario escaso y un débil crecimiento de la habilidad lectora (Stanovich, 1986).

Cabe señalar que los resultados obtenidos en lectura obligan a la reflexión de que los profesores de Lengua española no sólo tienen la misión de dotar a los alumnos de herramientas para descodificar los textos, sino que, además, deben generar en el joven el gusto por la lectura. Todo ello ayudará a lograr el dominio de las habilidades lingüísticas y comunicativas que permitirán forjar un lector crítico y apto para el aprendizaje en la competencia lectora en cualquier texto, que mostrará capacidades cognitivas, afectivas y de inserción social (Solé, 2012). En este punto, formar un lector competente abre la puerta a la creación de un individuo que tendrá posibilidades de desarrollo profesional y personal, y ayudará a formar ciudadanos.

CONCLUSIONES: PORVENIR Y RETOS PARA LA EVALUACIÓN

A partir de este trabajo podemos señalar que la evaluación en México es muy reciente, aunque ha crecido en distintas áreas; sin embargo, falta aprovechar de mejor manera sus resultados. En tal sentido, se necesita vincular los datos obtenidos con las decisiones oficiales en los distintos niveles del sistema educativo a fin de que la evaluación impacte de manera decisiva en las políticas y programas.

Las políticas de estandarización y responsabilización por desempeño (conocidas en inglés como accountability) que han proliferado en las últimas décadas, transformaron, sin duda, los modos de regular los sistemas educativos (Falabella y De la Vega, 2016). El término accountability resulta una herramienta útil para mejorar la calidad de la educación; su uso remite a un mecanismo que centra su atención en el análisis de los resultados, por tanto, pone un énfasis especial en el aprendizaje del alumno y esto exige a las escuelas lograr estándares puntuales en cada área curricular (McMeekin, 2006).

La evaluación a partir de pruebas estandarizadas como EXCALE, PLANEA y PISA reporta diversas situaciones: 1) el desempeño de los estudiantes en dirección al logro de estándares; 2) los contenidos curriculares necesarios para desarrollar la habilidad de la comprensión lectora; y 3) las capacidades de interpretación y manejo de un texto que se han desarrollado en el aula. Todo ello implica que las pruebas señaladas pueden dar cuenta de los esfuerzos y desempeños de todos los actores de la educación, pero no deben ser utilizadas para amedrentar al profesorado, sino para encaminar los cambios necesarios para alentar el crecimiento del docente, del alumno y de la comunidad. Bajo esta premisa, existe la certeza de que si las pruebas se usan para atender las necesidades de las escuelas críticas que registran bajos resultados, se podría lograr una mayor equidad en nuestro sistema educativo. En suma, definir las atribuciones en los organismos de evaluación y dotarlos de la autonomía suficiente para garantizar su independencia conceptual y técnica, logrará producir e interpretar una información más rigurosa. Sobre todo, implicará vencer la resistencia de maestros y directores a las evaluaciones estandarizadas (Martínez Rizo, s/f).

Otro aspecto importante en el área de la evaluación de la comprensión lectora es mejorar la difusión de los resultados de las pruebas, lo que exige elaborar un formato de entrega menos especializado a fin de que sean entendidos por padres de familia, docentes y la sociedad en general. En especial, vincular a los docentes de forma más estrecha con el ánimo de enriquecer su práctica en el aula, en el sentido de que sean capaces de relacionar los contenidos curriculares con los resultados de la prueba; de lo contrario, la evaluación no servirá de nada.

Se debe renovar en el alumno el concepto de lectura y ampliar los paradigmas que tenemos de la lectura de textos; es decir, incorporar a los planes educativos la tipología textual, ya que leer en los diversos formatos textuales ayudará al estudiante a aumentar su habilidad de comprensión y manejo de información. Como se pudo observar en los resultados de las pruebas, sólo 5 por ciento de los estudiantes mexicanos son capaces de realizar con detalle inferencias, comparaciones y contrastes (PISA), debido a que la mayor parte de ellos solamente identifica el propósito del autor en un texto (EXCALE); así, 3 de cada 10 estudiantes que finalizan la educación básica no adquieren un aprendizaje completo de la asignatura de español (PLANEA). Lo anterior implica que nuestros estudiantes mexicanos de 15 años sólo alcanzan un nivel básico en las habilidades lectoras, pues solamente identifican el propósito del autor y 70 por ciento de ellos tiene dificultad para usar información de una lectura y aplicarla en la solución de una situación específica.

El análisis crítico, la innovación, la creatividad y las habilidades interpersonales, sociales y de toma de perspectiva para trabajar en equipo son necesarias no sólo para una élite de estudiantes, sino para todos. La aptitud en el manejo del lenguaje (lectura y escritura) es una habilidad fundamental para el bienestar individual y nacional, para promover esferas cívicas, resolver problemas y nutrir organizaciones colaborativas efectivas (Reimers y Chung, 2016).

A fin de remediar los problemas detectados por las pruebas analizadas, el profesor debe realizar actividades que incentiven el desarrollo de la lectura; por ejemplo, leer en voz alta en el grupo para que un lector experimentado enseñe a un novato cómo acercarse al texto (Garrido, 2014). Se debe realizar también una segunda lectura, esta vez en silencio, para darle al alumno la oportunidad de que conozca y se familiarice con el texto. Con este ánimo, el profesor deberá realizar una planeación en la que la lectura se separe en tres momentos: antes de la lectura, durante la lectura y después de la lectura (Vera, 2011). Por ejemplo, antes de la lectura, el alumno deberá tener claro el propósito al realizarla, para después ser capaz de reconocer qué tipo de texto, sobre qué género trata y cómo se lee; y, posteriormente, hacer predicciones e hipótesis sobre lo que imagina que será el texto para reactivar los conocimientos previos.

En el segundo momento, durante la lectura, el alumno deberá ser capaz de identificar las ideas principales y construir el significado de una expresión de acuerdo con el contexto; localizar información, hacer inferencias, hipótesis y predicciones; observar las relaciones causa-efecto de los hechos, reconocer semejanzas y diferencias de personajes que le ayudarán a lograr la comprensión lectora.

En el último paso del proceso, después de la lectura, el alumno deberá parafrasear el texto, hacer un mapa mental, escenificar una pequeña obra de teatro, hacer un resumen, contestar preguntas o formularlas; hacer una imagen o dibujo y hablar sobre su experiencia en relación con el contenido (Vera, 2011).

Los puntos descritos se pueden realizar en clase con el fin de trabajar el texto y mejorar la comprensión lectora, aunque los ejercicios finales deben dirigirse a socializar el conocimiento con sus pares. Así pues, incorporar tareas que involucren la competencia lectora en el aula será de suma importancia para el alumno, debido a que se le estará capacitando para el desarrollo de su aprendizaje.

La comprensión es resultado de una lectura estratégica y autorregulada, que implica una lectura dirigida por un objetivo claro y reconocible, que favorecerá el ordenamiento del pensamiento y el uso del idioma; es decir, el docente, al crear una didáctica para una lectura comprensiva, profunda, crítica y alternativa, mejorará la competencia lectora. De esta forma, la evaluación se convierte en un proceso de análisis constante que ofrece datos sobre el proceso de adquisición de esta competencia y de las estrategias que se usan para que los estudiantes la adquieran; por tanto, el profesor debe de tomar consciencia del nivel de desarrollo del alumno y de su papel en la planificación didáctica.

REFERENCIAS

ABOITES, Hugo (2012), La medida de una nación. Los primeros años de la evaluación en México: historia de poder y resistencia (1982-2010), México, UAM.

ARANDA Izguerra, José (2005), “Las relaciones de México con el Fondo Monetario Internacional”, Carta de políticas públicas, México, UNAM-Facultad de Economía, en: http://www.economia.unam.mx/publicaciones/carta/06.html (consulta: 15 de marzo de 2017).

ARDOINO, Jacques (2001), “La evaluación desgarrada: entre un balance contable y pleno. Ejercicios de una función crítica plural (multirreferencial)”, en Mario Rueda Beltrán, Frida Díaz-Barriga Arceo y Mónica Díaz Pontones (eds.), Evaluar para comprender y mejorar la docencia en la educación superior, México, UAM/UNAM/UABJO, pp. 19-35.

Banco Mundial (2018), “¿Quiénes somos?”, en: http://www.bancomundial.org (consulta: 23 de noviembre de 2018).

BRACHO, Teresa (1992), El Banco Mundial frente al problema educativo. Un análisis de sus documentos de política sectorial, México, CIDE.

CASANOVA, María Antonia (1999), Manual de evaluación educativa, Madrid, La Muralla.

CORREA, Eugenia (2010), México, crisis económica y financiera, México, UNAM, en: olafinanciera.unam.mx (consulta: 7 de diciembre de 2018).

DALE, Roger (2007), “Specifying Globalization Effects on National Policy: A focus on the mechanisms”, en Stephen J. Ball, Ivor F. Goodson y Meg Maguire (eds.), Education, Globalisation and New Times, Nueva York, Routledge, pp. 64-82.

DÍAZ-Barriga, Ángel (2011), La prueba PISA 2006. Un análisis de su visión sobre la ciencia, México, UNAM-IISUE.

FALABELLA, Alejandra y Luis Felipe de la Vega (2016), “Políticas de responsabilización por desempeño escolar: un debate a partir de la literatura internacional y el caso chileno”, Estudios Pedagógicos, vol. 42, núm. 2, pp. 396-413, en: https://scielo.conicyt.cl/pdf/estped/v42n2/art23.pdf (consulta: 28 de enero de 2019).

GARRIDO, Felipe (2014), Para leerte mejor: mecanismos de la lectura y de la formación de lectores capaces de escribir, México, Paidós.

GONZÁLEZ Ramírez, Rosa Elsa (2012), “Aspectos clave de las perspectivas teóricas para la evaluación de programas educativos: México”, en Mario Rueda Beltrán (coord.), La evaluación educativa: análisis de sus prácticas, México, UNAM-Posgrado en Pedagogía/Díaz de Santos, pp. 17-49.

HERNÁNDEZ Padilla, Eduardo y Aldo Bazán Ramírez (2016), “Efectos contextuales, socioeconómicos y culturales, sobre los resultados de México en Lectura en PISA 2009”, REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, vol. 14, núm. 2, pp. 79-95, en: https://revistas.uam.es/index.php/reice/article/view/2743/4038 (consulta: 9 de marzo de 2018).

INEE (2006), El aprendizaje del español, las matemáticas y la expresión escrita en la educación básica en México. Sexto de primaria y tercero de secundaria, México, INEE.

INEE (2009), El aprendizaje en tercero de secundaria en México. Español, matemáticas, biología y formación cívica y ética, México, INEE.

INEE (2010), México en PISA 2009, México, INEE.

INEE (2012), El aprendizaje en tercero de secundaria en México. Informe de resultados. EXCALE 09 aplicación 2012. Español, matemáticas, ciencias y formación cívica y ética, México, INEE.

INEE (2016), México en PISA, México, INEE.

INEE (2017), Informe de resultados. PLANEA 2015, México, INEE.

JIMÉNEZ Pérez, Elena (2014), “Comprensión lectora vs. competencia lectora: qué son y qué relación existe entre ellas”, Investigaciones sobre Lectura, núm. 1, pp. 65-74, en: https://dialnet.unirioja.es/servlet/articulo?codigo=5085470 (consulta: 29 de agosto de 2018).

LUKAS, José Francisco y Karlos Santiago (2004), Evaluación educativa, Madrid, Alianza.

MALDONADO, Alma. (2000), “Los organismos internacionales y la educación en México. El caso de la educación superior y el Banco Mundial”, Perfiles Educativos, vol. 22, núm. 87, pp. 51-75, en: https://bit.ly/2Koh3ah (consulta: 20 de julio de 2018).

MARTÍNEZ Rizo, Felipe (s/f), La evaluación educativa en México: experiencias, avances y desafíos, en: http://www.fmrizo.net/fmrizo_pdfs/capitulos/C%20047%202010%20Evaluacion%20Educativa%20en%20Mexico_FMR-EB%20COLMEX.pdf (consulta: 13 de abril de 2018).

MCMEEKIN, Robert (2006), “Acreditación, accountability y mejoramiento de la calidad de la educación en escuelas vulnerables”, Pensamiento Educativo, vol. 39, núm. 2, pp. 237-253.

NORIEGA, Margarita (1998), “Financiamiento de la educación: su historia y su estudio”, en Pablo Latapí (coord.), Un siglo de educación en México, México, Fondo de Estudios e Investigaciones Ricardo J. Zevada/Consejo Nacional para la Cultura y las Artes/Fondo de Cultura Económica, Biblioteca Mexicana, tomo II, pp. 358-382.

PEÓN Zapata, Margarita (2009), “El aprendizaje del español y la expresión escrita”, en Andrés Sánchez Moguel y Edgar Andrade Muñoz (coords.), El aprendizaje en tercero de secundaria en México. Informe sobre los resultados de Excale 09, aplicación 2008, México, INEE, pp. 51-89.

PISA (2006), Preguntas frecuentes, México, INEE.

PISA (2008), PISA en el aula, México, INEE.

PLANEA (2018), Resultados nacionales 2017. Tercero de secundaria. Lenguaje y comunicación y matemáticas, México, SEP, en: http://planea.sep.gob.mx/content/general/docs/2017/RESULTADOS_NACIONALES_PLANEA2017.pdf (consulta: 2 de mayo de 2018).

REIMERS, Fernando y Connie Chung (2016), Enseñanza y aprendizaje en el siglo XXI. Metas, políticas educativas y currículo en seis países, México, FCE.

RUEDA, Mario y Edna Luna (2011), “Las valoraciones del desempeño docente en las universidades”, en Mario Rueda (coord.), ¿Evaluar para controlar o para mejorar? Valoraciones del desempeño docente en las universidades, México, UNAM-IISUE, pp. 9-29.

SÁNCHEZ Cerón, Manuel (2001), “Influencia del Banco Mundial y la CEPAL en las tendencias educativas recientes en algunos países latinoamericanos”, Revista Latinoamericana de Estudios Educativos, vol. 31, núm. 4, pp. 55-97.

STANOVICH, Keith (1986), “Matthew Effects in Reading: Some consequences of individual differences in acquisition of literacy”, Reading Research Quarterly, vol. 21, núm. 4, pp. 360-407, en: http://eprints.lancs.ac.uk/50136/1/CainOakhill2011JLD.pdf (consulta: 8 de agosto de 2018).

SOLÉ, Isabel (2012), “Competencia lectora y aprendizaje”, Revista Ibero-Americana de Educação, núm. 59, pp. 43-61, en: https://rieoei.org/historico/documentos/rie59a02.pdf (consulta: 19 de febrero de 2018).

VERA Hidalgo, Manuel (2011), “Comprensión lectora y competencias del profesorado”, en Textos de Didáctica de la Lengua y de la Literatura, vol. 17, núm. 57, pp. 62-68, en: http://hdl.handle.net/11162/29045 (consulta: 30 de abril de 2018).

ZAMUDIO, Celia, Celia Díaz Argüero y Enrique Lepe García (2012), El aprendizaje de los contenidos curriculares de español. Un análisis de los resultados de los Exámenes de la Calidad y el Logro Educativos (Excale 03, 06 y 09), México, INEE.

ZORRILLA Alcalá, Juan Fidel (2015), “La construcción de alternativas de formación docente para el bachillerato y para la licenciatura en México”, Perfiles Educativos, vol. 37, núm. especial, pp. 35-54.

NOTAS

[1] Este trabajo sirvió para obtener el grado de Maestría en Docencia para la Educación Media Superior en el 2018. Los autores agradecen los valiosos comentarios y observaciones de la Dra. Luisa Angélica Puig Llano, la Dra. Luz América Viveros Anaya, la Mtra. Guadalupe Centeno Durán y la Lic. María Ysabel Gracida Juárez.

[2] El índice de la prueba considera la siguiente nomenclatura de evaluación: Excale 00 corresponde al último año de preescolar, Excale 03 a tercero de primaria, Excale 06 a sexto de primaria, Excale 09 a tercero de secundaria y Excale 12 al último año de media superior.

[3] Teoría basada en la “Parábola de los talentos”, Mateo, 25:29: “Porque a todo el que tiene se le dará y tendrá de sobra, pero al que no tiene, se le quitará, incluso lo que no tiene”.

Table of Contents

La evaluación de la comprensión lectora en México