DIRECTOR

Alejandro Márquez Jiménez

CONSEJO EDITORIAL

Jorge Ernesto Bartolucci, Universidad Nacional Autónoma de México, México

Patrick Boumard, Université de Bretagne Occidentale, Brest, Francia

Rosalba Casas, Universidad Nacional Autónoma de México, México

Cristián Cox Donoso, Universidad Diego Portales, Chile

María de Ibarrola Nicolín, Departamento de Investigaciones Educativas, México

Norberto Fernández Lamarra, UNTREF, Argentina

Gustavo Fischman, Arizona State University, EUA

Jesús Miguel Jornet Meliá, Universidad de Valencia, España

Humberto Muñoz, Universidad Nacional Autónoma de México, México

Javier Murillo, Universidad Autónoma de Madrid, España

Ma. Cristina Parra, Universidad de Zulia, Venezuela

José Francisco Soares, Universidad Federal de Minas Gerais, Brasil

Emilio Tenti Fanfani, Universidad de Buenos Aires, Argentina

Lilia Toranzos, Organización de Estados Iberoamericanos, Argentina

Alicia Vargas Porras, Universidad de Costa Rica, Costa Rica

Guillermo Zamora Poblete, Pontificia Universidad Católica de Chile, Chile

COMITÉ EDITORIAL

Germán Álvarez Mendiola (DIE-CINVESTAV), María Isabel Belausteguigoitia Rius (FFyL-UNAM), Alejandro Canales Sánchez (IISUE-UNAM), Graciela Cordero Arroyo (UABC), Adrián de Garay Sánchez (UAM –Azcapotzalco), Gloria del Castillo Alemán (FLACSO-México), Gunther Dietz (UV), Ana Lucía Escobar Chávez (UAS), Ana Hirsch Adler (IISUE-UNAM), Rodrigo López Zavala (UAS), Andrés Lozano Medina (UPN), Dinorah Miller Flores (UAM-Azcapotzalco), Enrique Pieck Gochicoa (UIA), Estela Ruiz Larraguivel (IISUE-UNAM), Lya Sañudo Guerra (SEJ).

Editora: Gabriela Arévalo Guízar

Corrección: Cecilia Fernández Zayas

Diseño editorial, formación, fotografía, traducción ePub: Ernesto López Ruiz

Perfiles Educativos ha sido aprobada para su inclusión en el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica (IRMICYT), del CONACYT, así como en los índices y las bases de datos: SCOPUS (Elsevier, Bibliographic Databases), Scientific Electronic Library Online (Scielo México), Scielo Citation Index (Scielo-Thomson Reuters), Red de Revistas Científicas de América Latina y el Caribe, España y Portugal (REDALYC), Índice de Revistas sobre Educación Superior e Investigación Educativa (IRESIE), Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal (LATINDEX) y Citas Latinoamericanas en Ciencias Sociales y Humanidades (CLASE).

Perfiles Educativos es una publicación que da a conocer principalmente resultados de la investigación en educación. Su línea editorial da cabida a los diversos aspectos de indagación, pues considera que las ciencias de la educación se han constituido en un campo inter y pluridisciplinario. La educación es un campo de conocimiento y también un ámbito de intervención; es por ello que en la revista se publican resultados de investigaciones con referentes teóricos o empíricos, desarrollos teóricos y reportes de experiencias educativas con un fundamento conceptual que por su carácter merezcan ser difundidos. Perfiles Educativos es una revista de intercambio y debate abierta a todos los interesados en el campo de la investigación educativa.

© 2017, Instituto de Investigaciones sobre la Universidad y la Educación (IISUE)

Perfiles Educativos es una publicación trimestral del IISUE de la UNAM. Los artículos firmados no necesariamente reflejan los criterios del IISUE y son responsabilidad exclusiva de los autores. Se prohíbe la reproducción total o parcial de los artículos sin autorización. No se devuelven originales. La correspondencia debe dirigirse a Revista Perfiles Educativos, Edificio del IISUE, lado norte de la Sala Nezahualcóyotl, Zona Cultural, Coyoacán, 04510, México, D.F. Correo electrónico: perfiles@unam.mx

Suscripciones anuales: México $500.00 M.N. Extranjero: USD 50.00. Precio del ejemplar: $100.00 M.N. Información sobre suscripciones a los teléfonos 56 22 69 95, ext. 2023. Conversión a ePub: Ernesto López Ruiz, teléfono (443)318 89 97 ernesto@alkimiamorelia.com. Certificado de licitud expedido por la Comisión Calificadora de Publicaciones y Revistas Ilustradas, el 16 de noviembre de 1981. Perfiles Educativos es nombre registrado en la Dirección General de Derechos de Autor. Se diseñó para ePub en junio de 2016.

La calidad de la educación básica mexicana bajo la perspectiva nacional e internacional: el caso de lectura en tercero de primaria

JOSÉ ALFONSO JIMÉNEZ MORENO[1]

El objetivo principal de esta investigación es contribuir al debate sobre la calidad de la educación mexicana, en particular en lo que respecta a lectura en tercero de primaria. Para ello se presenta un análisis de dos evaluaciones dirigidas a esa temática en el mismo nivel educativo: el Examen para la Calidad y el Logro Educativos (EXCALE) y el Tercer Estudio Regional Comparativo y Explicativo (TERCE) en términos de su enfoque, metodología y forma de comunicación de resultados. La comparación permite abonar al discurso sobre el proceso metodológico de la evaluación a gran escala, la forma en que los resultados se comunican con el fin de ser un insumo relevante para la toma de decisiones en términos de política educativa, así como sobre el dinamismo inherente al concepto de calidad educativa que se utiliza en los procesos de evaluación.

Palabras clave: Calidad de la educación, Evaluación internacional, Evaluación nacional de logro académico, Examen de calidad y logro educativo, Política educativa.

The main objective of this research is to contribute to the debate on the quality of Mexican education, particularly in regard to reading in the third grade of primary school. For this purpose we present the findings of an analysis of two assessments on this issue at the same level of education: the Educational Achievement and Quality Exam (EXCALE) and the Third Regional Comparative and Explanatory Study (TERCE) in relation to their approach, methodology and ways of communication of results. The comparison makes it possible to contribute broadly to the discussions on the methodological process of the assessment, to the way in which results are communicated in order to be a relevant input into decision-making for education policy, as well as to the dynamism inherent in the quality of education used in the assessment processes.

Keywords: Education quality, International assessment, National assessment of academic achievement, Education quality and achievement exam, Education policy.

Recepción: 5 de octubre de 2016 | Aceptación: 14 de diciembre de 2016

[1] Investigador de tiempo completo en el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California (México). Doctor en Pedagogía por la Universidad Nacional Autónoma de México. Líneas de investigación: evaluación educativa, y calidad en la educación. Publicaciones recientes: (2017), “La evaluación de los egresados de formación profesional en México: reflejo de la implementación de la política de competitividad en la educación superior”, Archivos Analíticos de Políticas Educativas, vol. 25, núm. 48, en: http://epaa.asu.edu/ojs/article/viewFile/2868/1908; (2016), “El papel de la evaluación a gran escala como política de rendición de cuentas en el sistema educativo mexicano”, Revista Iberoamericana de Evaluación Educativa, vol. 9, núm. 1, pp. 109-126. CE: jose.alfonso.jimenez.moreno@uabc.edu.mx

INTRODUCCIÓN

En las últimas décadas, en los sistemas educativos de muchos países ha aumentado la preocupación respecto al aseguramiento del derecho de las personas a recibir una educación de calidad. Ello se ha visto reflejado en el interés de los gobiernos en las evaluaciones que favorezcan el conocimiento de los logros alcanzados por los estudiantes. Tradicionalmente los logros de aprendizaje han sido valorados como uno de los indicadores más fiables del avance educativo, debido a la concordancia entre dicho indicador de calidad y las dinámicas económicas y políticas basadas en la rendición de cuentas (Jiménez, 2016).

En el ámbito internacional, las evaluaciones de los logros de los estudiantes se han desarrollado bajo diversos enfoques, dependiendo de los intereses de cada país, así como de los objetivos que se persiguen. De acuerdo con la información de la Secretaría de Educación Pública (SEP, 2002), países como Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Ecuador, España, Guatemala, Holanda, Honduras, México, Paraguay, Perú y Uruguay tienen mecanismos de evaluación de logros educativos a nivel básico, la mayoría de ellos desde la década de los noventa. De manera general estos países han pretendido conocer los avances de sus sistemas educativos evaluando los aprendizajes de sus estudiantes en primaria y secundaria; algunos de ellos también han considerado la evaluación del aprendizaje de otros niveles educativos, incluso a nivel medio, como en los casos de México y Uruguay. Cada país desarrolla sus evaluaciones a través de sus agencias nacionales, ya sean estatales, paraestatales o autónomas, de acuerdo con las leyes y la organización particulares. A pesar de la diversidad de tipos de agencias que realizan las evaluaciones nacionales, sin embargo, existe la tendencia de conocer los avances en materia de logros alcanzados por los estudiantes como consecuencia de la escolaridad brindada por el Estado.

Adicionalmente, existen diversos proyectos de corte internacional que buscan realizar comparaciones de los sistemas educativos bajo una misma lógica, es decir, observando el desempeño de los estudiantes en áreas que se consideran claves en las sociedades competitivas. Uno de los ejemplos más representativos de este tipo de ejercicios es el Programme for the International Student Assessment (PISA) coordinado por la Organización para la Cooperación y Desarrollo Económicos (OCDE), que tiene como finalidad conocer la medida en que los jóvenes de 15 años han adquirido conocimientos y habilidades esenciales para participar en las sociedades modernas (OECD, 2014). Por su parte, los estudios desarrollados por el Laboratorio Latinoamericano para la Evaluación de la Calidad de la Educación (LLECE) coordinados por la Organización de las Naciones Unidas para la Educación, la Ciencias y la Cultura (UNESCO), pretenden aportar a los debates sobre la calidad de la educación, y en favor de la garantía del derecho a la educación, considerando la evaluación del aprendizaje en matemática, lenguaje y ciencias para la región latinoamericana (UNESCO, 2015b). Si bien existen otros proyectos, tales como los que fomenta la International Association for the Evaluation of the International Achievement (IEA), PISA y los estudios del LLECE son altamente utilizados por los países de América Latina en lo que se refiere a la caracterización de la calidad de los logros educativos.

Existe una amplia diversidad de opciones de evaluación de logros educativos enfocadas a ofrecer información fiable y a gran escala para los diversos Estados que participan en ellas, o bien, que las desarrollan de forma interna; de esta manera se genera una enorme diversidad de información bajo distintas perspectivas metodológicas, con la intención de realizar aportes a las políticas orientadas a fomentar la calidad educativa en aras de que los estudiantes alcancen los niveles esperados para desempeñarse de forma adecuada en la sociedad actual. En ese sentido, cada proyecto establece metodologías y estándares diversos para desarrollar sus juicios de valor sobre lo que se entiende por calidad en educación.

A partir de la intención de los países de valorar la calidad de sus sistemas educativos y la posibilidad de los Estados de tener acceso a diversas fuentes de información, el presente documento muestra una comparación entre dos tipos de evaluaciones enfocadas a un mismo nivel educativo para, de esta manera, valorar los estándares utilizados en cada uno de los proyectos, así como las congruencias existentes entre resultados. A partir de estas comparaciones se podrá ampliar el debate en lo que respecta a la información que se genera y se comunica a la sociedad y a los tomadores de decisiones en la política educativa. Para este análisis se considera el caso de México en dos proyectos en particular: el Tercer Estudio Regional Comparativo y Explicativo (TERCE), el más reciente de los estudios generados por el LLECE de la UNESCO, y los resultados de los Exámenes para la Calidad y el Logro Educativos (EXCALE), desarrollados por el Instituto Nacional para la Evaluación de la Educación (INEE); específicamente se analiza el caso de lectura en tercer grado de educación primaria. La selección de estos proyectos en el caso mexicano responde a que ambos se enfocan en la educación básica, existe coincidencia entre las áreas de evaluación y ambas siguen una metodología similar en cuanto al desarrollo de los marcos conceptuales que las respaldan. Inicialmente se presenta un breve panorama respecto a la calidad educativa y su relación con la evaluación de los logros educativos; posteriormente se desarrolla una descripción de cada uno de los proyectos de evaluación, con comparaciones en lo que respecta a la perspectiva de calidad que subyace a sus acciones, las metodologías utilizadas para el diseño de los instrumentos, así como los resultados obtenidos y la forma en que éstos se comunican en aras de ser un insumo relevante para la toma de decisiones en materia de política educativa.

CALIDAD EDUCATIVA Y LOGRO ESCOLAR

La delimitación de los elementos que definen a la calidad en educación ha sido objeto de debate en el ámbito académico en las últimas décadas. Es importante considerar que, en el ámbito internacional, la preocupación por la calidad de la educación comenzó en el momento en que se alcanzaban niveles aceptables de cobertura educativa, por lo que la preocupación de los Estados y los sistemas educativos se trasladó hacia el conocimiento del uso eficiente de los recursos (Egido, 2005). La actual tendencia de mercado enfocada en la competitividad y en la rendición de cuentas ha favorecido la reflexión sobre la calidad de los procesos educativos; así, como se comenta en INEE (2005), la calidad se relaciona con la capacidad de un país de generar riqueza, por lo que el desarrollo, bajo un contexto globalizado y basado en la competitividad, requiere que sus ciudadanos estén mejor preparados (Gómez, 2004; INEE, 2005).

Si bien en el siglo XX la idea de universalización de la escuela primaria fue el sostén bajo el cual se construyeron los sistemas educativos (Toranzos, 1996), la perspectiva actual de los Estados —basada en la competitividad— ha favorecido el reconocimiento de la calidad de la educación como un elemento necesario para la rendición de cuentas; ello implica la obligación de justificar cómo se usan los recursos y qué resultados se obtienen. En el caso de la educación, la rendición de cuentas tradicionalmente se analiza a partir de sus resultados, y de cómo éstos pueden generar un uso potencial en el mercado y la competitividad (Trow, 1996, cit. en Jiménez, 2016).

En realidad, no existe una definición concreta y unívoca respecto a la calidad educativa (Egido, 2005); no es un valor absoluto o un elemento en sí mismo, sino que su significado dependerá de la perspectiva social bajo la cual se considera (Hamel, 2009). La calidad implica un juicio y, como tal, se desarrolla bajo una postura política en particular, de tal suerte que las dimensiones que la componen son dinámicas (INEE, 2005), ya que su conceptualización se delimita en función del sujeto o de la realidad bajo la cual se emiten los juicios. En ese sentido, la atención especial que se le ha dado a la calidad educativa en las últimas décadas debe valorarse en función de los intereses que los sistemas educativos tienen respecto a la generación de información valiosa para la toma de decisiones orientadas a la mejora de la competitividad internacional. Este fenómeno, llamado policy by number (Saura y Luengo, 2014), implica la consideración de mediciones capaces de supervisar el avance educativo, para con ello establecer acciones que permitan orientar los resultados hacia las metas que se plantean los Estados. Bajo esa lógica, la calidad de la educación en aquellos sistemas educativos orientados hacia la competitividad se orienta hacia dimensiones que resulten ser un indicador de utilidad para la toma de decisiones en materia de política educativa.

De acuerdo con Hamel (2009), el debate sobre la calidad educativa ha tenido tres vertientes principales: la formación de un ciudadano preparado para ser funcional en el mercado de trabajo establecido; un ciudadano humanístico y politécnico con capacidad alta de crítica y adaptación; y un ciudadano capacitado y con alta motivación para proponer cambios sociales. De esta forma, la tendencia neoliberal de mercado bajo la cual se establecen los sistemas educativos consideran a la eficiencia (uso óptimo de recursos), eficacia (elemento relacionado con la cobertura, permanencia, conclusión y logros académicos relacionados con los estándares definidos) e impacto (relacionado con el éxito de los egresados en la inserción al mercado laboral o de incorporación a los siguientes niveles educativos) como los indicadores de calidad que favorecen la comprensión del avance educativo.

Siguiendo a Toranzos (1996), la idea de calidad en la educación implica la consideración de diversas dimensiones que se complementan entre sí: 1) la calidad educativa es aquella que logra que los estudiantes aprendan lo que deben aprender, lo cual se establece de manera formal en los currículos; 2) la calidad se relaciona con la relevancia, es decir, aquella que responde a lo que los individuos necesitan para su desarrollo (no sólo en el sentido intelectual, sino también en el moral y físico); 3) en relación con los procesos, se considera necesario que los sistemas educativos ofrezcan un contexto adecuado para el aprendizaje, un cuerpo docente preparado, materiales de estudio adecuados, al igual que estrategias didácticas que favorezcan el aprendizaje.

Por otro lado, Schmelkes (1996) afirma que la calidad educativa debe considerar:

1. Relevancia. El sistema educativo es capaz de ofrecer aprendizajes importantes para la vida actual y futura de los estudiantes, en función del contexto en el cual se desenvuelvan.

2. Eficacia. Es la capacidad de alcanzar los logros de aprendizaje propuestos en el tiempo previsto para cursar los estudios.

3. Equidad. Un sistema debe conocer el punto de partida de sus estudiantes, con el fin de apoyar a quienes requieran apoyo. Un logro en equidad se transforma en un logro de eficacia.

4. Eficiencia. Lograr resultados similares a los de otros sistemas con menos recursos.

En el mismo sentido, adicional a los elementos considerados por Schmelkes, el INEE (2005) afirma que la calidad también se relaciona con: la pertinencia, es decir, la adecuación curricular respecto a las situaciones de vida de los estudiantes; y el impacto, que se refiere a que los aprendizajes alcanzados en la escuela se traduzcan en valores individuales y sociales. En la actualidad, la calidad de la educación también se relaciona directamente con el ejercicio de la titularidad de derechos; en ese sentido, la perspectiva de Tomasevski (2004, cit. en INEE, 2016) considera que la disponibilidad, la accesibilidad, la adaptabilidad y la aceptabilidad son características que los sistemas educativos deben cumplir en aras de asegurar el derecho de todas las personas a recibir una educación de calidad.

Los primeros trabajos a gran escala para conocer la calidad educativa fueron los de la International Association for the Educational Achievement (IEA), y Education at a glance, de la OCDE (Egido, 2005); estos trabajos se desarrollaron bajo una perspectiva comparada, con la finalidad de atender la necesidad de dar respuesta a una perspectiva basada en la competitividad; e impulsaron metodologías para el conocimiento de la eficiencia, la eficacia y el impacto de la educación. De esta forma, mediante agencias de corte internacional, tales como la OCDE, se promovieron evaluaciones internacionales del aprendizaje como estándar de calidad educativa (Hamel, 2009). En ese sentido, la OCDE (2004, cit. en Meckes, 2007), sostiene la idea de que la definición de estándares de desempeño para el aprendizaje es un rasgo común de los sistemas educativos exitosos. En este tipo de evaluaciones, el estándar describe el nivel de desempeño que debe mostrar un estudiante en un área; y el desempeño de cada uno se compara con dicho estándar con el fin de clasificarlo en una categoría en particular y poder definir qué tan adecuado es.

Los estándares, que son inherentes a cualquier proceso de evaluación (Stake, 2006), se establecen dentro de las evaluaciones de logros educativos en aras de determinar un referente de calidad, en particular en sus dimensiones de eficacia y relevancia. De esta forma, la evaluación que se fundamenta en la perspectiva de calidad desde el campo de la productividad requiere del establecimiento de estándares claros y medibles (Hamel, 2009). La evaluación del aprendizaje es el área con mayor acumulación de conocimiento dentro de la evaluación educativa (Román y Murillo, 2009), con un fuerte trabajo metodológico basado particularmente en métodos objetivos. De acuerdo con Jiménez (2014), la aplicación de pruebas destinadas a medir el logro del aprendizaje bajo el respaldo de técnicas objetivas y estadísticas permite que los sistemas educativos obtengan evidencia empírica de los resultados de los estudiantes; esto es así debido a la confianza que este tipo de métodos objetivos aporta a la toma de decisiones en temas de política educativa.

El uso de las evaluaciones de logro educativo desarrolladas bajo metodologías objetivas robustas, y cuyos resultados se basan en estándares definidos, juegan, así, un rol importante en el conocimiento de la calidad de los sistemas educativos, en particular en lo que respecta a las dimensiones de eficiencia y relevancia, ya que aportan información que fomenta el policy by number en el cual los Estados actualmente se desenvuelven. Bajo esta postura política sobre la calidad educativa en particular, y el rol que las evaluaciones de logro educativo aportan a su conocimiento, a continuación se describen dos de las evaluaciones a gran escala que se aplican en México y que se dirigen a conocer la calidad de la educación en términos de logro educativo.

TERCE: EVALUACIÓN DE LOGROS EDUCATIVOS EN AMÉRICA LATINA

TERCE es el tercer estudio desarrollado por el LLECE. El Laboratorio nació en 1994 como una propuesta de conformación de red de unidades de medición de Latinoamérica, coordinado por la Oficina Regional de Educación de la UNESCO para América Latina y el Caribe (OREALC) (UNESCO, 2015a). En línea con el interés en la competitividad internacional, el LLECE ha desarrollado tres estudios con la intención de promover el desarrollo de políticas educativas: en 1997 el primer estudio (denominado PERCE) evaluó matemática y lectura en tercero y cuarto grado de primaria en 13 países latinoamericanos; el segundo estudio (llamado SERCE), que se desarrolló en el año 2006, se enfocó en matemática y lectura en tercero y sexto grados, además de ciencias naturales en sexto. Por su parte, el TERCE se llevó a cabo en 2013, con la intención de mantener una continuidad con las áreas y grados evaluados en el SERCE (UNESCO, 2015a).

Para los estudios del LLECE, la calidad educativa se basa en la perspectiva de la UNESCO, ya que no sólo se toma en cuenta el logro de los estudiantes como el único indicador (aunque sí lo considera imprescindible), sino que también considera aspectos como eficiencia, equidad, relevancia y pertinencia (UNESCO, 2015a). Independientemente de la mutidimensionalidad de la calidad educativa desde la perspectiva de la UNESCO, las evaluaciones del LLECE se han enfocado principalmente en resultados de aprendizaje; ello debido a que se considera un reflejo de equidad, lo cual es de gran importancia para la región latinoamericana, dada la diversidad existente de etnias y culturas.

El TERCE comenzó a desarrollarse en el año 2010 bajo la coordinación de la UNESCO y con la participación de diversas agencias de evaluación latinoamericanas, tales como el Centro de Medición de la Universidad Católica de Chile (MIDE-UC), el Centro de Políticas Comparadas en Educación de la Universidad Diego Portales (CPCE-UDP) y el Instituto Colombiano para la Evaluación de la Educación (ICFES). Cada una de estas agencias tuvo una importante función en la definición de los diversos momentos de la evaluación, mismos que se describen más adelante.

Este estudio internacional se caracteriza por abarcar 16 sistemas educativos en 15 países. Los participantes fueron: Argentina, Brasil, Chile, Colombia, Costa Rica, Ecuador, Guatemala, Honduras, México (y de forma independiente el estado de Nuevo León), Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay. Si bien todos los países participantes pertenecen a la región latinoamericana, la evaluación del aprendizaje frente a la diversidad de 16 sistemas educativos representa un reto importante. En términos de medición, existe la posibilidad de desarrollar instrumentos basados en el currículo, o bien, con base en algún otro referente. El TERCE, al igual que los dos estudios que le preceden, se desarrolla con base en el currículo. Las evaluaciones de este tipo son aquellas que se enfocan en la observación del logro de los estudiantes con el currículo como eje en el proceso de recolección de información (Deno, 1987, cit. en Hintze et al., 2006).

El ICFES fue el encargado de desarrollar el análisis curricular de este proyecto mediante la información proporcionada por cada uno de los países participantes. Los contenidos curriculares de cada país se sistematizaron mediante un análisis hermenéutico, el cual se compartió de forma comprensiva con las coordinaciones participantes, de tal suerte que se sistematizaran los contenidos que se incluyen en las pruebas, y se favorecieran las equivalencias entre los países (UNESCO, 2013). Este proceso se realizó para cada área y grado evaluado; en el caso de lectura de tercer grado de primaria, los contenidos por evaluar resultantes se exponen en el Cuadro 1.

Cuadro 1. Elementos evaluados en TERCE. Lectura, tercero de primaria

Dominios

Aprendizajes de cada dominio

Algunos de los tipos de textos incluidos

Procesos cognitivos inmersos en el proceso lector

Comprensión de textos. Implica la lectura de textos continuos y discontinuos con los cuales se realiza un trabajo intra o intertextual

• Reconoce información explícita de los textos.

• Reconoce de qué se habla en un texto.

• Reconoce secuencias explícitas en el texto.

• Identifica el significado de palabras o frases explícitas.

• Distingue un texto por su silueta y elementos paratextuales.

• Establece relaciones entre secuencias de acciones del texto narrativo, descriptivo e informativo.

• Establece relaciones y abstrae categorías entre bloques de información en el texto descriptivo.

• Reconoce cómo se organiza la información en un texto con secuencia envolvente narrativa o descriptiva.

• Infiere información implícita sobre el contenido del texto.

• Infiere el tema central y secundario del texto.

• Infiere el significado de palabras o expresiones cotidianas a partir del contexto.

• Utiliza elementos paratextuales para dar sentido a la lectura.

• Enjuicia o valora información implícita o explícita de un texto.

• Adivinanzas

• Fábulas

• Leyendas simples

• Poemas

• Noticias

• Biografías

• Afiches

• Recetas

• Comprensión literal.

• Comprensión inferencial.

• Comprensión crítica.

Metalingüístico y teórico. Refiere al dominio de conceptos de lengua y literatura

• Reconoce expresiones que indican acciones en tiempo presente y pasado (tiempos verbales).

• Distingue la función de algunos conectores: adición, temporalidad y posición.

• Infiere la función de conjunciones coordinantes simples, como y, o, pero; y subordinantes de uso frecuente, como porque o si.

• Reconoce la concordancia nominal (de género y número en sustantivos y sus determinantes).

• En secuencias descriptivas, reconoce características o atributos de objetos, personas y animales.

• Reconoce personaje principal o protagonista.

• Reconoce acción o evento central.

• Reconoce desenlace o final de un relato.

• Reconoce conceptos de narración, descripción y poemas.

Fuente: elaboración propia con información de UNESCO, 2015a.

El marco conceptual de la prueba, reflejado en los dominios, aprendizajes, tipos de texto y procesos cognitivos, se articuló en forma de bloques de ítems. Para dar sentido a los puntajes obtenidos se definieron puntuaciones medias de cada país y su variabilidad (una escala fija de 700 puntos y desviación estándar de 100), así como la frecuencia de estudiantes en los diversos niveles de desempeño. Estas formas de interpretación de puntajes representan los estándares bajo los cuales se compara cada uno de los países participantes. La Gráfica 1 muestra la media del puntaje obtenido por parte de los estudiantes en cada país.

Por otra parte, la segunda forma de interpretación de los resultados enfatiza los niveles de desempeño. Los niveles son descripciones de lo que, cualitativamente hablando, los estudiantes son capaces de realizar. Representan un continuo teórico de las habilidades lectoras de los estudiantes, de tal suerte que su interpretación se vuelve de gran relevancia al momento de considerar el estado de los logros educativos de un país. El Cuadro 2 muestra la descripción de los niveles de desempeño de lectura en tercero de primaria.

Cuadro 2. Descripción de niveles de desempeño TERCE Lectura, tercero de primaria

Nivel

Descripción

1 (hasta 675 puntos)

En narraciones literarias, predominantemente fábulas, textos líricos breves, cartas y afiches, los estudiantes muestran evidencias de ser capaces de:

• Localizar información explícita, repetida literalmente o mediante sinónimos, que se encuentra en un lugar destacado del texto (inicio o final) y es claramente distinguible de otras informaciones.

• Extraer conclusiones a partir de conexiones entre ideas evidentes.

• Inferir el significado de palabras conocidas y familiares a partir de las claves que entrega el texto.

• Reconocer tipos de textos breves de estructura familiar y cercana.

2 (entre 676 y 728 puntos)

En narraciones literarias, textos líricos, cartas, afiches, noticias y textos instruccionales, los estudiantes muestran evidencias de ser capaces de:

• Localizar y relacionar información explícita (relaciones causales), repetida literalmente o mediante sinónimos, que se encuentra en el cuerpo de un texto, que debe ser distinguida de otras informaciones cercanas.

• Inferir información a partir de conexiones sugeridas por el texto (no necesariamente evidentes).

• Realizar relaciones que demuestran la comprensión del sentido global del texto (por ejemplo, distinguir el tema central), a partir de información explícita reconocida y reiterada en el texto.

• Reconocer el propósito comunicativo de un texto no literario.

3 (entre 729 y 812 puntos)

En narraciones literarias, textos líricos, cartas, afiches, noticias, textos instruccionales, avisos y artículos informativos, estos estudiantes muestran evidencia de ser capaces de:

• Localizar y relacionar información explícita (relaciones causales y de secuencia temporal), repetida literalmente o mediante sinónimos, presentes en distintas partes de un texto, distinguiéndola de información que le compite.

• Inferir información a partir de conexiones sugeridas por el texto y apoyadas en el conocimiento de mundo.

• Inferir el significado de palabras no conocidas ni familiares a partir de las claves que entrega el texto.

• Realizar relaciones que demuestran la comprensión del sentido global del texto, como distinguir el tema central y otras, a partir de información explícita e implícita del texto.

• Reconocer características del contenido y estructura de textos literarios y no literarios.

4 (desde 813 puntos)

En narraciones literarias, textos líricos, cartas, afiches, noticias, textos instruccionales, avisos y artículos informativos, estos estudiantes muestran evidencia de ser capaces de:

• Interpretar lenguaje figurado y acciones de personajes en narraciones.

• Reflexionar y emitir juicios sobre los recursos y las características del contenido y estructura de textos literarios y no literarios.

• Reconocer tipos de texto de estructuras no familiares ni cercanas.

Fuente: UNESCO, 2015a.

Como puede observarse, la descripción de los niveles de desempeño funge como un estándar que describe no sólo lo esperado por los estudiantes en cada nivel, sino también una forma de interpretar el continuo de puntajes medidos en la prueba. Como consecuencia, no representa toda la posibilidad de habilidad lectora, sino aquélla medida bajo el instrumento utilizado, el cual basa su diseño en los contenidos producto del análisis curricular común en la región. En el caso de este proyecto, el estándar de calidad bajo la óptica de los logros educativos en lectura por parte de los estudiantes de tercero de primaria considera únicamente puntos curriculares en común y, de ellos, los incluidos en el continuo de dificultad establecido en el instrumento; esto se observa en los niveles de desempeño, los cuales se concentran en determinados tipos de texto y habilidades que son ordenadas por dificultad de forma empírica.[1] Las limitaciones de las conclusiones deben considerarse al momento de presentar los resultados por nivel de desempeño, como se muestra en la Tabla 1.

Tabla 1. Porcentaje de estudiantes por niveles de desempeño TERCE Lectura, tercero de primaria

País

Nivel 1

Nivel 2

Nivel 3

Nivel 4

Argentina

38.5

22.7

26.7

12.2

Brasil

33.7

21.6

32

12.7

Chile

10

14.5

35.7

39.9

Colombia

32.2

23.1

31.7

13.1

Costa Rica

17.6

22

39.4

21

Ecuador

38.1

24.3

27.6

10

Guatemala

46.1

23.7

22.9

7.3

Honduras

45.7

24.7

22.8

6.8

México

33.1

22.7

28.3

16

Nicaragua

56.2

24.1

16.1

3.7

Panamá

48.9

23.3

21.5

6.3

Paraguay

57.4

19.7

16.2

6.7

Perú

32.4

21

31.1

15.6

Rep. Dominicana

74.1

14.9

8.9

2.1

Uruguay

28.6

23.3

31.5

16.7

Promedio países

39.5

21.7

26.2

12.7

Nuevo León

26.8

21.6

33.2

18.5

Fuente: UNESCO, 2015a.

Con esta información cada país puede conocer el porcentaje de los estudiantes de tercer año de primaria en cada nivel de desempeño, y cómo es que los países participantes se comparan entre sí, incluso respecto al promedio de los países en su conjunto. Mediante los dos tipos de resultados (promedios de puntajes y porcentaje de estudiantes por nivel de desempeño) se pretende retroalimentar a los países respecto al nivel de calidad que muestran sus sistemas educativos, ello mediante la valoración del logro de sus estudiantes. El referente o estándar utilizado en este proyecto asume que la comparación de semejanzas curriculares entre países con una relativa cercanía cultural es un referente válido de la calidad educativa y da información apropiada para contribuir a las políticas que se requieren en la región.

EXCALE: EL ESFUERZO MEXICANO DE CONOCER LA CALIDAD EDUCATIVA BAJO UN REFERENTE NACIONAL

El Programa Nacional de Educación 2001-2006 del gobierno federal mexicano consideró la creación de mecanismos de evaluación rigurosos que favorecieran el rendimiento de cuentas de la educación a la sociedad (SEP, 2001, cit. en Backhoff et al., 2006). Como consecuencia, se creó el INEE, instituto que asumió las funciones de evaluación del aprendizaje que anteriormente llevara la Dirección General de Evaluación con las llamadas Pruebas de Estándares Nacionales (PEN), las cuales se aplicaron entre 1998 y 2003. Los EXCALE se realizaron porque se consideró que las PEN adolecían de elementos básicos de calidad en cuanto a medición, con una primera aplicación en el año 2005. La intención de estas pruebas era proporcionar al país un conocimiento general del rendimiento escolar que logran los alumnos en las asignaturas básicas del currículo de México.[2] Con ello se pretendía contribuir al conocimiento de los alcances y limitaciones del sistema educativo mexicano y promover la calidad de la educación básica mexicana; por supuesto, se pretendía abonar a la discusión sobre la rendición de cuentas a la sociedad.

La intención de los EXCALE era asegurar una solidez técnica que favoreciera el conocimiento de la calidad de la educación mexicana, y para ello hacían énfasis en su transparencia y en su legitimización social y académica. Con este objetivo, dichos exámenes se desarrollaban bajo la postura de calidad establecida por el INEE, enfocándose particularmente en la difusión de la cultura de rendición de cuentas a partir de los logros de los estudiantes en un referente en particular, en este caso, el currículo nacional. De esta manera, se asumía que los resultados obtenidos por los EXCALE favorecerían la comprensión del avance del sistema educativo mexicano hacia el ideal de aprendizaje establecido dentro de las asignaturas en las cuales se desarrollaron los instrumentos.

Los EXCALE cubrían cuatro áreas curriculares: español, matemáticas, ciencias naturales y formación cívica y ética. Se aplicaban cada cuatro años a preescolar (EXCALE 00), tercero de primaria (EXCALE 03), sexto de primaria (EXCALE 06) y tercero de secundaria (EXCALE 09). Cada año se aplicaba el examen correspondiente a uno de los grados mencionados y sus resultados eran comparables entre periodos (INEE, 2013).

Cuadro 3. Conocimientos y habilidades evaluados en el EXCALE 03

Conocimientos y habilidades

Descripción

Análisis de contenido y de la estructura

El alumno debe considerar cómo se desarrolla el texto y reflexionar sobre su contenido, organización y forma. Examinar el contenido y la estructura del texto requiere evaluarlo de manera crítica, compararlo y contrastarlo, además de entender el efecto que tiene sobre su lector.

Desarrollo de una comprensión global

El alumno debe considerar el texto como una unidad y entender de manera total o general el contenido del material leído.

Desarrollo de una interpretación

El alumno debe construir una idea basándose en la asociación de dos o más partes del texto. La información que se debe vincular está explícitamente asentada en el material de lectura, pero las relaciones de la información no están.

Extracción de la información

El alumno debe obtener datos aislados de un texto y saber buscar, localizar y seleccionar información relevante.

Reflexión semántica

El alumno debe reconocer el significado y los cambios de sentido de las palabras o de su organización.

Reflexión sintáctica y morfosintáctica

El alumno debe reconocer el uso correcto del lenguaje.

Reflexión sobre las convencionalidades de la lengua

El alumno debe usar correctamente la ortografía, la puntuación y la segmentación: reconocer los errores de ortografía o de puntuación y la segmentación de algunas palabras escritas incorrectamente en un escrito.

Fuente: INEE, 2013.

De acuerdo con el informe del INEE (2013), en particular los resultados en español de tercero de primaria evaluados con el EXCALE 03, basados en el currículo nacional del año 2000 (vigente en el momento de la aplicación), los conocimientos y habilidades evaluados se exponen en el Cuadro 3.

Al igual que como se realizó en el TERCE, los conocimientos y habilidades que evalúa el EXCALE 03 se incluyen en bloques de ítems o reactivos y la prueba se aplica de manera matricial, con el fin de estimar resultados a nivel nacional de un amplio constructo. Si bien en México se da la denominación “español”, puede observarse que los contenidos de la prueba, si bien enmarcados en elementos comunicativos, se enfocan fuertemente en la lectura.

En los resultados de EXCALE 03, como prueba criterial, se resaltan los porcentajes de estudiantes en los diversos niveles de desempeño. En particular, se enfocan en mostrar una comparación del porcentaje de estudiantes por nivel de desempeño entre los años 2006 y 2010, así como las diferencias o brechas existentes entre estratos escolares (rural, comunitario, privado, urbano público). Cabe mencionar que el informe del INEE (2013) no detalla el desempeño de los estudiantes en todos los dominios evaluados, sino que se resaltan sólo algunos porcentajes en particular. El Cuadro 4 muestra un ejemplo de ello:

Cuadro 4. Resultados de EXCALE 03, 2013

Contenido (conocimiento o habilidad evaluada)

Resultados relevantes

Análisis de contenido y la estructura

• 80 por ciento de los estudiantes reconoce las voces enunciativas presentes en una obra de teatro y algunas características formales de textos literarios (como un poema).

• 20 por ciento identifica el registro lingüístico y la función comunicativa de algunos textos, así como su propósito, tipo de información y elementos que lo conforman.

Extracción de información

• 100 por ciento localiza información específica apoyándose en las características gráficas de diferentes tipos de texto (como calendario, historieta y cartel).

• 50 por ciento de los estudiantes localiza información explícita en textos continuos y discontinuos, aun cuando no estén resaltadas características gráficas.

• 0 por ciento puede localizar detalles explícitos en documentos oficiales o seleccionar un dato específico en un listado.

Reflexión sobre las convencionalidades de la lengua

• 100 por ciento de los estudiantes pueden seleccionar los signos de puntuación apropiados para completar un diálogo.

• 60 por ciento pueden ordenar alfabéticamente listas cortas de palabras de un diccionario y de nombres de un directorio.

• 10 por ciento distingue el uso de mayúsculas en los nombres propios de instituciones.

Fuente: elaboración propia con información del INEE, 2013.

Como puede observarse en el Cuadro 4, las inferencias de resultados realizadas por EXCALE 03 refieren a elementos particulares de los ítems incluidos en la prueba, de ahí la particularización en los tipos de texto utilizados. Ahora bien, para obtener inferencias como las mencionadas se establecen puntos de corte, con el mismo sentido que en TERCE (Cuadro 5).

Cuadro 5. Descripción de niveles de desempeño EXCALE 03, 2013

Nivel

Descripción

Por debajo del básico

Los alumnos ubicados en este nivel tienen carencias importantes en el dominio curricular, ya que sólo poseen los siguientes conocimientos y habilidades: identifican información evidente o redundante en carteles o cuentos; reconocen una receta de cocina por su estructura y contenido; interpretan un poema en el sentido de comparaciones (metáforas) sencillas, referentes a las características físicas de objetos y personas; establecen relaciones implícitas entre personajes con base en la lectura de imágenes; localizan información específica apoyándose en las características gráficas de diferentes tipos de texto como el calendario, la historia y el cartel.

Básico

Los alumnos que alcanzan este nivel, además de los conocimientos y habilidades descritos en el nivel previo, identifican el tipo de información convencional de una receta; reconocen las voces enunciativas presentes en una obra de teatro, así como algunas características formales de textos literarios, como el poema; comprenden el sentido global de un texto sencillo y muy familiar; son capaces de inferir relaciones causales entre los acontecimientos del cuento y la fábula, así como de identificar el lugar y el tiempo en que se desarrolla la acción de una obra de teatro; localizan información explícita en textos continuos y discontinuos, aun cuando no esté resaltada por las características gráficas de los mismos; reconocen el significado de vocablos indígenas de uso común; eligen, entre un grupo de palabras relacionadas semánticamente, la que corresponde a la categoría gramatical necesaria para completar un fragmento de un texto; identifican el uso correcto de la concordancia de número, persona y tiempo en la relación sujeto-verbo; seleccionan signos de puntuación apropiados (admiración, interrogación y guion largo) para completar un diálogo.

Medio

Los alumnos que alcanzan este nivel, además de los conocimientos y habilidades descritos en los niveles básico y por debajo del básico, identifican el registro lingüístico y la función comunicativa de algunos textos, así como el propósito, tipo de información y elementos que pueden formar parte de un texto o que tienen un significado específico dentro de él; reconocen definiciones, ejemplificaciones y la secuencia de un proceso dentro de textos mayores; identifican características de los textos epistolares y literarios, así como elementos de coherencia en instructivos y narraciones; evidencian la comprensión global de textos cuando: identifican el propósito del autor, eligen el encabezado adecuado para una noticia, distinguen el contexto de uso y la función social de documentos, carteles y avisos, reconocen el mensaje central de un anuncio e identifican el argumento de una obra de teatro, el final pertinente de un cuento o la moraleja de una fábula; comprenden las ideas principales o algunos elementos de información específica en textos informativos y literarios, ya sea seleccionando, discriminando y/o integrando información dispersa en el texto; en los textos literarios, pueden distinguir entre elementos realistas y fantásticos, así como entre el sentido literal y figurado; interpretan el sentido de elementos gráficos en mapas, diagramas e historietas; localizan detalles de información explícita en documentos oficiales y seleccionan información apropiada para resolver un problema entre un conjunto de datos similares; construyen el significado de palabras, de expresiones idiomáticas de uso común o de metáforas, cuando el contexto discursivo ofrece pistas sobre su sentido; eligen la acepción pertinente de una palabra en un contexto dado con el apoyo del diccionario; seleccionan los antónimos de palabras de uso frecuente; relacionan los sustantivos colectivos con su referente; deducen el significado de sufijos que marcan ocupación; completan una oración con sentido y estructura apropiados dentro de un texto; reconocen la función de oraciones imperativas; identifican el uso correcto de la concordancia de género y número en la relación sustantivo-adjetivo en sustantivos singulares, plurales y colectivos; ordenan alfabéticamente listas cortas de palabras y de nombres.

Avanzado

Los alumnos que alcanzan este nivel, además de los conocimientos y habilidades descritos en los niveles medio, básico y por debajo del básico, analizan el contenido y la estructura para: evaluar la modificación que se le puede hacer a un texto para enfatizar su propósito comunicativo; identificar información precisa que se puede encontrar en ellos; detectar explicaciones en textos informativos; identificar inconsistencias estilísticas; y reconstruir la coherencia de instructivos y textos narrativos (p. ej., organizar los acontecimientos en algunas narraciones, completar los diálogos de manera congruente de la historia). Evidencian la comprensión global de textos cuando: generalizan el significado de acotaciones y diálogos en obras de teatro, sintetizan en una frase el tema central de un texto de divulgación e identifican la intención comunicativa de carteles y avisos. Interpretan e infieren información implícita: a) para completar los diálogos e interpretar las intenciones y emociones de los personajes de un texto narrativo; y b) para atribuir un sentido a los elementos gráficos de una historieta y un diagrama. Eligen el subtítulo adecuado para un apartado de un texto informativo. Identifican la información que proporcionan los elementos de una etiqueta comercial, de una carta o de una noticia; reconocen la paráfrasis que preserva el significado de una oración dada; eligen el pronombre adecuado para sustituir un referente; interpretan la relación semántica entre dos elementos unidos por un nexo causal o adversativo, sustituyéndolo sin alterar el sentido original del texto; identifican el uso correcto de la concordancia de número en la relación sustantivo-adjetivo dentro de una frase nominal compleja; ordenan alfabéticamente títulos o subtítulos de un texto; identifican la función del asterisco como marca de la presencia de información relacionada en distintas partes del texto.

Fuente: INEE, 2013.

Como se aprecia en el Cuadro 5, al igual que en TERCE se establecen puntos de corte generales, es decir, no en función de las áreas evaluadas dentro de la prueba, pero, a diferencia de TERCE, en EXCALE se enlistan los conocimientos evaluados, y se relaciona el tipo de texto con los ítems incluidos en las pruebas utilizadas, de ahí el nivel de especificidad marcado en ellos.

¿QUÉ NOS DICEN AMBOS PROYECTOS SOBRE LA CALIDAD DE LA EDUCACIÓN MEXICANA?

Cada uno de los proyectos de evaluación descritos hace referencia a la calidad educativa a nivel básico a partir de los logros de sus estudiantes, y su metodología se basa en la definición curricular como marco rector. A continuación se describe una comparación respecto a la información proporcionada por ambos proyectos y cómo ello les permite cumplir con sus objetivos principales: la generación de insumos para la definición de políticas educativas en México.

En el caso de TERCE, la información que proporciona a través de sus informes (al menos en el primero de ellos, citado en este trabajo, enfocado al logro alcanzado por los estudiantes) permite identificar los porcentajes de estudiantes que alcanzan determinado nivel de logro, es decir, informa lo que los estudiantes de cada país participante son capaces de realizar en el área de lectura. Corresponde a cada país realizar un análisis respecto al estándar o definición de niveles de desempeño y con ello establecer líneas de acción que orienten a la mejora de sus estudiantes, en el entendido de que los estándares reflejan lo que el currículo nacional enseña en relación con las coincidencias entre países. En el caso de México se resalta que 16 por ciento de sus estudiantes son capaces de realizar todas las actividades lectoras que se evaluaron a través de este instrumento; es decir, interpretan lenguaje figurado, emiten juicios sobre el contenido de textos y reconocen tipos de texto de estructuras poco familiares.

El EXCALE, también bajo una perspectiva curricular, presenta resultados de forma global en lo que respecta a niveles de desempeño; es decir, no permite valorar el estándar de cada área evaluada. Sin embargo, la interpretación de niveles de desempeño sí se realiza de forma particular, como se observa en el Cuadro 5. Al comparar ambas formas de presentar resultados se observa que existen diferencias relevantes; por ejemplo, mientras en TERCE se afirma que 16 por ciento de los estudiantes pueden emitir juicios sobre contenido de textos, en EXCALE se indica que 0 por ciento de los estudiantes puede localizar detalles explícitos en documentos oficiales o seleccionar un dato específico de un listado, lo cual pareciera ser una tarea más sencilla respecto a la que se afirma en TERCE.

Por supuesto, la comparación de lo que los estudiantes son capaces de realizar no es sencilla, ya que, si bien ambos proyectos se desarrollan bajo un marco común orientado a la identificación de logros como valor de la calidad del sistema educativo mexicano, y además los contenidos y la elaboración de ítems se encuentran ligados al currículo mexicano —en particular en tercero de primaria—, existen diferencias notables en lo que respecta a lo que cada proyecto interpreta como calidad.

Considerando la información de los contenidos por evaluar de cada proyecto, mostrados en los Cuadros 1 y 3, se observa que la caracterización del proceso lector sigue lógicas distintas: TERCE lo establece a partir de dominios enfocados en la comprensión y en procesos metalingüísticos, de tal suerte que los aprendizajes por medir se diferencian en habilidades que se procesan de forma intra e intertextual (para el caso del dominio comprensión de textos) y, por otra parte, al dominio de conceptos de lengua (para el caso del dominio metalingüístico y teórico). De esta forma, los textos y procesos cognitivos implicados en estos dominios se manejan de forma transversal entre todo el instrumento. Por su parte, en EXCALE la organización del instrumento se establece directamente a partir de los conocimientos y habilidades que conforman el proceso lector, sin embargo, no existe una descripción clara respecto a la forma en que los textos se enmarcan dentro de los procesos lectores, tal como sucede en el TERCE.

Las inferencias de la calidad educativa en México que cada proyecto realiza, en particular en lo que respecta al uso del lenguaje, distan no sólo en la forma de diseñar la prueba, definida a partir de la caracterización conceptual que se utiliza, sino también en los resultados que se presentan, ya que mientras que en TERCE México refleja resultados favorables en algunos casos, en EXCALE se siguen presentando datos poco favorables, incluso en procesos lectores básicos.

Dentro de la metodología del desarrollo de instrumentos a gran escala también es necesario considerar la definición de puntos de corte. Su establecimiento es parte del procedimiento de determinación de estándares y, de acuerdo con Hambleton et al. (2000), son necesarios dentro del proceso de desarrollo de pruebas criteriales relacionadas con la educación. El establecimiento de puntos de corte se refiere al procedimiento de definición de estándares, lo cual es un punto en la escala de puntuaciones de una prueba que sirve para clasificar a quienes fueron examinados en diversos niveles de ejecución (Leyva, 2011). Si bien en los informes consultados no hay una descripción de este proceso, es factible que las diferencias entre resultados se deban a la metodología utilizada para la definición de estándares, ya que, independientemente del método, el establecimiento de puntos de corte implica el uso de juicios por parte de expertos en el área. Para el caso del presente trabajo, la exposición de puntos de corte trasciende el objetivo primordial, pero baste por ahora identificar la posibilidad de que la distancia existente entre resultados de ambos proyectos pueda deberse no sólo al marco de evaluación.

Esta experiencia de análisis permite también valorar la manera en que se delimitan las características del objeto por evaluar, ya que, a pesar de que sean trabajos alineados al currículo, ambos consideran diversos elementos propios del uso de la lectura como elemento valioso del reflejo de la calidad en educación. Al respecto, lo que se establece en el plan de estudios de educación básica en México del año 2011 (SEP, 2011) es que la formación en lenguaje y comunicación permite acceder a formas de pensamiento en aras de construir pensamientos complejos, además de que posibilita a los estudiantes a interactuar en diversos ámbitos, interpretar y producir textos e identificar problemas y solucionarlos. La complejidad de lo establecido dentro del plan de estudios 2011, sin embargo, no necesariamente se ve reflejado en la manera en que ambos proyectos comunican sus resultados, por lo que las inferencias que se concluyen pueden orillar incluso a la presentación de elementos muy particulares establecidos en juicios sobre la medición misma realizada en las pruebas, como en el caso de EXCALE, en donde los resultados se centran en las formas particulares de textos utilizados dentro de los ítems de sus pruebas.

En el caso de ambos proyectos, los resultados muestran elementos relacionados con lo que los estudiantes de tercero de primaria pueden hacer en lo que a lectura se refiere. Con la intención de reflejar la calidad de la educación básica, cada proyecto realiza una delimitación de los contenidos por incluir en los instrumentos. De esta forma ambos guardan coincidencia metodológica con lo que comenta Salinas (2002), respecto a que evaluar significa juzgar parcelas de realidad que se han encasillado; es decir, hacer una valoración a partir del establecimiento de una línea divisoria entre todo lo posiblemente observable y que encasille un juicio en particular. En ese sentido, tanto en TERCE como en EXCALE se definieron posturas propias respecto a los elementos clave para interpretar la calidad de la educación en lectura que, a pesar de guardar coincidencia en marcos conceptuales y en enfoques metodológicos, no logran coincidir en resultados ni en formas de comunicación de la calidad de la educación del país en cuestión.

CONCLUSIONES

Como se ha comentado, la calidad de la educación es un constructo dinámico, el cual necesariamente requiere de un juicio a través de la evaluación para su identificación. La evaluación educativa requiere, entonces, de la delimitación de un marco y de estándares que permitan un acercamiento respecto a la calidad del objeto evaluado para con ello emitir juicios, retroalimentar, o bien, sentar líneas que favorezcan la implementación de políticas educativas. Los resultados de las evaluaciones siguen entonces un enfoque metodológico en particular que delimita los campos de acción de sus juicios, ello en coincidencia respecto al marco de calidad que subyace a los proyectos. En el caso de la calidad de la educación básica en México, en particular respecto a la lectura y su uso como elemento clave en el desarrollo de la sociedad actual, utilizan dos proyectos que favorecen miradas bajo dos perspectivas clave: la nacional y la internacional. TERCE y EXCALE son dos grandes proyectos de evaluación a gran escala que ofrecen una interesante mirada a los resultados de los estudiantes como indicador principal de la calidad de la educación en México, ambos bajo un desarrollo curricular y con metodologías de diseño y muestreo similares. Esta similitud en el marco de su desarrollo implica la posibilidad de comparar sus resultados bajo la perspectiva nacional, y también con países de la misma región.

El ejercicio desarrollado en este trabajo permite observar la manera en que cada proyecto de evaluación se encarga de delimitar el objeto evaluado, a pesar de que dos proyectos puedan tener enfoques y objetivos similares. De esta forma, al referir a la calidad educativa no sólo se debe reflexionar en la postura bajo la cual ésta se concibe, sino que involucra también la reflexión sobre las formas de identificarla, es decir, sobre la evaluación (Egido, 2005). En ese sentido, en un ejercicio de análisis de calidad en educación se debe considerar la postura evaluativa que subyace a los resultados e insumos que se consideran para ello, ya que, como lo afirma De la Orden (1999), la concepción de la educación determina el modelo evaluativo y, a su vez, el modelo evaluativo afecta los productos educativos, y por lo tanto influye en su calidad.

La comparación entre EXCALE y TERCE permite valorar la relevancia de sus resultados como insumo de desarrollo de políticas educativas y la medida en que los tomadores de decisiones recurren a los datos que se generan para implementar y ejecutar la cultura de rendición de cuentas mediante el policy by number. En este sentido, las reflexiones en torno a la evaluación de los logros de los estudiantes nos ofrecen tres rumbos: el primero de ellos se refiere al proceso metodológico que subyace a este tipo de trabajo. Al analizar dos perspectivas que hacen uso de metodologías similares y un enfoque en común, vale preguntarse qué elementos se consideran en su diseño que favorece la emisión de resultados disímbolos. Las distancias respecto a los resultados observados del mismo referente nos remite a Popham (1999), quien afirma que las inferencias que se hacen sobre los ítems deben considerarse de forma limitada, ya que una respuesta no refleja totalmente la calidad educativa, sino que puede ser producto de diversos factores, por ejemplo, las capacidades intelectuales de los estudiantes o el aprendizaje que se obtiene fuera de la escuela. Es importante, por tanto, considerar otro tipo de evidencias que ayuden a complementar un juicio sobre la calidad educativa.

La segunda reflexión se orienta hacia el uso de los resultados. Los EXCALE, instrumentos alineados al currículo nacional, diseñados a partir de los planes vigentes en su momento (Ruiz, 2009), representan la oportunidad de conocer el estado de los estudiantes respecto a lo esperado en los referentes del plan de estudios nacional. En ese sentido, ¿la manera en que se comunican los resultados obtenidos de los estudiantes favorece la comprensión de la forma en que los alumnos construyen pensamientos complejos? Los niveles de desempeño de EXCALE reflejan estándares particularizados en los ítems utilizados en la aplicación que se reporta, mientras que TERCE muestra estándares más generales. Mediante esta reflexión vale considerar la pregunta de que ambos proyectos muestren o no resultados de ayuda para dar respuesta al policy by number que les da sentido en la sociedad actual.

Por último, una tercera reflexión apunta hacia la calidad de la educación. Como lo afirma Gómez (2004), la economía competitiva de las sociedades actuales favorece el uso de evaluaciones a gran escala como conocimiento de la calidad educativa; bajo este contexto, “la clave para mejorar la educación es crear un mercado educativo donde la competencia sea la que, a su vez, lleve a mejorar los estándares” (2004: 76). Corresponde a toda instancia evaluadora la sensibilidad necesaria para establecer los ejercicios que se realizan bajo una postura en particular respecto a lo que se delimita como elementos observables mediante instrumentos a gran escala, ya que la evaluación de la calidad no es un proceso solamente técnico, sino que involucra una postura política (Egido, 2005). Conocer la calidad de la educación requiere, sin duda, de definir estándares que sean acordes con la postura educativa en la cual se desarrollan, aunque la reflexión respecto a lo que la calidad educativa implica es un deber constante, ya que la calidad en sí misma no es un concepto inamovible, como tampoco lo es la educación ni la sociedad a la cual da respuesta.

REFERENCIAS

ANDERSON, Jo Anne (2005), La rendición de cuentas en la educación, París, Instituto Internacional para la Planeación de la Educación.

BACKHOFF, Eduardo, Andrés Sánchez, Margarita Peón, Lucía Monroy y María de Lourdes Tanamachi (2006), “Diseño y desarrollo de los Exámenes de Calidad y el Logro Educativos”, Revista Mexicana de Investigación Educativa, vol. 11, núm. 29, pp. 617-638.

DE LA ORDEN, Arturo (1999), “Evaluación y calidad en educación”, Revista de Investigación Educativa, vol. 17, núm. 2, pp. 577-579.

EGIDO, Inmaculada (2005), “Reflexiones en torno a la evaluación de la calidad educativa”, Tendencias Pedagógicas, núm. 10, pp. 18-28.

Gobierno de México-Secretaría de Educación Pública (SEP) (2002), La calidad de la educación en México: perspectivas, análisis y evaluación, México, Porrúa.

Gobierno de México-Secretaría de Educación Pública (SEP) (2011), Plan de estudios 2011. Educación básica, México, SEP.

GÓMEZ, Ricardo (2004), “Calidad educativa: más que resultados en pruebas estandarizadas”, Revista Educación y Pedagogía, vol. 16, núm. 38, pp. 75-89.

HAMBLETON, Ronald, Richard Jaeger, Barbara Plake y Craig Mills (2000), “Setting Performance Standards on Complex Educational Assessments”, Applied Psychological Measurement, vol. 24, núm. 4, pp. 355-366.

HAMEL, Rainer (2009), “La noción de calidad desde las variables de equidad, diversidad y participación en la educación bilingüe intercultural”, Revista Guatemalteca de Educación, vol. 1, núm. 1, pp. 177-230.

HINTZE, John, Theodore Christ y Scott Methe (2006), “Curriculum-Based Assessment”, Psychology in Schools, vol. 43, núm. 1, pp. 45-56.

Instituto Nacional para la Evaluación de la Educación (INEE) (2005), “¿Qué es calidad educativa?”, México, INEE, col. Los temas de la evaluación.

Instituto Nacional para la Evaluación de la Educación (INEE) (2013), El aprendizaje en tercero de primaria en México. Informe de resultados EXCALE 03. Aplicación 2010. Español, matemáticas, ciencias naturales, formación cívica y ética, México, INEE.

Instituto Nacional para la Evaluación de la Educación (INEE) (2015), Plan nacional para la evaluación de los aprendizajes. PLANEA, México, INEE.

Instituto Nacional para la Evaluación de la Educación (INEE) (2016), La educación obligatoria en México. Informe 2016, México, INEE.

JIMÉNEZ, Alfonso (2014), “Evaluación a gran escala: su desarrollo y problemas en su modelo teórico”, ponencia publicada en Congreso Internacional de Educación de la Universidad Autónoma de Tlaxcala, Tlaxcala (México), septiembre de 2014.

JIMÉNEZ, Alfonso (2016), “El papel de la evaluación a gran escala como política de rendición de cuentas en el sistema educativo mexicano”, Revista Iberoamericana de Evaluación Educativa, vol. 9, núm. 1, pp. 109-126.

LEYVA, Yolanda (2011), “Una reseña sobre la validez de constructo de pruebas referidas al criterio”, Perfiles Educativos, vol. XXXIII, núm. 131, pp. 131-154.

MECKES, Lorena (2007), “Evaluación y estándares: logros y desafíos para incrementar el impacto en la calidad educativa”, Pensamiento Educativo, vol. 40, núm. 1, pp. 351-371.

Organisation for Economic Co-operation and Development (OECD) (2014), Programme for the International Student Assessment. The OECD assessment for 15-years-old in key competences to help improve quality, equity and efficiency in education systems. PISA trifold brochure, en: https://www.oecd.org/pisa/aboutpisa/PISA-trifold-brochure-2014.pdf (consulta: 6 de julio de 2016).

POPHAM, James (1999), ¿Por qué las pruebas estandarizadas no miden la calidad educativa?, Santiago de Chile, Biblioteca PREAL.

ROMÁN, Marcela y Javier Murillo (2009), “La evaluación de los aprendizajes escolares: un recurso estratégico para mejorar la calidad educativa”, Revista Iberoamericana de Evaluación Educativa, vol. 2, núm. 1, pp. 5-9.

RUIZ, Guadalupe (2009), “La calidad del sistema educativo mexicano desde los resultados de evaluaciones nacionales. El aprendizaje en matemáticas”, Revista Iberoamericana de Evaluación Educativa, vol. 2, núm. 1, pp. 74-89.

SALINAS, Dino (2002), Mañana examen. La evaluación: entre la teoría y la realidad, Barcelona, Graó.

SAURA, Geo y Julián Luengo (2014), “Política global más allá de lo nacional. Reforma educativa (LOMCE) y el régimen de estandarización (OCDE)”, Bordón, vol. 67, núm. 1, pp. 135-148.

SCHMELKES, Sylvia (1996), “La evaluación de los centros escolares”, trabajo presentado en el Taller sobre evaluación de docentes y de centros educativos, Cancún (México), OEI/SEP.

STAKE, Robert (2006), Evaluación comprensiva y evaluación basada en estándares, Barcelona, Graó.

TORANZOS, Lilia (1996), “Evaluación y calidad”, Revista Iberoamericana de Educación, núm. 10, pp. 63-78.

UNESCO (2013), Tercer estudio regional comparativo y explicativo TERCE. Análisis curricular, Santiago de Chile, UNESCO.

UNESCO (2015a), Informe de resultados TERCE. Logros de aprendizaje, Santiago de Chile, UNESCO.

UNESCO (2015b), “Material informativo sobre TERCE”, en: http://www.unesco.org/new/es/santiago/terce/what-is-terce (consulta: 6 de julio de 2016).

NOTAS

[1] La determinación de puntos de corte en pruebas criteriales, es decir, la distinción entre niveles de desempeño dentro del continuo de dificultad de la prueba, suelen establecerse una vez que el instrumento se ha aplicado en la población objetivo, ya que la dificultad mostrada por los ítems permite tener un referente de desempeño. Prácticamente en todas las pruebas con referencia al criterio se requiere del establecimiento de estándares bajo esta lógica; en particular, este tipo de definición de estándares son acordes para sistemas educativos que resaltan la rendición de cuentas (Anderson, 2005).

[2] Posterior a la Reforma Educativa suscitada en México en el año 2013, los EXCALE fueron sustituidos por el Plan Nacional de Evaluación de los Aprendizajes, PLANEA (INEE, 2015).

Table of Contents

La calidad de la educación básica mexicana bajo la perspectiva nacional e internacional: el caso de lectura en tercero de primaria