Publicaciones etiquetadas ‘evaluaciones’

Efectos inflacionarios de la evaluación

.

Del año 2006 al 2008, los alumnos de primaria del país, aumentaron 48.515 puntos en matemáticas y 48.388 puntos en español, según la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE). Pero ¿ha habido incremento en las competencias de los alumnos, se ha avanzado efectivamente en los resultados educativos o los alumnos han aprendido a contestar los exámenes?

ENLACE es una prueba que se aplica en todas las escuelas del país a estudiantes de 3º a 6º de primaria y 3º de secundaria. Esta evaluación fue realizada por primera vez en 2006 (en las áreas de español, matemáticas y, en 2008, se agregó ciencias naturales) y es anual. La Dirección General de Evaluación de la Secretaría de Educación Pública (SEP) es la encargada de ella.

El aumento de puntos observado de 2006 a 2008 no necesariamente implica una mejora en las habilidades lectoras y matemáticas, puede ser que se presente un efecto inflacionario de los resultados. Una explicación es que la recurrencia de estas evaluaciones enseña a los alumnos a contestar los exámenes (cuando de manera repetitiva se les presentan un determinado tipo de prueba), además de que se incentiva a las escuelas para que sus estudiantes obtengan buenas calificaciones, independientemente de que esto vaya o no asociado con el aprendizaje real. Por tanto, los resultados obtenidos hacen parecer que ha habido un aumento de conocimientos sobre los ámbitos evaluados, cuando en realidad ha habido un incremento en la disposición y el aprendizaje para responder a las pruebas: se ven cambios en los números, pero no cambios en los aprendizajes reales.

Cada año en ENLACE se observa: a) los rankings de escuelas publicados en los medios de comunicación, b) se han asociado consecuencias monetarias para los docentes de acuerdo con las puntuaciones de sus estudiantes, y c) se premia, públicamente, a los estudiantes con las puntuaciones más altas. Todos estos elementos han provocado que las escuelas quieran aparecer como las mejores.

El Dr. Eduardo Backhoff, en el “Estudio comparativo del aprendizaje en sexto de primaria en México 2005-2007: Español y Matemáticas” del Instituto Nacional para la Evaluación de la Educación (INEE), es de los primeros en México en señalar este efecto y cita a Kortez y Hamilton (2006):

  • Las evaluaciones de gran escala, cuando se utilizan de manera repetida producen una inflación en los resultados de aprendizaje.
  • El tamaño de la inflación de los resultados de logro educativo es muy difícil calcularlo, por lo que es complicado conocer el rendimiento real en un lapso de tiempo.
  • La familiaridad de los estudiantes con las demandas de las evaluaciones explican en gran parte dichas ganancias.
  • En algunas ocasiones, la familiaridad con las evaluaciones pueden incrementar la validez de las puntuaciones, pero a su vez decrementar la validez del beneficio.
  • En periodos cortos de tiempo (menos de cuatro años) no es creíble observar ganancias reales en los aprendizajes en un sistema educativo.
  • Es importante que el Estado no invierta recursos económicos en premiar a las escuelas o a los docentes por resultados espurios, ya que desperdicia el recurso y manda mensajes equivocados a la comunidad educativa y al país en general.
  • Es importante que se descuenten las ganancias observadas en los primeros años de evaluación y evitar que se utilicen como evidencia de logros educativos.

Las evaluaciones de gran escala, no solamente ENLACE, también los Exámenes de Calidad y Logro Educativo (EXCALE) del INEE, el Programa para la Evaluación para Alumnos (PISA, por sus siglas en inglés), el SERCE coordinado por el Laboratorio Latinoamericano para la Evaluación de la Calidad Educativa (LLECE), entre otras; definitivamente tienen un efecto inflacionario, sin embargo es muy difícil determinar el efecto real del aprendizaje con respecto al inflacionario. No se puede afirmar categóricamente que no ha habido avances en los aprendizajes, aunque tampoco se puede saber con exactitud cuáles han sido.

Con lo que tienen que pasar los niños (con todas estas pruebas) no es extraño pensar que ha habido un aprendizaje en el sentido real de habilidades, sino en llenar bolitas.

Para poder determinar el valor inflacionario y el real es necesario hacer estudios transversales, de tendencias y, sobre todo, longitudinales, que den información más veraz.

Evaluaciones peligrosas Parte II

.

En “El Primer Estudio Internacional Comparativo en Lenguaje, Matemáticas y Factores Asociados, en Tercer y Cuarto Grado de Educación Básica”, que fue aplicado a alumnos de 3º y 4º grados en México, analizó algunos factores que se deben considerar a la hora de leer los resultados.

Se observó que los alumnos de 4º grado aprendieron más que los de 3º, particularmente en lenguaje.

Se encontraron indicios de que el “incremento” del aprendizaje por el pasaje de 3º y 4º grado es superior entre los alumnos del área urbana comparados con los de la rural, y que tal comportamiento es más pronunciado en lengua que en matemáticas.

El nivel sociocultural de la familia incide claramente sobre el logro escolar. Para matemáticas, además, cuanto mayor es el capital cultural familiar (mejor nivel educativo de los padres, mayor número de libros disponibles en casa, más recursos invertidos en educación), mayor es el incremento en el nivel de logro debido a ese factor.

Otros factores condicionan el nivel de logro de los alumnos, es decir, tienen un efecto positivo sobre el nivel de rendimiento, aunque a veces sea sólo en algunas materias.

La disposición de material didáctico es un factor positivo para elevar el nivel de logro en ambas materias evaluados.

El género del alumno pareció ser determinante para la asignatura de lengua, en donde las mujeres mostraron un nivel de aprendizaje lingüístico notablemente superior al de los hombres. En cambio no está asociado al mejor logro en matemáticas.

El que los alumnos hayan asistido al preescolar permite predecir que estos alumnos serán mejores en lengua, pero no así en matemáticas.

Más allá del origen social y del género del alumno, ciertas actitudes, competencias y comportamientos de los alumnos inciden sobres sus logros. Ello se constató a través de las percepciones familiares. Se observó que cuando los padres se referían a sus hijos como “le gusta estudiar y no tiene dificultades”, “usa libros”, “hace sus tareas”, éstos tenían resultados mucho mejores que el resto de los participantes.

La percepción del propio alumno también fue determinante en los resultados: “hago las tareas y me resultan interesantes”, “me gusta mucho matemáticas”.

Como se observa en otras evaluaciones, los alumnos de las escuelas urbanas superan a los de las rurales en el nivel de logro, tanto en matemática como en lengua. Aunque estadísticamente significativas, las distancias encontradas no indican una segmentación geográfica muy pronunciada del sistema educativo público. Esta interpretación es más evidente en matemática- donde la diferencia media esperada es de 15 puntos–que en lengua, con distancias esperadas superiores a 21 puntos.

Los datos presentados por el LLECE para México son el general, coincidentes con los resultados para América Latina. La distancia en matemática entre el área rural, por un lado, y el área urbana, por el otro, llega a 15 y 9 puntos, respectivamente, siendo este último estadísticamente significativo. Esas distancias ascienden a 10 y 14 puntos, respectivamente, cuando se trata del logro en lengua.

Además, si se comparan estos resultados con los aportados por los Exámenes para la Calidad y el Logro Educativo (Excale), elaborados y aplicados por el INEE, se pueden encontrar enormes coincidencias, por ejemplo:

En matemáticas, 4 de cada 10 alumnos se ubicaron por debajo del nivel básico y casi 1 en avanzado, lo que equivale a decir que estos últimos alumnos no pueden trasladar el razonamiento matemático a su vida cotidiana para la resolución de problemas. Aunque en todas las evaluaciones realizadas en México, los hombres obtienen mejores calificaciones que las mujeres en esta área, en esta ocasión las diferencias fueron mínimas.

En español fueron evaluadas las habilidades de lectura, reflexión sobre la lengua y expresión escrita. En conjunto, casi 3 de cada 10 estudiantes estuvieron por debajo del nivel básico, mientras que sólo .02 alumnos se ubican en el avanzado. Es decir, mientras que aquel segmento de alumnos puede interpretar el significado de una frase o palabra en un contexto determinado, sólo una minoría es capaz de interpretar frases metafóricas. En este caso, las mujeres obtuvieron mejores calificaciones que los hombres.

Por supuesto, las escuelas privadas obtienen los mejores resultados, mientras que las escuelas públicas urbanas le siguen en los resultados, dejando al final de la lista a las escuelas rurales y sobre todo a las indígenas.

En los resultados de excale, por entidad federativa, se analizó la importancia del contexto en el que se desarrollan los alumno, lo que se llama “capital cultural escolar (cce)” de los estudiantes, que no es otra cosa que el nivel de preparación de los padres, disponibilidad de computadora e internet, es decir, los elementos del contexto social que le permiten tener un mejor desempeño académico: a mayor capital cultural, mayor aprendizaje de los estudiantes.

Entre las entidades que están en franca ventaja en cuanto al cce se encuentran el Distrito Federal, Nuevo León, Aguascalientes, Chihuahua, Baja California, Baja California Sur, Jalisco, Coahuila, Sonora, México. Estados que además tienen los resultados más altos en el examen.

Por el contrario, las entidades más deterioradas son Chiapas, Guerrero, Veracruz e Hidalgo. Oaxaca no fue evaluada debido a los problemas que se presentan, pero seguramente estaría en este grupo. Puebla se colocó en el nivel medio bajo de cce, lo que explica sus resultados.

Como se observa, las coincidencias en los resultados en ambos estudios son muchas, por lo que se hace extraño que hubiera necesidad de que pasaran tantos años para que ahora se tome con seriedad estos resultados.

El problema ahora en México es que las evaluaciones se han multiplicado, se tiene a PISA, ENLACE y EXCALE, a nivel nacional; mientras que en los estados se han evaluaciones de todo tipo, incluso en algunas entidades hay algo que ha sido llamado pre-pruebas, tanto para PISA como para ENLACE.

Los resultados de estas evaluaciones ahora son conocidos y se sabe con bastante precisión cuáles son los puntos débiles de la educación, pero estos estudios no han sido utilizados para generar políticas educativas, por ello las evaluaciones corren el riesgo de perder su razón de ser. Estas evaluaciones han dejando de lado la discusión sobre las causas del fracaso educativo, las diferencias e inequidades en el sistema, la importancia de la educación preescolar y la participación de los padres de familia, particularmente de las madres, que permita a los alumnos elevar su nivel educativo; y en su lugar, los maestros y las autoridades educativas parecen estar más preocupados por preparar exámenes y encontrar métodos que les permita a los alumnos contestar mejor.