El problema surge cuando sus resultados se leen sin tener en cuenta factores clave, como el nivel socioeconómico y la tasa de fracaso escolar. Los expertos alertan de que no sirve de nada buscar ‘fórmulas mágicas’.
La presión a la que son sometidos los jóvenes...a la hora de afrontar las evaluaciones internacionales puede incluso perjudicarles.
Cómo leer los ‘rankings’ de evaluación de alumnos
¿Existe una receta secreta para el éxito educativo?
Es necesario cambiar la interpretación, difusión y análisis de los resultados de las evaluaciones educativas internacionales
Las evaluaciones internacionales como PISA son útiles para comparar la educación de diferentes países. El problema surge cuando sus resultados se leen sin tener en cuenta factores clave, como el nivel socioeconómico y la tasa de fracaso escolar. Los expertos alertan de que no sirve de nada buscar ‘fórmulas mágicas’. Hay que saber analizar realidades más complejas que un simple listado.
Laura García Merino
La obsesión por los rankings de evaluación educativa lleva a hacer malas interpretaciones de ellos y a tomar medidas políticas erróneas. / Adobe Photostock
Medalla de oro en comprensión lectora y tercer y cuarto puestos en conocimiento científico y matemático, respectivamente. Estos fueron en el año 2000 los impecables resultados de Finlandia en el ranking de los 30 países participantes de PISA, el programa internacional para la evaluación de estudiantes. Las marcas en esta prueba suelen interpretarse como la medida del rendimiento escolar de cada país frente a los demás.
A veces, la diferencia entre las puntuaciones es tan grande que se busca imitar el sistema de los mejor situados, pero es un error
Desde entonces, cada vez que surge un debate sobre resultados escolares, alguien cita a Finlandia como el modelo a seguir. Sin embargo, con las mismas políticas educativas –menos deberes, menos exámenes y más atención a las preferencias del alumno–, en los últimos años Finlandia ha descendido al quinto y cuarto puesto en aptitudes científicas y lectoras y a la duodécima posición en matemáticas. Entonces, ¿existe o no una fórmula que garantice una educación de calidad?
Las evaluaciones educativas a gran escala (ILSA, por sus siglas en inglés) como el citado informe PISA, el Estudio de las Tendencias en Matemáticas y Ciencias (TIMSS) o el Estudio Internacional de Progreso en Comprensión Lectora (PIRLS), marcan las políticas de educación globales y nacionales.
Los medios de comunicación dan especial importancia a los resultados obtenidos por su propio país y comparan su puesto en el ranking final con las posiciones más altas. En ocasiones, la diferencia es tan alarmante que obliga a los responsables políticos a buscar la ‘receta secreta’ de los países de mayor rendimiento académico, haciendo análisis de variables como la cobertura y precisión del temario en los libros de texto, la formación del profesorado o los métodos de enseñanza.
Sin embargo, según un artículo publicado en Science por Judith Singer, investigadora de la Universidad de Harvard, y Henry Braun, director del Boston College, la obsesión por estos rankings y los intentos por mejorar imitando a otros países no solo lleva a tomar medidas erróneas, sino a prestar menor atención a usos que sí pueden ser constructivos.
“PISA no es un ranking. Decir que España está en el puesto 25 no informa sobre nada”, dice José Saturnino Martínez
“PISA no es un ranking. A pesar de que sea así como se presentan los resultados, no es una mera clasificación”, confirma a Sinc José Saturnino Martínez, experto en evaluación y políticas educativas, y profesor de Sociología en la Universidad de la Laguna. “Decir que España está en el puesto 25 de entre todos los países de PISA no informa sobre nada”.
Y lo aclara con este ejemplo: “Pongamos el caso de una empresa y un ranking de trabajadores según su salario. No es lo mismo la diferencia entre el primero y el segundo si cobran 10.000 y 1.000 euros que si cobran 1.200 y 1.000”, explica Martínez. En PISA, lo importante no es la posición, sino la distancia que separa a unos de otros.
Factores del éxito asiático
La puntuación matemática más alta en el informe PISA 2012 la obtuvieron Shanghái, Singapur, Hong Kong, Taiwán, Corea del sur, Macao y Japón. Sin embargo, antes de abrazar cualquiera de las características de su sistema educativo, deben tenerse en cuenta algunas realidades sobre el este asiático. El nuevo artículo de Science aporta datos para este análisis.
China, hasta hace algunos años, no permitía inscribirse en colegios urbanos a los estudiantes que no procedían de la ciudad, lo que excluía, según la OCDE, al 27% de los estudiantes de 15 años.
Para preparar las pruebas de PISA 2012, la mitad de los estudiantes del este asiático recibieron tutorías privadas
Por otro lado, en países como Corea, aproximadamente la mitad de los estudiantes participantes de PISA habían recibido tutorías privadas de cara a la preparación de los exámenes de 2012. Este tipo de gastos añadió un 2,6% del PIB a la contribución gubernamental a la educación, que es del 3,5%. Los firmantes del artículo, Singer y Braun, concluyen que, en parte, sus resultados no se deberían a los sistemas de educación pública, sino a la inversión privada.
Añaden que los resultados de ciudades como Shanghái, ciudades-estado como Singapur, o de países con un sistema de educación nacional como Francia, no se pueden comparar con países de sistemas descentralizados, como EE UU, Canadá o Alemania. Para estos últimos, los resúmenes nacionales ocultan la heterogeneidad de las políticas y prácticas del país.
La presión a la que son sometidos los jóvenes de Asia a la hora de afrontar las evaluaciones internacionales puede incluso perjudicarles. “Es cierto que en el rendimiento sobre contenidos los tigres asiáticos están en cabeza”, admite Luis Rico, catedrático de Didáctica de las Matemáticas de la Universidad de Granada. “Pero presentan una actitud mucho más negativa hacia las matemáticas y mayor rechazo que los alumnos europeos y los españoles en particular”.
La presión a la que son sometidos los jóvenes de Asia a la hora de afrontar las evaluaciones internacionales puede perjudicar su actitud frente a la materia estudiada. / Wikipedia
No todo depende de la escuela
PISA es una prueba que mide el rendimiento de jóvenes de 15 años matriculados en una institución educativa a tiempo completo. “Se tienen en cuenta las pruebas de todos los estudiantes seleccionados para su realización, independientemente del centro en el que estén matriculados o que sean alumnos repetidores”, aclara a Sinc Onofre Monzó, presidente de la Federación Española de Sociedades de Profesores de Matemáticas (FESPM).
“En España la desigualdad educativa procede, en parte, del nivel socioeconómico de las familias”, explica Monzó
En España la tasa de fracaso escolar es alta y muchos jóvenes realizan los controles de PISA en grupos que, por edad, no les corresponden. “Si en este tipo de pruebas no se contabilizase a los alumnos repetidores, evaluando solo a los que estudian el curso que les corresponde, los resultados de España en PISA estarían por encima de la media de la OCDE”, dice Monzó.
Tal y como explica el presidente de la FESPM, en España no existen desigualdades alarmantes entre centros educativos o alumnos, sino que estas proceden del nivel socioeconómico de las familias. Si se analizan los datos de manera aislada, se observa que los hijos de madres científicas, por ejemplo, tienen un nivel excelente.
Según José Saturnino Martínez, pensar que los resultados de las evaluaciones son producto únicamente del sistema educativo es uno de los mayores errores. “Además de la familia, interviene el mercado de trabajo”, aclara. “No es lo mismo crecer en Asia, donde se valoran mucho las pruebas estandarizadas, que en nuestra sociedad, donde no se les da tanta importancia”. Añade que hay países con políticas educativas completamente distintas que tienen resultados parecidos y al revés, lo que demuestra la importancia del contexto.
Lo que plantea la mayor paradoja, según el experto, es la diferencia interna de cada país. “Si queremos hacer política comparada, hay que comparar regiones”, reclama. En estados con políticas regionales como España, Italia o Alemania, la diversidad dentro de cada país es tan grande como la que existe entre distintos países. El sistema educativo de Castilla y León se parece más al canario que el sistema español al finlandés, ejemplifica Martínez. Sin embargo, Castilla y León tiene resultados como los de Finlandia, mientras que los de Canarias son mucho peores.
Precisos, pero mal interpretados
La interpretación aislada de los resultados tiene consecuencias directas sobre lo que se enseña en clase. “Si todo el mundo insiste sobre lo importante que es quedar bien en el test, la repercusión en los institutos se nota. Países como España o México ya se centran en entrenar a los alumnos los meses previos a abril, que es cuando suelen realizarse estos exámenes, dejando de lado el itinerario formativo”, advierte Martínez.
Evaluando exclusivamente a los alumnos que estudian el curso que les corresponde, los resultados de España en PISA estarían por encima de la media de la OCDE. / Flickr
A muchos especialistas en políticas educativas como él les preocupan los usos erróneos de las cifras y sus efectos sobre la opinión pública: “Este debate está siendo monopolizado por una lectura economista-cuantitativa bastante miope que aplica modelos estadísticos y, en función de los parámetros que resultan, hace recomendaciones políticas”, denuncia el experto.
“Esto es un error gravísimo. Imagina que se plantea qué es mejor para un animal, si vivir en la tierra o bajo el agua, y se seleccionan animales de forma aleatoria: arenque, cangrejo, conejo, pájaro y delfín. No tiene ningún sentido concluir que, como para la mayoría el agua es el medio idóneo, lo será para el resto”, explica.
Nadie pone en duda la fiabilidad de las evaluaciones como PISA, sino su mala divulgación. Según Pablo Sayans-Jiménez, miembro del grupo de Estudios Psicosociales y Metodológicos de la Universidad de Almería, una cosa es la precisión de las herramientas de medida y otra cosa es que la interpretación de las puntuaciones sea adecuada y capaz de explicar de forma objetiva las diferencias en el rendimiento del alumnado.
“Evaluaciones como PISA son de las más precisas que pueden encontrarse en cualquier tipo de prueba educativa, pero garantizar la validez de la interpretación que se hace sobre las puntuaciones puede ser más complejo y depender, a su vez, de la forma en la que se usen estas interpretaciones”, concluye.
Es necesario cambiar la interpretación, difusión y análisis de los resultados de las evaluaciones educativas internacionales
Martínez coincide en que este tipo de evaluaciones educativas internacionales son útiles para tener datos esquematizados y comparables entre países. Este es el primer paso para llevar a cabo estudios comparados y diseñar herramientas que permitan estudiar las diferencias dentro, incluso, de un mismo país.
“Yo soy un gran defensor de las herramientas cuantitativas, llevo veinte años comiendo de ellas –bromea– pero por eso mismo también opino que son un primer paso, sustancial e importante. El problema es cuando este primer paso anula al resto, generando este tipo de informes y lecturas”.
En definitiva, la posición en un ranking no refleja el rendimiento de todo un sistema educativo y, mucho menos, del todo el alumnado de un país. El recurrente comodín finlandés en las conversaciones sobre educación debería tener las horas contadas.
Claves para mejorar la utilidad de PISA
Los estadounidenses Singer y Braun proponen algunas soluciones para interpretar de manera más precisa las evaluaciones educativas a gran escala, entender los resultados internacionales y construir una base útil para análisis secundarios.
- Minimizar el uso de los rankings.
- Facilitar a los medios de comunicación estrategias para transmitir los resultados con interpretaciones equilibradas.
- Relacionar los datos de las evaluaciones con los de otras fuentes, que permitan el análisis del contexto que rodea al alumnado, en especial su estatus socioeconómico.
- Priorizar el desarrollo digital de las evaluaciones. En función de los aciertos o fallos del alumno, el nivel de las preguntarías se autorregularía, ajustándose así a la dificultad idónea para cada uno de ellos.
Seguir el progreso académico de los alumnos participantes de las pruebas.
Zona geográfica: España
Fuente: SINC http://www.agenciasinc.es/Reportajes/Existe-una-receta-secreta-para-el-exito-educativo
