Julio Carabaña: “No hace falta medir la calidad de la enseñanza para mejorarla”

El próximo martes se conocerán los resultados de las pruebas PISA, que han evaluado durante el 2015 las destrezas de los alumnos de 15 años de más de 70 países. Nuevamente, los ranquins ocuparán portadas y debates. ¿Mantendrán países como Singapur o Finlandia sus buenos resultados? La respuesta debería preocupar poco a las escuelas según Julio Carabaña, catedrático de Sociología de la Educación en la Universidad Complutense de Madrid, que defiende que PISA no mide la calidad de los sistemas educativos porque evalúa aspectos que van más allá de las aulas y las escuelas. Así lo recoge en su libro La inutilidad de PISA para las escuelas y así lo explica para Aika.

Dice usted que las pruebas PISA son inútiles para mejorar las escuelas y la enseñanza. ¿Por qué? 

Las pruebas PISA no miden lo que las escuela enseñan, sino capacidades muy generales de comprensión y razonamiento, que PISA llama “literacia”. Como PISA repite en todos sus informes, estos resultados dependen de toda la experiencia de los individuos, desde la concepción. Es seguro que dependen, en parte (no sabemos cuánto), de estar escolarizado. Pero, como PISA también dice, no dependen de las características de las escuelas y por eso no sirven para mejorarlas. Esa parte de los informes PISA es la que yo he divulgado (no es un hallazgo mío) en mi libro La inutilidad de PISA para las escuelas.

¿Para qué sirven, entonces?

Son muy útiles para las Ciencias de la Educación. Después de PISA nadie puede decir que ciertos rasgos de las escuelas favorecen el desarrollo de la “literacia”.

“Los resultados de PISA dependen de toda la experiencia de los individuos, desde la concepción”

Los resultados y los ranquins que se elaboran provocan un gran impacto mediático y político. ¿Es la utilización que se hace de los datos el problema, más que las pruebas en sí?

Las pruebas en sí no tienen ningún problema. El problema está en que la OCDE pretende que las escuelas se centren en fomentar lo que PISA mide, la “literacia”, y en que al publicar los ranquins no se aclara este punto y se deja a entender que PISA mide conocimientos.

Una de las críticas que expone es que PISA mide capacidades muy generales, “literacia”. ¿Tendría sentido que evaluase contenidos o aspectos concretos en unos sistemas educativos que cada vez deben priorizar más el aprendizaje competencial?

¿Quién dice que los sistemas educativos deben priorizar cada vez más el aprendizaje competencial? Muchos e ilustres pedagogos, y la OECD y PISA lo toman como guía. Pero es falso. Aprendizaje de competencias y de contenidos no son contrarios, sino complementarios. Las competencias no se enseñan ni se aprenden, sino que se desarrollan, y se desarrollan mediante el aprendizaje de cómo son las cosas. En 2015 PISA ha sometido a prueba empírica, por fin, este supuesto fundamental suyo. ¿Y qué ha encontrado? Pues que tienen mejores resultados en competencia matemática los alumnos que aprenden más matemáticas, contenidos y aspectos concretos.

Hay países que, en parte a raíz de sus bajos resultados en PISA, realizaron autocrítica e impulsaron políticas que les han permitido mejorar. Por ejemplo en el caso de Brasil o Chile. ¿Existe el riesgo de que los países implementen políticas educativas a corto plazo para mejorar lo resultados en estas pruebas?

Hay países que han mejorado desde el inicio de PISA en 2000, y otros que han empeorado. Es muy probable que la mejora de algunos desde resultados muy bajos se debe a mejoras técnicas en las pruebas o en las muestras. No se sabe por qué han mejorado Polonia, Portugal o Italia, y tampoco por qué han empeorado Inglaterra o Suecia. Nadie ha mostrado que ciertas políticas tengan efectos sobre la “literacia” o como, para las escuelas, PISA encuentra que no hay relación entre casi ninguna política y los resultados. Digo “casi” porque hay alguna excepción. Una es que los últimos informes PISA sostienen que la combinación de autonomía de los centros con rendición de cuentas mediante reválidas fomenta la “literacia”. Pero también esto es muy discutible. La única política mediante la cual los países podrían mejorar la “literacia” de sus alumnos sería adiestrando a los alumnos en la solución del tipo de pruebas que usa PISA. La mejora que puede conseguirse, sin embargo, es pequeña.

“PISA encuentra que no hay relación entre casi ninguna política y los resultados”

¿Qué opina de que una institución económica como la OCDE, a través de la empresa encargada de diseñar e implementar las pruebas (Pearson), sea quien determina hoy en día la calidad de los sistemas educativos?

No hay problema en el quién, sino en el qué.

¿Por qué los países asiáticos ocupan los primeros puestos y los latinoamericanos los últimos?

Por debajo de los latinoamericanos están algunos países de Asia Central, como Azerbaiyán, y eso porque no participan los subsaharianos. La respuesta está en esa declaración clave de PISA: los resultados dependen de toda la experiencia vital de los individuos, desde la concepción.

¿Cómo se puede medir la calidad de la enseñanza, para poder mejorar los sistemas educativos, si PISA no resulta adecuado?

En un estudio científico se puede medir la calidad de la enseñanza comparando lo que aprenden dos grupos de alumnos iguales en circunstancias iguales, variando solo la variable cuya eficacia se quiere medir. Generalizar estos diseños experimentales a la vida cotidiana de las escuela es imposible. A este nivel, podemos medir los resultados al salir de la escuela, pero no podemos medir lo que los estudiantes llevan consigo ni el resto de circunstancias con la precisión suficiente para llegar a ninguna conclusión.

¿Se deriva de esto que no se pueden mejorar las escuelas? A mi entender, no hace falta medir la calidad de la enseñanza para mejorarla. Basta con que cada uno de los dos actores principales haga bien su papel. Los gobiernos deben proporcionar los medios y organizar el sistema, y los profesores deben dedicarse a enseñar del modo que crean mejor. También es importante poner en su sitio a otros actores secundarios. Por ejemplo, los innovadores, sean individuos o empresas, deben demostrar la bondad de sus métodos de enseñanza a los profesores, no a los gobiernos. Los sindicatos deben ocuparse de defender los intereses de los profesores, no de legislar ni de recomendar métodos de enseñanza, etc.