Para Diane Ravitch, experta educativa de la Universidad de Nueva York, estamos ante “la irrupción de big data en las escuelas”, en donde grandes fondos de capital riesgo ya están entrando en este mercado, invirtiendo en compañías digitales que se dedican a desarrollar apps, diseñar y evaluar exámenes y vender datos de estudiantes para aumentar sus márgenes de beneficio aún más.

La multinacional Pearson, encargada de redactar y corregir las pruebas, utiliza PISA para manejar los hilos de la educación mundial

Como analiza Pablo Gentili, no es coincidencia que PISA exista en un contexto en el que los grandes monopolios de la producción de los libros didácticos han crecido exponencialmente. Un sistema como el de PISA genera enormes beneficios económicos al que produce las herramientas para examinar de forma estandarizada en todo el mundo y materiales didácticos estandarizados para tener “éxito” en esas pruebas. Además de darle un control inmenso, como decíamos, sobre lo que los niños y niñas de todo el mundo tienen que estudiar y el profesorado enseñar.

Los efectos colaterales de PISA

El problema colateral de este fenómeno es que los países están emprendiendo una loca y desenfrenada carrera por estar en los puestos superiores del ranquin, pues quien pierde el tren de esa supuesta “excelencia” acaba descarrilando. Esto implica que se exija al profesorado que se centre en buscar la forma de obtener resultados, dedicando el tiempo a preparar lo que le piden en las pruebas o a conseguir aquello que les sitúe en la cúspide del ranquin. Pero, a su vez, el alumnado con dificultades y diversidad se convierte en un estorbo y una posibilidad de que el centro baje puestos en el ranquin si lo admite o dedica mucho tiempo a su atención. Por ello, se produce un efecto de inversión en la práctica educativa profundamente corrosivo: ya no se piensa qué puede hacer el centro por el alumno o alumna, sino qué pueden hacer ellos porque el centro mejore su posición en los resultados del ranquin de competencias.

La importancia desmedida que se le está concediendo socialmente a las evaluaciones, por su impacto mediático, puede significar un cambio crucial en los objetivos de la escuela. Con la llegada de los informes PISA, se empieza a poner el acento en medir el rendimiento del estudiante más que en atender las necesidades del mismo. Y medir el “éxito” también del profesorado y de los centros en función de la adaptación a la conformidad de las demandas exigidas en esas pruebas estandarizadas. El buen docente comienza a ser el que genera buenos resultados conforme PISA.

PISA pone el acento en medir el rendimiento del estudiante más que en atender sus necesidades

Los especialistas apuntan que el régimen de PISA, con su ciclo continuo de medición global, está haciendo daño al alumnado y empobreciendo la educación, aumentando aún más el ya alto nivel de estrés en las escuelas, con una presión constante por el rendimiento, lo que pone en peligro el bienestar de los estudiantes y de los docentes. Alertando de que esta dinámica supone un riesgo real de matar el placer de aprender, transformando el deseo de aprender en afán de aprobar.

Otra evaluación es posible y necesaria

Debemos reconsiderar este tipo de pruebas estandarizadas. No es admisible creer que tres puntuaciones de las pruebas de PISA muestren la calidad de los sistemas educativos, la capacidad del profesorado, el desarrollo de los estudiantes, y la mejora de la sociedad.

Debemos replantear la evaluación como un proceso integral orientado a producir información, contextualizada social y culturalmente, para mejorar los procesos de enseñanza y aprendizaje. Se están llevando a cabo otro tipo de evaluaciones mucho mejor enfocadas. Por poner un solo ejemplo, hay muchas más ventajas en las pruebas UNESCO que en el reduccionismo analítico de PISA, como analiza la especialista ecuatoriana Rosa María Torres.

Debemos replantear la evaluación como un proceso integral orientado a producir información, contextualizada social y culturalmente

Por lo que, como dice Pablo Gentili, deberíamos salir de PISA, porque “PISA simplifica lo que es complejo. PISA jerarquiza lo que no tiene un orden. PISA compara lo incomparable. PISA silencia lo que la realidad amplifica. PISA distrae lo que merece atención. PISA consagra lo que es banal y trivializa lo que debería ser fundamental”. Y eso sólo exige voluntad política de hacerlo.

Esto no significa rechazar las evaluaciones, sin repensar el modelo y al servicio de qué y de quién se realizan. La evaluación es una parte constitutiva del proceso formativo y una herramienta para reconocer sus avances y dificultades, por lo que debe ser un componente fundamental de toda política pública democrática.

Pero la evaluación debe ser una evaluación democrática en el que participen como protagonistas las propias comunidades educativas. Debe permitir analizar los múltiples factores que inciden en ese proceso. Y debe ayudar a todos los actores que intervienen en él a mejorar las prácticas pedagógicas con un sentido formativo y no culpabilizador. Lógicamente, también debe ayudar a diseñar políticas y estrategias orientadas a mejorar las políticas gubernamentales en todos los campos de actuación. Este es el reto y la urgencia.

La entrada Desmontando PISA (4): El negocio de PISA se publicó primero en MIL Magazine.

Pero ¿es realista evaluar un sistema educativo tomando como único indicador estas habilidades cognitivas de los estudiantes? ¿Se contribuye, así, a enriquecer las políticas educativas? ¿Se potencia el desarrollo sostenible de los sistemas educativos, de su calidad y su equidad? O, por el contrario, ¿se simplifica el análisis de y se oscurece la comprensión de la realidad?

Un debate mediático

Uno de los efectos innegables de la presentación de resultados de PISA es la potenciación del debate público y mediático sobre la educación.

Durante unos días, los medios internacionales pasan a ocuparse de la educación, y los políticos se ven obligados a justificarse ante la opinión. Por otro lado, son muchos los artículos, científicos y de divulgación, que integran los datos de PISA y que indican un creciente interés de la comunidad científica por sopesar las consecuencias de las diferentes políticas educativas. Mientras tanto, la ciudadanía, por su parte, parece interesarse, aunque sea de modo efímero, por la cuestión educativa.

Todo lo cual demuestra que PISA es capaz de revitalizar el debate social en torno a la necesaria evaluación de los sistemas educativos. No cabe duda: PISA ha propiciado, en este sentido, un cierto efecto positivo.

Pero hay que ir más allá de la mera consideración de este primer efecto y hay que preguntarse si, a la postre, este debate es constructivo. ¿Es realista el análisis que nos propone PISA? ¿Contribuye al diagnóstico de la situación y a la toma de decisiones? O, por el contrario, ¿se ha convertido en un ejercicio de propaganda social más que otra cosa?

Efecto apisonadora

Cuando, a la hora de evaluar los sistemas educativos, PISA privilegia, por un lado, la comparación entre países, y, por otro, solo toma en cuenta el rendimiento de sus estudiantes, está promocionando una visión selectiva de la educación. Tiende a producir lo que podemos denominar un efecto apisonadora. Es decir, aplana los aspectos más significativos de la educación, los que realmente diferencian unos sistemas de otros.

Y, tras esa tarea de aplanamiento, lo que parece es que PISA deja, a su paso, un terreno solo transitable para cierto tipo de vehículos, especialmente todos los ligados a la globalización economicista de la educación. Una globalización que, por lo visto, solo atiende a la circulación de los capitales y de la mano de obra.

De ahí, tal vez, ese interés casi exclusivo de PISA por promocionar solo las competencias individuales de los estudiantes. Trata, así, de crear un espacio de convertibilidad y de evaluación de esas competencias, convirtiéndolas en moneda de cambio en los mercados transnacionales, y dejando a los individuos como componentes aislados de ese mercado.

PISA solo parece poner interés, pues, en la globalización del mercado de las competencias y las habilidades. No parece importarle, pues, la persona como tal persona, sino solo un factor productivo. Un elemento capaz de favorecer el rendimiento económico de los mercados.

¿Es realista el análisis que nos propone PISA? ¿Se ha convertido en un ejercicio de propaganda social más que otra cosa?

Descontextualizando

¿De qué manera lo hace?

El efecto más significativo de este aplanamiento es la ocultación, ante la opinión pública mundial, de cuestiones esenciales a la hora de describir un sistema educativo cualquiera.

A este fenómeno le llamaremos aplanamiento por descontextualización.

Cuando, pongamos por caso, se comparan los resultados del sistema educativo de Liechtenstein –con más de 84.000 dólares per cápita– o de Macao –con más de 89.000– con los de Vietnam –con 4.000 dólares– o Jordania –con 6.000– estamos ante un caso de descontextualización y ocultación muy notorio.

O cuando PISA establece ranquins y compara resultados entre países tan distintos como Singapur –una ciudad Estado– y México –con muchos estados–; o Finlandia –un país casi mono-étnico– con Estados Unidos –con infinidad de lenguas y razas– o Colombia –con un conflicto bélico apenas clausurado–, estamos también asistiendo a ese aplanamiento por descontextualización. Elidiendo, muy sutilmente, muchas diferencias significativas: diferencias económicas, culturales, etc.

Comparar resultados entre países tan distintos como Singapur, México o Finlandia produce una gran desontextualización

Un mensaje subliminal

¿Cuál es la consecuencia de este aplanamiento, de esta ocultación?

PISA está lanzando un mensaje subliminal, implícito y latente: la globalización avanza en educación, pese a todas las contradicciones y desigualdades que existen. Potencia, así, una visión idílica de la globalización que se solo atiende a la exaltación de los valores del rendimiento y de la producción.

Pero este mensaje, insistimos, puede circular solo a condición de situar en segundo plano otras realidades de la educación de nuestro tiempo. Precisamente, los aspectos más conflictivos y tensos de nuestra realidad social contemporánea: la desigualdad, la pobreza, los conflicto sociales.

Lo que a los autores de PISA parece interesar, por encima de todo, a la hora de evaluar la educación es su capacidad para potenciar la creación de un mercado global de mano de obra. Se trata, aquí, de un aplanamiento que persigue favorecer el productivismo, soslayando cualquier otra consideración sobre la realidad social.

Silenciando factores clave

Conviene, en todo caso, profundizar en los diversos mecanismos a través de los cuales se construye discursivamente este mensaje subliminal.

En primer lugar, elidiendo y ocultando muchos factores que son clave en los procesos educativos.

PISA, entre los muchos “resultados” que hubiera podido estudiar para ayudar a mejorar los sistemas educativos –que son de muy diversa índole- ha elegido centrarse exclusivamente en medir las capacidades cognitivas de los estudiantes. Al focalizarse en ellas, deja en la sombra muchas otras habilidades o factores que califica –de un modo bastante simplificado– como “no-cognitivas”. En ese saco incluye nada más y nada menos que cuestiones tan decisivas como las actitudes, las motivaciones, y los comportamientos de los estudiantes.

Lo que PISA hace, pues, es silenciar en su estudio factores tan claves como los que ayudan a sostener la solidaridad social y la ciudadanía: el compromiso, la empatía, o el sentimiento de responsabilidad, etc.

Al focalizarse en las capacidades cognitivas, PISA deja en la sombra habilidades tan decisivas como las actitudes, motivaciones, y comportamientos

Atribuyendo una excesiva responsabilidad a la escuela

En segundo lugar, PISA identifica los resultados de los estudiantes en las pruebas con la calidad del sistema educativo del país. En realidad, dos elementos bien distintos. Al asumir esta identificación, lo que logra es responsabilizar únicamente a la escuela –o al sistema educativo– de la formación de las habilidades de los jóvenes.

Si algo sabemos hoy en día, a partir de la investigación pedagógica contemporánea, es que hay otros muchos factores diferentes a la escuela que juegan un papel decisivo en la educación de los jóvenes. Son elementos tales como el ambiente familiar, las condiciones en que se vive la primera infancia y, en general, los factores socioeconómicos. Pero PISA, no tiene en cuenta estos factores. Apenas los considera. Tiende a atribuir todas las responsabilidades a los sistemas educativos.

Y, con ello, da una vuelta de tuerca más a instalar una visión simplista y falsamente idílica sobre la globalización educativa. Insistimos, no se refiere a las desigualdades sociales, a las diferencias culturales, a los conflictos políticos, etc. Solo a tiende a los factores de productividad global.

¿Qué hay detrás de PISA?

En consecuencia, si por un lado, PISA contribuye a aumentar el interés global por la educación, por otro, tiende a simplificar mucho el debate. Tiende a producir un efecto apisonadora: subrepticiamente, nos está proponiendo la idea –simplista, desde luego– de que la educación solo tiene debe tener en cuenta la capacidad de los estudiantes de integrarse en el mercado de trabajo. Y la idea más simplista aún de la que la educación solo puede pretender ese fin. Nada más.

¿Es este efecto apisonadora de PISA casual? ¿Es fruto de un desliz metodológico? ¿O responde a un trabajo de ingeniería social más profundo?

El debate está abierto

Para unos, PISA es solo una aportación científica a la mejora de los indicadores educativos, un estudio que debe ser enriquecido desde las perspectivas propias de cada país.

Para otros, es solo un instrumento ideológico de una organización, la OCDE, que antepone el desarrollo económico a todos los demás aspectos del progreso humano y que, como explica Enrique Díaz “tiende a exacerbar aún más el modelo de competitividad entre las instituciones docentes y entre países” alejándose así de modelos de solidaridad y cooperación”.

En todo caso, se adopte el punto de vista que se adopte, vale la pena ser prudentes al estudiar el nuevo informe PISA correspondiente a 2016.

Sea cual sea nuestra postura sobre sus potenciales efectos, conviene leer PISA con prudencia y con distancia critica. En este sentido, AIKA quiere contribuir al enriquecimiento del debate proponiendo algunas pistas para la reflexión. Pero el debate está abierto.

La entrada Por qué PISA parece funcionar como una apisonadora se publicó primero en MIL Magazine.

España, por su parte, no presenta gran variación y está prácticamente en la mediana de países de la OCDE, con 493 puntos en ciencias, 496 en lectura y 486 en matemáticas. Por áreas y respecto a los resultados de 2012, ha disminuido 3 puntos en ciencias (496 en 2012) y ha aumentado 8 puntos en compresión lectora (488 en 2012) y 2 puntos en matemáticas (484 en 2012).

En cuanto a la media de la OCDE, cabe decir que es ligeramente inferior a los datos de 2012 en las tres áreas evaluadas. En ciencias ha pasado de 501 a 493, en comprensión lectora de 496 a 493 y en matemáticas, de 494 a 490.

Las pruebas PISA 2015 pusieron el foco en el área científica y los resultados muestran que el rendimiento ha mejorado solo en 12 de los 72 países evaluados, pese a que el gasto por estudiante haya aumentado un 20% desde 2006 en los países de la OCDE. Se hace evidente, en palabras de Ángel Gurría, Secretario General de la OCDE, durante la presentación del informe, que “una década de avances científicos no ha tenido correspondencia en los avances relativos al rendimiento en ciencias en los centros de enseñanza”.

América Latina en PISA

Los países de América Latina que han participado en el examen puntúan por debajo de la media de la OCDE, pese a mostrar mejoras evidentes en la puntuación, a grandes rasgos.

Argentina (ciudad de Buenos Aires) muestra una mejora significativa en todas las áreas: matemáticas, con 456 puntos (388 en 2012), ciencias, con 475 (406 en 2012) y comprensión lectora, también con 475 (396 en 2012). Chile se mantiene bastante estable con mejoras en la lectura, obtenido 447 puntos en ciencias (445 en 2012), 459 en comprensión lectora (441 en 2012) y 423 en matemáticas (igual que en 2012). Un poco por debajo se encuentra Uruguay, que también supera sus resultados anteriores con 435 puntos en ciencias (416 en 2012), 437 en comprensión Lectora (411 en 2012) y 418 en matemáticas (409 en 2012).

Costa Rica, por su parte, disminuye su puntuación en todas las áreas, con 420 puntos en ciencias (429 en 2012), 427 en comprensión lectora (441 en 2012) y 400 en matemáticas (407 en 2012). Colombia, pese a encontrarse por debajo, mejora con unos resultados de 416 puntos en ciencias (399 en 2012), 425 en comprensión lectora (403 en 2012) y 390 en matemáticas (376 en 2012). Le sigue México, que se mantiene bastante estable respecto a la anterior edición, con 416 puntos en ciencias (415 en 2012), 423 en comprensión lectora (424 en 2012) y 408 en matemáticas (413 en 2012).

Argentina, Uruguay, Colombia y Perú mejoran sus resultados respecto a las pruebas de 2012. Costa Rica y Brasil, empeoran.

Brasil muestra un empeoramiento de los resultados, especialmente en matemáticas. Obtiene 401 puntos en ciencias (405 en 2012), 407 en comprensión lectora (410 en 2012) y 377 en matemáticas (391 en 2012). Por su parte, Perú, en la cola de PISA 2012, ha mejorado su puntuación en ciencias (397 respecto 373 en 2012), en comprensión lectora (398 frente a 384 en 2012) y en matemáticas (387 respecto a 368 en 2102).

República Dominicana, que se ha estrenado en esta edición de las pruebas, se encuentra en la última posición con 332 puntos en ciencias, 358 en comprensión lectora y 328 en matemáticas.

Cabe destacar que en PISA 2015, dedicada especialmente a las ciencias, Argentina, Perú y Colombia son tres de los países que han mostrado mejoras en el área respecto anteriores ediciones.

Diferencia por género y equidad

Pese a que las diferencias de género en el ámbito de las ciencias tienden a ser menores que en competencia lectora y matemáticas, PISA 2015 muestra que los chicos obtienen 4 puntos más que las chicas en la media de la OCDE del área de ciencias. Concretamente existen 24 países donde esta diferencia es significativa, con Austria, Costa Rica e Italia encabezando la lista. Por otro lado, en 22 países las chicas obtienen mejores resultados, por ejemplo en Bulgaria, Georgia o Qatar. Desgranando los datos se observa, además, que hay 33 países donde hay mas chicos que chicas que obtienen un alto rendimiento en el área. La excepción la pone Finlandia, el único país que presenta más chicas con un buen resultado en ciencias.

En cuanto a comprensión lectora, cabe destacar que la diferencia de género, que mostraba un mejor rendimiento de las chicas, se ha reducido en los últimos años gracias a la mejora de los chicos.

Los resultados han puesto especial atención también a la equidad en el rendimiento de los estudiantes. En ese sentido, cabe destacar los altos niveles de equidad educativa en Canadá, Dinamarca, Estonia, Hong Kong y Macao pero, sobre todo, la mejora de Estados Unidos en ese aspecto. En cambio, países como Australia, Finlandia, Grecia o Hungría, entre otros, muestran un aumento de los estudiantes de bajo rendimiento y una disminución de los que obtenían resultados altos. “Alcanzar una mayor equidad en la educación no es solo un imperativo de justicia social, sino que también impulsa el crecimiento económico y fomenta la cohesión social», ha explicado Gurría en la presentación de los resultados.

Esta edición de PISA ha evaluado más de medio millón de estudiantes de 72 países. Entre cantidades enormes de datos, la OCDE concluye que hay políticas en vigor comunes entre los países con mejores puntuaciones. Todos ellos tienen expectativas elevadas y universales para los alumnos, una enseñanza de calidad, recursos para los estudiantes y centros educativos con dificultades y estrategias coherentes y a largo plazo. Sin duda, aspectos para anotar y tener en cuenta.

La entrada ¿Qué países tienen la mejor educación, según PISA? se publicó primero en MIL Magazine.

Para entender su elaboración y procedimiento, hacen falta algunas claves.

1. PISA no evalúa los conocimientos aprendidos en la escuela. El modelo de examen no se basa en la memorística, sino en “su capacidad para aplicar sus conocimientos ya adquiridos a situaciones nuevas”, en palabras de la misma organización. Por ese motivo, en el informe se recogen datos sobre el entorno de los alumnos, teniendo en cuenta la educación familiar, el aprendizaje no formal o las condiciones sociales, culturales y, por supuesto, escolares.
2. La participación de los países es voluntaria. En 2015 el número de participantes ha escalando hasta los 72, hecho que puede modificar el ranquin final. Han sido incluidos Algeria, Azerbaiyán, República Dominicana, Georgia, India, Kosovo, República Kirguiz, Líbano, República Yugoslava de Macedonia, Malta, Mauritania, Moldavia, Panamá y Trinidad y Tobago. Además, algunas regiones, como Cataluña (España) o Miranda (Venezuela) piden ser avaluadas por sí mismas.
3. Finlandia y Corea del Sur encabezaron el ranquin en las previas ediciones. Los países que quedan a la cabeza del ranquin, como Corea del Sur, Shanghai, Hong Kong o Finlandia, comparten algunos rasgos en sus sistemas educativos. Aunque aun está por ver cómo habrá influido la reforma educativa impulsada recientemente por el país escandinavo, en su mayoría son países que acostumbran a apostar por sistemas muy igualitarios. Sus gobiernos, y toda la sociedad como conjunto apuesta por la educación como pilar fundamental, y en todos ellos hay una nota de acceso muy alta a magisterio y una estricta selección de los aspirantes a maestro. 
4. Hay una prueba piloto en marcha para evaluar los países en vías de desarrollo. PISA para el Desarrollo es un proyecto piloto que busca “aumentar el uso que los países de ingresos medios y bajos dan a los estudios PISA”. Se tarta de un acompañamiento que busca monitorear el progreso hacia ciertas metas educativas y medir “el avance de objetivos educativos internacionales en el marco Educación 2030”, en palabras de la misma organización. Para ello se formula una escala distinta que se aplica a países como Camboya, Guatemala, Ecuador, Honduras, Panamá, Paraguay, Senegal o Zambia, y se incluyen en el estudio final a niños y niñas no escolarizados. Los resultados de este estudio no se publicarán hasta 2018.
5. En España el examen PISA se realizó pocos meses después de que se aprobara la última ley de educación. En los últimos diez años, el país se ha movido poco dentro del ranquin, situándose siempre en la media de la lista. Este informe PISA será especialmente significativo por haber tenido lugar justo después de la aprobación de la última ley de educación. En la última edición (20012) la puntuación española fue de 490 puntos, diez puntos por debajo de la media de la OCDE.
6. Su lectura rápida puede llegar a confusiones. España está muy cerca de Dinamarca en puntuación, pero no en posiciones de ranquin. Una lectura rápida podría indicar que los dos países están en posiciones muy distantes cuando, en realidad, en ningún otro indicativo socio-económico o de bienestar social España está tan cerca de los países escandinavos. Esto hace que la diferencia de puntuación entre los diez primeros del ranquin pueda ser ínfima, de décimas. Aunque los especialistas reiteran siempre que destacar solo el posicionamiento es reducir el estudio, muchos gobiernos justifican o atacan sus políticas educativas en base a estos resultados.
7. Los alumnos se examinan durante dos horas. La prueba la realizan más de medio millón de estudiantes (la mayoría de 15 años) de todo el mundo, y la duración de las pruebas es de dos horas. En esta edición, como novedad, a través del ordenador. Los alumnos contestan preguntas personales, como su situación socioeconómica y familiar. También los directores de los centros educativos mandan un informe sobre el centro escolar en cuestión, detallando contexto y detalles de su proyecto.
8. Las preguntas son sobre lengua, matemáticas y ciencias, pero hay novedades. PISA 2015 se ha focalizado especialmente en las ciencias. Aun así, en los últimos años los organizadores han incluido otras áreas de conocimiento y, a parte de explicar fenómenos científicamente, evaluar la comprensión lectora o contestar a problemas de lógica matemática, se añadieron en las pruebas preguntas sobre conocimientos financieros y cuestiones para evaluar la capacidad de los alumnos para trabajar en equipo.
9. Cada vez hay más presencia de Big Data. Uno de los puntos fuertes de PISA es que, aunque no aparezca en los medios de comunicación, genera una gran cantidad de datos relacionados con los alumnos examinados, los centros en los que estudian y sus familias. Estos datos son ofrecidos por la OCDE de forma gratuita a investigadores, que generan estadísticas específicas de algunos de los detalles analizados. Hay estadísticas por sexo, por áreas de conocimiento, origen social, horas de lectura en casa, número de horas de estudio semanales, etc.
10. Evaluaciones no aprobadas por la comunidad educativa. A cada publicación del informe PISA le siguen críticas de muchos expertos educativos del país, tal y como se recoge en este articulo “Desmontando PISA (3): Críticas a PISA”. Y es que la evaluación depende “poco o nada” de las escuelas, en palabras del catedrático de sociología de la educación Julio Carabaña, y se fomenta una fuerte competitividad no solo entre países, sino también entre las instituciones docentes, tal y como explica en su último articulo Enrique Diez Gutiérrez, profesor de la Universidad de León. El también coordinador del Área Federal de Educación de IU concluye con una de las críticas más extendidas a la “mercantilización” de la educación que propone el informe educativo más conocido del mundo: “PISA es un dispositivo de control para imponer una perspectiva educativa que nos aleja de la educación como un derecho y nos aproxima a su interpretación como un bien de consumo.” El debate está servido.

La entrada Diez claves para entender el informe PISA 2015 se publicó primero en MIL Magazine.

De ahí, plantea, la inadmisible pretensión de este organismo económico, la OCDE, que manifiesta que su intención es utilizar PISA para “llevar las políticas educativas en una dirección determinada”. No sólo porque las capacidades que mide PISA dependen poco o nada de las escuelas, sino porque ni siquiera dependen de los cambios pedagógicos y políticos que PISA propone. Por eso cada vez más expertos consideran que PISA no solo es un fracaso, sino un fraude, pues no sirve para cumplir su objetivo principal, que es ayudar a la mejora de las escuelas y los sistemas educativos.

En 2007, un grupo de investigadoras e investigadores analizó de forma pormenorizada la metodología de PISA y publicó sus conclusiones en el libro PISA according to PISA. Además de asegurar que los rankings que comparan los resultados entre países “están basados en tantos puntos débiles que deben ser abandonados de inmediato”, apuntaron que los productos asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas o las diferencias entre los distintos sistemas educativos, “van mucho más allá de lo que permite una aproximación cauta a estos datos. Son en su mayoría pura especulación”.

Las capacidades que mide PISA dependen poco o nada de las escuelas

Otra crítica extendida es que PISA sólo evalúa los conocimientos y competencias de alumnado de 15 años en matemáticas, ciencia y compresión lectora, pero ni realiza un seguimiento longitudinal de la evolución de los estudiantes, ni se para a analizar qué saben de otras materias o habilidades que van de la historia a la filosofía, a la creatividad o al arte. Es más, convierte en secundarios y marginales estos saberes que “distraen” de que se tenga un buen resultado en las pruebas PISA. Por eso no es de extrañar que la LOMCE, en coherencia, haya suprimido buena parte de Filosofía o de enseñanzas artísticas y musicales.

En este sentido, expertas latinoamericanas se preguntan si lo que mide PISA es la creatividad o la adaptación al modelo neoliberal de nuestros jóvenes: “Se pretende presentar la estandarización bajo los ropajes de la objetividad cuando lo cierto es que en el fondo encubre la pretensión de hegemonizar, a través de su medición, los valores de una determinada sociedad. ¿Por qué no observar el desarrollo de las emociones, las capacidades de interrelación, la creatividad de los jóvenes en su contexto cultural y social?”.

Recientemente 83 expertos internacionales muy reconocidos en educación enviaron una carta al director del programa PISA, expresando su preocupación por que, como resultado de PISA, muchos países están reformando sus sistemas educativos, buscando soluciones a corto plazo, con la esperanza de mejorar en el ranking, pese a que la investigación muestra que los cambios duraderos en las prácticas educativas necesitan décadas.

Otras críticas se centran en la aplicación de las mismas pruebas estandarizadas a alumnado de 15 años, independientemente de las diferencias significativas en relación a su proceso educativo y a su escolaridad, e indistintamente del curso en el que se encuentren y de los contenidos que hayan estudiado (cuando en España hay una alta tasa de repetición entre el alumnado de 15 años).

Se critica que se compare lo que no es comparable. No es lo mismo un colegio en un centro urbano que en un área rural o una zona suburbial. No es lo mismo educar a jóvenes en situación de riesgo o con graves dificultades de aprendizaje que a estudiantes procedentes de las élites culturales de un país. Es más, una escuela puede desarrollar un proceso educativo muy bueno sin que esto se refleje necesariamente en puntajes altos en las pruebas PISA. Pero, en todo caso, PISA no tiene en cuenta dónde está la escuela, de dónde se partía cuando se inició el proceso educativo o que transformaciones se han logrado con la intervención pedagógica.

También se critica el negativo papel que desempeñan este tipo de pruebas estandarizadas internacionales en promover la competencia, etiquetando y clasificando alumnado y docentes en función de su rendimiento.

Además, estas pruebas “miden lo que puede ser medido”. Es decir, los estudiantes seleccionen la respuesta correcta, pero no pueden medir más. Las puntuaciones no dicen nada acerca de la imaginación o la creatividad de los estudiantes, su capacidad para hacer buenas preguntas, su inventiva, su capacidad crítica y de transformación justa del mundo. La obsesión de preparase para este tipo de exámenes estandarizados da un peso excesivo a las habilidades para seguir instrucciones y procedimientos, en desmedro de verdaderas competencias de innovación o creatividad.

Más críticas apuntan a la concepción homogeneizadora de las pruebas sin tener en cuenta el contexto socioeconómico y cultural de cada país y región, cuestionando los sesgos socioculturales de los ítems de las pruebas. Como si solo existiera un mundo, una única cultura y una única forma de insertarse productivamente en este mundo.

También se preguntan para qué seguir haciendo estas pruebas tan costosas y que suponen un desembolso público muy considerable, en un contexto de recortes continuados en lo educativo, puesto que reiteran periódicamente lo que ya de hecho sabemos. Los resultados de estas pruebas estandarizadas nada aportan que no sepamos sobre el funcionamiento de nuestros sistemas escolares.

La entrada Desmontando PISA (3): Críticas a PISA se publicó primero en MIL Magazine.

Dice usted que las pruebas PISA son inútiles para mejorar las escuelas y la enseñanza. ¿Por qué? 

Las pruebas PISA no miden lo que las escuela enseñan, sino capacidades muy generales de comprensión y razonamiento, que PISA llama “literacia”. Como PISA repite en todos sus informes, estos resultados dependen de toda la experiencia de los individuos, desde la concepción. Es seguro que dependen, en parte (no sabemos cuánto), de estar escolarizado. Pero, como PISA también dice, no dependen de las características de las escuelas y por eso no sirven para mejorarlas. Esa parte de los informes PISA es la que yo he divulgado (no es un hallazgo mío) en mi libro La inutilidad de PISA para las escuelas.

¿Para qué sirven, entonces?

Son muy útiles para las Ciencias de la Educación. Después de PISA nadie puede decir que ciertos rasgos de las escuelas favorecen el desarrollo de la “literacia”.

“Los resultados de PISA dependen de toda la experiencia de los individuos, desde la concepción”

Los resultados y los ranquins que se elaboran provocan un gran impacto mediático y político. ¿Es la utilización que se hace de los datos el problema, más que las pruebas en sí?

Las pruebas en sí no tienen ningún problema. El problema está en que la OCDE pretende que las escuelas se centren en fomentar lo que PISA mide, la “literacia”, y en que al publicar los ranquins no se aclara este punto y se deja a entender que PISA mide conocimientos.

Una de las críticas que expone es que PISA mide capacidades muy generales, “literacia”. ¿Tendría sentido que evaluase contenidos o aspectos concretos en unos sistemas educativos que cada vez deben priorizar más el aprendizaje competencial?

¿Quién dice que los sistemas educativos deben priorizar cada vez más el aprendizaje competencial? Muchos e ilustres pedagogos, y la OECD y PISA lo toman como guía. Pero es falso. Aprendizaje de competencias y de contenidos no son contrarios, sino complementarios. Las competencias no se enseñan ni se aprenden, sino que se desarrollan, y se desarrollan mediante el aprendizaje de cómo son las cosas. En 2015 PISA ha sometido a prueba empírica, por fin, este supuesto fundamental suyo. ¿Y qué ha encontrado? Pues que tienen mejores resultados en competencia matemática los alumnos que aprenden más matemáticas, contenidos y aspectos concretos.

Hay países que, en parte a raíz de sus bajos resultados en PISA, realizaron autocrítica e impulsaron políticas que les han permitido mejorar. Por ejemplo en el caso de Brasil o Chile. ¿Existe el riesgo de que los países implementen políticas educativas a corto plazo para mejorar lo resultados en estas pruebas?

Hay países que han mejorado desde el inicio de PISA en 2000, y otros que han empeorado. Es muy probable que la mejora de algunos desde resultados muy bajos se debe a mejoras técnicas en las pruebas o en las muestras. No se sabe por qué han mejorado Polonia, Portugal o Italia, y tampoco por qué han empeorado Inglaterra o Suecia. Nadie ha mostrado que ciertas políticas tengan efectos sobre la “literacia” o como, para las escuelas, PISA encuentra que no hay relación entre casi ninguna política y los resultados. Digo “casi” porque hay alguna excepción. Una es que los últimos informes PISA sostienen que la combinación de autonomía de los centros con rendición de cuentas mediante reválidas fomenta la “literacia”. Pero también esto es muy discutible. La única política mediante la cual los países podrían mejorar la “literacia” de sus alumnos sería adiestrando a los alumnos en la solución del tipo de pruebas que usa PISA. La mejora que puede conseguirse, sin embargo, es pequeña.

“PISA encuentra que no hay relación entre casi ninguna política y los resultados”

¿Qué opina de que una institución económica como la OCDE, a través de la empresa encargada de diseñar e implementar las pruebas (Pearson), sea quien determina hoy en día la calidad de los sistemas educativos?

No hay problema en el quién, sino en el qué.

¿Por qué los países asiáticos ocupan los primeros puestos y los latinoamericanos los últimos?

Por debajo de los latinoamericanos están algunos países de Asia Central, como Azerbaiyán, y eso porque no participan los subsaharianos. La respuesta está en esa declaración clave de PISA: los resultados dependen de toda la experiencia vital de los individuos, desde la concepción.

¿Cómo se puede medir la calidad de la enseñanza, para poder mejorar los sistemas educativos, si PISA no resulta adecuado?

En un estudio científico se puede medir la calidad de la enseñanza comparando lo que aprenden dos grupos de alumnos iguales en circunstancias iguales, variando solo la variable cuya eficacia se quiere medir. Generalizar estos diseños experimentales a la vida cotidiana de las escuela es imposible. A este nivel, podemos medir los resultados al salir de la escuela, pero no podemos medir lo que los estudiantes llevan consigo ni el resto de circunstancias con la precisión suficiente para llegar a ninguna conclusión.

¿Se deriva de esto que no se pueden mejorar las escuelas? A mi entender, no hace falta medir la calidad de la enseñanza para mejorarla. Basta con que cada uno de los dos actores principales haga bien su papel. Los gobiernos deben proporcionar los medios y organizar el sistema, y los profesores deben dedicarse a enseñar del modo que crean mejor. También es importante poner en su sitio a otros actores secundarios. Por ejemplo, los innovadores, sean individuos o empresas, deben demostrar la bondad de sus métodos de enseñanza a los profesores, no a los gobiernos. Los sindicatos deben ocuparse de defender los intereses de los profesores, no de legislar ni de recomendar métodos de enseñanza, etc.

La entrada Julio Carabaña: “No hace falta medir la calidad de la enseñanza para mejorarla” se publicó primero en MIL Magazine.

El impacto que ha adquirido este informe tiene que ver con el giro económico neoliberal que se está produciendo en la concepción de la educación a nivel mundial.

Como denuncian intelectuales del Consejo Latinoamericano de Ciencias Sociales (CLACSO), PISA es un inmenso dispositivo de control que aspira a imponer una perspectiva educativa que nos aleja del reconocimiento de la educación como un derecho y nos aproxima a su interpretación como un bien de consumo. Una concepción de la educación entendida como una ventaja competitiva, en la que cada individuo invierte de cara a su inserción más exitosa en el futuro laboral.

Esta filosofía neoliberal ha irrumpido con fuerza en el escenario del sistema educativo desde finales de los años 80. Proporcionar al mercado trabajadoras y trabajadores adaptados a las exigencias de la producción moderna, se ha convertido, con mucho, en la tarea primordial y la más importante de las funciones atribuidas a la enseñanza, en este “giro neoliberal”. De aquí que el modelo de evaluación adoptado con PISA trata de comprobar la adecuación de los futuros trabajadores y trabajadoras a las exigencias del mercado.

PISA es un dispositivo de control para imponer una perspectiva educativa que nos aleja de la educación como un derecho y nos aproxima a su interpretación como un bien de consumo

Las inversiones en el sistema educativo comienzan a ser pensadas de acuerdo con las exigencias del mercado y su rentabilidad debe ser evaluada conforme a ello. La persona trabajadora “flexible” y “polivalente” constituye así la referencia del nuevo ideal pedagógico. El papel público de la educación como campo de entrenamiento para la democracia y para la ciudadanía democrática se ha pasado a considerar como un despilfarro del gasto público, siendo reemplazado por el punto de vista que la empresa privada tiene de la función de la enseñanza: un campo de entrenamiento para atender las necesidades de las empresas.

Se emprende así una nueva cruzada de reconceptualización del discurso sobre las prioridades de la educación y una nueva retórica sobre los nuevos “desafíos” de nuestra época y los escenarios futuros, siempre con la finalidad de ajustar la educación a las demandas del mercado laboral. Como si los seres humanos se pensaran y definieran únicamente como trabajadores y trabajadoras de la maquinaria laboral. De esta forma se está produciendo una auténtica mutación en la naturaleza y fines de la educación que, de formar ciudadanos y ciudadanas provistos de valores, saberes y capacidades, pasa a subordinarse completamente a la producción de “recursos humanos” para el sistema productivo.

A partir de la década de 1970, se trata de pensar el sistema educativo en términos de salidas profesionales y evaluarlo en función de ello. La problemática de la inserción laboral prevalece sobre la aspiración a la integración social y política de los futuros ciudadanos y ciudadanas. La profesionalización ya no es una finalidad entre otras del tramo final de la escolarización, sino que tiende a convertirse en la principal línea directriz de todas las reformas y las políticas de evaluación educativa.

En este modelo neoliberal, la función social asignada a la educación se centra en su apoyo al crecimiento económico, su aportación a la competitividad empresarial de las industrias, la formación para el trabajo y la capacitación para el desarrollo tecnológico. Estas funciones económicas priman sobre la función de socializar para participar activamente en una ciudadanía consciente y comprometida, transmitir la cultura y desarrollar la personalidad.

El sesgo económico de la OCDE aplicado a educación

Por eso no es de extrañar que estas pruebas estandarizadas se lleven a cabo por la Organización para la Cooperación y el Desarrollo Económicos (OCDE), organismo internacional creado para “maximizar el crecimiento económico” de los países que lo integran.

La OCDE es un organismo económico, con un sesgo muy caracterizado a favor del papel económico de las escuelas. Es a esta institución, con una clara orientación economicista, a la que nuestros representantes políticos han decidido encomendar ser el árbitro global de los medios y fines de la educación y determinar lo que los estudiantes deben saber y las escuelas enseñar, asumiendo el poder de configurar la política educativa, sin debate acerca de la necesidad o de las limitaciones de las metas de esta institución económica.

El informe PISA se centra así fundamentalmente en cambiar las escuelas para “mejorar la competitividad económica”. Tal como también aparece en la actual ley educativa, la LOMCE: el crecimiento económico. Este sesgo hacia el papel económico de la educación, olvida que hay muchos otros aspectos importantes de la educación: el desarrollo artístico, la reflexión crítica, la educación emocional, la participación cívica, la convivencia, etc. Estos aspectos no se tienen en cuenta en PISA, que premia un modelo de estudiante moldeado para el mercado laboral, olvidándose de los verdaderos retos del siglo XXI.

Nuestros representantes políticos han decidido encomendar ser el árbitro global de los medios y fines de la educación a un organismo económico como la OCDE

Es decir, con esta orientación economicista y mercantil que marca la OCDE, el informe PISA no centra la evaluación en objetivos educativos realmente importantes pero que son menos susceptibles o imposibles de ser medidos, pues tiene que cuantificar, reduciendo de esta forma la imaginación colectiva en torno a lo que es o debería ser la educación.

PISA, desde este enfoque cuantitativo económico, es incapaz de valorar lo que plantea Berliner (2003) como objetivo fundamental de la educación: “Deberíamos ser el número uno en el mundo en porcentaje de jóvenes de 18 años que están política y socialmente implicados. Mucho más importante que nuestras puntuaciones en matemáticas y nuestras puntuaciones en ciencia es la implicación de la generación siguiente en el mantenimiento de una democracia real y en la construcción de una sociedad más justa para los que más la necesitan: los jóvenes, los enfermos, los ancianos, los parados, los desposeídos, los analfabetos, los hambrientos y los desamparados. Se deberían identificar las escuelas que no pueden producir ciudadanía políticamente activa y socialmente útil y divulgar sus tasas de fracaso en los periódicos”.

La entrada Desmontando PISA (1): Giro neoliberal en la concepción de la educación se publicó primero en MIL Magazine.