Salir de PISA
Pablo Gentili.
.....
Evaluar la evaluación educativa
Evaluar la educación es un asunto serio y complejo. En este sentido, resulta sorprendente la liviandad con que se multiplican acciones de evaluación de los sistemas o de las instituciones escolares y cómo éstas presentan sus resultados como la evidencia indiscutible de un funcionamiento comparable, inclusive, a escala internacional. Evaluar es importante. En este sentido, evaluar bien y no trivializar la evaluación constituye un requisito fundamental a la hora de utilizar cierta información para conocer el desempeño de nuestras instituciones y, en función de éstas, orientar políticas públicas destinadas a mejorarlas.
Un lamentable ejemplo de la actual trivialización de la evaluación educativa son losranking universitarios, cuya proliferación ha sido notable en los últimos años. Se sostiene, con razón, que las universidades constituyen instituciones fundamentales para promover el desarrollo de las naciones. Siendo así, se establecen un conjunto de variables que definen la calidad de los ámbitos académicos y, en función de estas, se jerarquizan las instituciones universitarias por orden decreciente de calidad. El Ranking Académico de las Universidades del Mundo (Academic Ranking of World Universities, ARWU), elaborado por el Centro de las Universidades de Clase Mundial (Center for World-Class Universities, CWCU) de Shangai, y uno de los más difundidos, establece, por ejemplo, que los indicadores de una buena universidad deberían ser: “el número de alumnos y profesores que han ganado premios Nobel y medallas Fields, el número de investigadores altamente citados, el número de artículos publicados en las revistas Nature y Science, el número de artículos indexados en el Science Citation Index - Expanded (SCIE) y en el Social Sciences Citation Index (SSCI), y el rendimiento per cápita respecto al tamaño de la institución”. Su pomposo nombre “universidades de clase mundial” no podría hacernos cuestionar semejantes atributos como los que, en efecto, definen una buena universidad. Entre tanto, en éste, como en muchos otros casos, la afirmación de ciertas variables no sólo limita enormemente el espacio de la clasificación, sino que parece desconocer las especificidades nacionales e internacionales en el desarrollo científico, reduciendo los indicadores elegidos a un conjunto de aspectos que cualquier universidad en buena parte del planeta no estaría en condiciones de cumplir.
No hay que ser un especialista en sociología universitaria para saber que la utilización de citaciones académicas en inglés desconsidera la producción científica de una parte significativa del mundo cuyos investigadores no escriben en esta lengua. Que el inglés es importante, nadie lo duda, pero que sólo parezca relevante la producción intelectual en esta lengua, no deja de ser un gesto de prepotencia académica que deberíamos haber superado. Del mismo modo, si el haber ganado el Premio Nóbel es un indicador de calidad, tampoco debe sorprender que ninguna institución africana figure entre las 200 “mejores” universidades del mundo y sólo 5, una egipcia y cuatro sudafricanas, figuren entre las 500 más destacadas. África ha tenido 4 Premios Nóbel de Literatura y 7 Premios Nóbel de la Paz. Casi todos ellos no dictan clase en ninguna universidad, porque han muerto, o, porque cuando vivían, estaban presos. Por su parte, América Latina, posee 16 Premios Nóbel: 6 de Literatura, 3 de Medicina, 2 de Química y 5 de la Paz. Gran parte de ellos también han muerto y, mientras estaban vivos, los del campo científico, dedicaron buena parte de su trabajo académico en universidades del Norte. América Latina, cuyos científicos hablan y casi siempre escriben en castellano o portugués, posee 10 universidades entre las 500 rankeadas por ARWU: 1 mexicana, 6 brasileñas, 1 argentina y 2 chilenas.
El 3% de las 500 “mejores” universidades del mundo son africanas o latinoamericanas, lo que supuestamente permitiría explicar por qué ambas regiones están como están en materia de desarrollo económico y social. Estados Unidos posee 146 entre las 500 elegidas, lo que también revelaría el enorme potencial económico, militar y científico del país, aunque no tanto su nivel de pobreza infantil, que hoy alcanza a 32% de sus niños y niñas, según ha revelado recientemente UNICEF.
Como quiera que sea, los ranking universitarios se establecen sobre un modelo de universidad que desconsidera el aporte que realizan las universidades al desarrollo nacional y su capacidad para promover más y mejor justicia social. Del mismo modo, desconsidera factores fundamentales de la historia y de las especificidades nacionales que explican cuestiones de enorme relevancia que estas clasificaciones ignoran. Por ejemplo, no cabe duda que la Universidad de Harvard posee una enorme relevancia científica mundial. El ingreso promedio de una familia que envía su hijo a Harvard es de 450.000 dólares, un valor que sólo dispone el 2% de la sociedad norteamericana. Se trata de una institución donde el prestigio académico convive con un inmenso elitismo. En Harvard, como en muchas de las mejores universidades norteamericanas, uno de los factores que influye en la selección de alumnos es la capacidad que disponen sus familias de hacer donaciones a la institución. No debe sorprender que las donaciones de las familias más ricas, muchas veces millonarias, ocurren con mayor regularidad cuando sus hijos aspiran a ingresar a estas universidades. (Piketty, T. 2014: 473)
En este sentido, la comparación de Harvard con universidades que poseen algunas pocas décadas de historia, o apenas algunos años de existencia, parece trivial y simplificador. Seguramente, un trabajador metalúrgico de la periferia de Buenos Aires podrá sentirse frustrado al ver que la Universidad Arturo Jauretche no figura entre las 500 primeras clasificadas en el ranking de Shangai. Entre tanto, no creo que semejante frustración disminuya la alegría que este trabajador debe sentir al ver que su hija o su hijo pueden ahora, por primera en su historia familiar, tener acceso a la educación superior, gracias al desarrollo de universidades públicas cuyo foco en la promoción de la justicia social han multiplicado las oportunidades educativas de los jóvenes de sectores populares en Argentina.
Los gobiernos de los presidentes Lula da Silva y de Dilma Rousseff duplicaron en una década el número de estudiantes universitarios existentes en Brasil. Lo hicieron promoviendo una política de inclusión en el sistema universitario sin precedentes en la historia nacional: crearon 18 nuevas universidades públicas y 173 nuevos campus en todo el país. Gran parte de los nuevos alumnas y alumnos son también la primera generación de estudiantes universitarios en sus familias. Hace 10 años, en Brasil, un joven de sectores populares no podía siquiera imaginar que estudiaría en una universidad. Hoy, aunque la Universidad de San Pablo siga sin mejorar sustantivamente en el ranking de Shangai, la situación ha cambiado drásticamente.
.jpg)
Según el punto de vista que se utilice, la Universidad Arturo Jauretche es mucho mejor que la Universidad de Harvard. Aunque allí no dicte clases ningún Premio Nóbel, sus profesores no publiquen en Nature ni en Science, aunque sus profesores no siempre escriban en inglés y casi nunca sean citados por los científicos norteamericanos o chinos, a ella pueden ingresar jóvenes de sectores populares argentinos. No parece ser poca cosa, al menos, desde la perspectiva de la construcción de un país más justo.
Toda evaluación supone establecer parámetros de comparación. Pero sabemos que no todo es comparable ni, mucho menos, rankeable. Discutir qué se evalúa no es un detalle menor cuando se analiza una política pública. Supongo que un ranking del aporte que las universidades realizan a la promoción de más y mejores oportunidades educativas para los más pobres sería tan simplificador e intrascendente como el que realiza el CWCU de Shangai. Sin embargo, si lo hiciéramos, me temo que la lista sería muy diferente a las que habitualmente circulan cuando se discute cómo deben ser nuestras universidades y qué modelo universitario debemos aspirar a construir.
Evaluar es un asunto serio y complejo. Y, como lo es, evaluar la evaluación es siempre una tarea imprescindible.
¿Y PISA?
El Programa Internacional de Evaluación de Estudiantes (Programme for International Student Assessment, PISA), desarrollado y promovido por la OCDE, es un sistema internacional de evaluación de competencias educativas. Comenzó a ser implementado en el año 2000 y aplicado la población estudiantil de 15 años en más de 70 países. Su lema es: “¿qué es importante que los ciudadano sepan y sean capaces de hacer?” Una pregunta que seguramente ameritaría un estudio pormenorizado y de enorme complejidad, donde las especificidades nacionales o regionales no podrían ser de forma alguna un factor residual, pero que los expertos de la OCDE aspiran a responder con la aplicación de una prueba trienal de dos horas de duración en Lectura, Matemática y Ciencias.
Se trata, sin lugar a dudas, del más influyente y extendido sistema de evaluación internacional de la educación. Sus resultados son esperados como el sorteo de los grupos que disputaran el Mundial de Fútbol por parte de la FIFA. El anuncio de la clasificación de desempeño genera, en los países participantes y en los que no lo son, grandes debates públicos, un aquelarre de análisis y un interminable repertorio de explicaciones estrafalarias por parte de los ministros de educación de los países mal clasificados en el ranking final de notas. Suele no haber nada más enternecedor (o trágico) que un funcionario explicando por qué el país ha empeorado su desempeño en la prueba o por qué no ha mejorado todo lo que se esperaba.
Se supone que PISA ofrece indicadores sobre la calidad de los sistemas educativos participantes de la prueba. También, que el desempeño educativo (medido por el Programa) constituye un insumo indispensable para explicar el grado de desarrollo o de atraso de una nación. Así, cuando son enunciados los resultados, curiosos del todo el mundo corren a Finlandia o a Corea para conocer las recetas milagrosas que explican el buen desempeño educativo de sus alumnos y el alto grado de bienestar de sus economías, supuestamente, una consecuencia de la capacidad analítica desarrollada por los adolescentes en sus escuelas.
Los periódicos y los canales de televisión dedican al tema un espacio que nunca antes la educación había logrado. La lista de ganadores y perdedores recorre el mundo. Los culpables del fracaso y los protagonistas del éxito son rápidamente identificados. Se piden cabezas, se exigen cambios, se multiplican infinitas promesas que se deshacen cuando, tres años más tarde, se publican los nuevos resultados. Y todo vuelve a comenzar.
Me cuesta creer que algún fabricante de test de multiple choice haya jamás imaginado el poder que tendría un cuestionario de algunas pocas preguntas para explicar el presente y predecir el futuro de las principales naciones del mundo. Recuerdo que, cuando estudiaba ciencias de la educación en la Universidad de Buenos Aires, a este tipo de herramientas de evaluación se las consideraba simplistas, reduccionistas y su generalización comparativa altamente peligrosa para las sociedades, las familias, los docentes y sus alumnos.
Pero los tiempos han cambiado y el método no sólo se ha sofisticado sino sus resultados han ganado el estatus de lo infalible.
A diferencia de los ranking universitarios y de otros sistemas de evaluación internacionales, de PISA participan los gobiernos por decisión propia. Así mismo, invierten sumas casi nunca reveladas en la aplicación de la prueba. PISA es, para algunos, un buen negocio. El año que viene, la prueba será diseñada por la multinacional de la educación Pearson, dedicada a la producción de libros didácticos, tecnología educativa, evaluaciones y cursos en línea. Más allá delcontrato con la OCDE, no cabe duda que las ventajas económicas de gestionar una prueba como PISA otorga a Pearson una enorme ventaja la hora de vender servicios a los gobiernos que quieran mejorar su desempeño en las próximas evaluaciones.
John Fallon, director ejecutivo de Pearson festejó el contrato con la OCDE afirmando que "la educación de alta calidad es vital para el desarrollo económico de una nación y el bienestar social - y PISA es un punto de referencia clave por el cual las naciones pueden medir su propio progreso y aprender unos de otros. Así que estamos encantados de tener la oportunidad de trabajar con la OCDE y las comunidades académicas de todo el mundo para desarrollar la prueba del 2015”.
Las críticas a PISA se han multiplicado en todo el mundo. En mayo de este año, un reconocido grupo de intelectuales de diversas universidades, gran parte de ellas norteamericanas e inglesas, enviaron una carta abierta a Andreas Schleicher, coordinador internacional del sistema de evaluación propuesto por la OCDE. Allí destacaban:
- El negativo papel de las pruebas estandarizadas internacionales en promover la competencia, etiquetando y clasificando alumnos y docentes en función de su rendimiento.
- La tentación de los países a seguir caminos fáciles y de corto plazo para mejorar su desempeño en las pruebas, desconsiderando que los cambios en el campo educativo llevan mucho más que los tres años que separa una prueba de otra.
- PISA mide unas dimensiones del aprendizaje e ignora otras, lo que “reduce peligrosamente nuestro imaginario colectivo acerca de lo que la educación es y debería ser”.
- PISA está dominada por una visión economicista y unilateral de la educación.
- La OCDE asume un mandato que no le corresponde, adjudicandose un papel de gran agencia de evaluación internacional, opacando a instituciones como la UNESCO y UNICEF.
- La implementación de las pruebas se realiza en muchos países con asociaciones entre el sector público y privado, abriendo oportunidades de negocios que entran en franco antagonismo con los intereses educativos. (La carta no menciona al contrato entre Pearson y la OCDE, aunque hace evidente relación al mismo). “Algunas de estas empresas ofrecen servicios educativos a las escuelas estadounidenses y a los distritos escolares de manera masiva y con fines de lucro, al tiempo que persiguen planes de desarrollo de la educación primaria con fines de lucro en África, donde la OCDE ahora está planeando introducir el programa PISA”.
- PISA contribuye a consolidar una euforia evaluadora que “perjudica a nuestros hijos y empobrece nuestras aulas”.
En agosto pasado, desde la ciudad de Salvador, en Brasil, otro amplio grupo de intelectuales, vinculados al Consejo Latinoamericano de Ciencias Sociales (CLACSO), expresaron su oposición al programa PISA, destacando siete aspectos que evidencian el carácter reduccionista, tecnocrático, economicista y privatizador de una prueba que contribuye con la precarización del trabajo docente y la despolitización de las prácticas educativas. Los firmantes oponen los objetivos de PISA al desarrollo de sistemas educativos autónomos, donde la educación cumpla un papel emancipador y democrático.
Como bien expresan los intelectuales de CLACSO, PISA es un inmenso dispositivo de control que aspira a imponer una perspectiva educativa que nos aleja del reconocimiento de la educación como un derecho y nos aproxima a su interpretación como un bien de consumo. Una perspectiva que multiplica las desigualdades existentes, las cristaliza y pretende explicarlas desde un marco aparentemente neutral y científico.
Creo que, apelando al buen sentido común, los países latinoamericanos deberían retirarse inmediatamente del programa PISA. Los resultados de las pruebas nada aportan que ya no sepamos sobre el funcionamiento de nuestros sistemas escolares. Tampoco el premio consuelo de aspirar a ocupar un lugar en los estudios de casos que sirven para mostrar cómo, aún en las situaciones de mayor penuria, es posible alcanzar un alto rendimiento en nuestros sistemas escolares. El recurso a los casos ejemplares oculta más que muestra la complejidad de los procesos de reforma educativa y los necesarios cambios en las prácticas escolares.
PISA simplifica lo que es complejo. PISA jerarquiza lo que no tiene un orden. PISA compara lo incomparable. PISA silencia lo que la realidad amplifica. PISA distrae lo que merece atención. PISA consagra lo que es banal y trivializa lo que debería ser fundamental.
¿Cómo salir de PISA? Tomando la decisión política de hacerlo.
Las decisiones políticas tienen siempre consecuencias. Seguir en PISA, también. Si un país latinoamericano se retirara del programa de la OCDE, buena parte de los medios de comunicación y los sectores más conservadores de la sociedad, afirmarían que la decisión pone en evidencia el desinterés del gobierno en mejorar la calidad de su sistema educativo nacional. Durante semanas se harían denuncias de la más variada especie. Se diría que el ministro de educación es un irresponsable y se exigiría su renuncia. Se afirmaría que el país está a la deriva, que el fracaso en la formación de nuestra juventud expresa el fracaso de un proyecto de país condenado a seguir sufriendo las consecuencias del atraso y la ignorancia. En suma, se diría lo mismo que se dice cada vez que se publican los resultados de las pruebas cada tres años. No parece ser tan grave.
Salir de PISA no significa de modo alguno abandonar la necesaria y urgente voluntad de evaluar y analizar de forma sistemática y rigurosa los avances en la promoción del derecho a la educación. Tampoco, dejar de multiplicar los esfuerzos para mejorar la calidad de los aprendizajes de nuestros alumnos y alumnas en todas las edades. De hecho, casi todos los países latinoamericanos disponen de complejos y, en algunos casos, excelentes sistemas de evaluación implementados a nivel nacional, como es el caso de Brasil, Argentina y México, entre otros. Cualquiera de estos sistemas es mucho más completo y sofisticado que el esquema de evaluación que propone la OCDE.
Del mismo modo, salir de PISA tampoco significa rechazar la participación en evaluaciones internacionales. Por ejemplo, las pruebas del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) coordinado por la oficina regional de la UNESCO en América Latina, las que constituyen un aporte de mucho mayor relevancia para un conocimiento riguroso de la calidad educativa en la región. La especialista ecuatoriana Rosa María Torres destaca, con razón, las ventajas de las pruebas de la UNESCO, en contraposición al reduccionismo analítico de PISA.
Además, en un contexto de consolidación de las políticas de integración regional, los gobiernos de América Latina no deberían ahorrar esfuerzos en la construcción de sistemas internacionales de evaluación que respondan a una perspectiva más autónoma y soberana sobre sus sistemas escolares. No deja de ser frustrante los escasos avances que han habido en la materia, tanto en el MERCOSUR, como en las nuevas instituciones regionales promovidas en la última década por gobiernos que comparten una misma sintonía en sus perspectivas estratégicas. La integración educativa latinoamericana y caribeña debería avanzar y consolidarse, Contar con sistemas confiables de evaluación educativa sería un gran aporte a este proceso. En nada contribuye PISA con dichos desafíos. Por el contrario, nos distrae de ellos y, sistemáticamente, pone en ridículo los importantísimos avances que han habido en la promoción de políticas educativas incluyentes y democráticas promovidas durante los últimos años.
PISA es, simplemente, una invitación a la humillación, al escarnio público. La educación latinoamericana ha alcanzado grandes avances gracias al esfuerzo de nuestras sociedades, nuestros docentes, nuestros alumnos y, algunas veces, nuestros gobiernos. PISA parece burlarse de ellos. ¿Por qué aceptarlo? ¿Por qué aceptar que técnicos de dudosa competencia y prepotente actitud, que circulan por el mundo al igual que pastores evangélicos pregonando la palabra divina, nos deban decir qué es lo que nuestros jóvenes deben saber y nuestras escuelas enseñar? La soberanía de una nación, de un continente, se juega también en este terreno. Sería bueno no dejarse engañar por las promesas de un conjunto de infografías animadas y algunos voluminosos informes que aspiran a resucitar el poder hipnótico que los espejitos de colores tenían para los conquistadores.
Los gobiernos latinoamericanos gastan cuantiosas sumas en la aplicación de PISA. Paralelamente, la UNESCO pena la escasez de recursos para financiar sus acciones en la región. Mucho más útil sería que países como Brasil, Argentina, México, Colombia, Chile y Perú, entre otros, aumentaran sus contribuciones a este organismo, en vez de alimentar los cofres de la OCDE y la de sus socios privados, como la multinacional Pearson.
La Organización de Estados Iberoamericanos (OEI) ha realizado importantes aportes desde su Instituto de Evaluación y Seguimiento de las Metas Educativas 2021, cuyos informes muestran la complejidad de los procesos de promoción de la calidad en los países de la región.
Tenemos que evaluar nuestros sistemas escolares y debemos hacer cada vez más en este campo, con más responsabilidad y aprovechando las experiencias acumuladas, los conocimientos producidos y los que podremos producir. Pero debemos hacerlo afirmando que la educación es un derecho humano fundamental y que evaluar derechos es una cosa seria para los gobiernos, las sociedades, nuestros docentes y alumnos. No un ejercicio de multiple choice de dos horas de duración.
Salir de PISA nos ayudará a dejar de perder tiempo con dispositivos aparentemente científicos que, en el fondo, no son otra cosa que una descartable tontería. Salir de PISA nos permitirá tejer y construir las necesarias alianzas entre los gobiernos, la sociedad civil, las organizaciones populares, los empresarios interesados en el desarrollo nacional, los sindicatos docentes, las entidades estudiantiles y toda la comunidad educativa, haciendo de la evaluación de nuestras escuelas un aporte significativo a la educación como una herramienta de emancipación y libertad humana, a la educación con un proyecto de futuro.
SOBRE EL AUTOR
Pablo Gentili. Nació en Buenos Aires en 1963 y ha pasado los últimos 20 años de su vida ejerciendo la docencia y la investigación social en Río de Janeiro. Ha escrito diversos libros sobre reformas educativas en América Latina y ha sido uno de los fundadores del Foro Mundial de Educación, iniciativa del Foro Social Mundial. Su trabajo académico y su militancia por el derecho a la educación le ha permitido conocer todos los países latinoamericanos, por los que viaja incesantemente, escribiendo las crónicas y ensayos que publica en este blog. Actualmente, es Secretario Ejecutivo del Consejo Latinoamericano de Ciencias Sociales (CLACSO) y profesor de la Universidad del Estado de Río de Janeiro. Coordina el Observatorio Latinoamericano de Políticas Educativas (FLACSO/UERJ/UMET).
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
