ARTÍCULOS

Os políticos e o PISA: entre a adesão segura e a recepção activa

 

Luís Miguel Carvalho*, Estela Costa **

 

* Dr. en Ciencias de la Educación, Universidad Técnica de Lisboa. Prof. Asociado con agregación del Instituto de Educación de la Universidad de Lisboa, e investigador de la Unidad de Investigación y Desarrollo en Educación y Formación del mismo Instituto. Coordinador del grupo de investigación "Política e Administración Educacional". E-mail: lmcarvalho@ie.ulisboa.pt
** Dra. en Educación, en Administración y política educativa, Universidad de Lisboa. Prof. del Instituto de Educación de la Universidad de Lisboa, Directora Adjunta e Investigadora del grupo de investigación 'Política y Administración Educativa' de la Unidad de Investigación y Desarrollo en Educación y Formación del mismo instituto. E-mail: ecosta@ie.ulisboa.pt

---

Resumo

Este artigo analisa a relação que atores políticos de seis países europeus estabelecem com um programa de avaliação internacional comparada do desempenho de jovens escolarizados (o PISA, da OCDE), a partir de duas dimensões: (a) a adesão dos países ao programa, dando atenção às narrativas de ministros, directores de organismos centrais e gestores do Programa a nível nacional; (b) a recepção dada aos seus relatórios, tendo em consideração a intensidade da sua convocação em universos vocacionados para a produção de política e de conhecimento. O artigo põe em evidência que o conhecimento gerado pelo PISA é mobilizado nacionalmente por uma multiplicidade de actores de mundos diferentes (da política, dos média, do mundo da investigação, da administração, etc.), permitindo a legitimação de opiniões e decisões políticas muitas vezes opostas. Paralelamente, o artigo enfatiza que apesar de não gerar respostas convergentes nas políticas postas em marcha, através do PISA a OCDE mostrase capaz de fazer convergir a acção política no uso da héteromonitorização como modalidade percebida como apropriada para "pensar-fazer-dizer" a política educativa.

Palavras-chave: PISA; OCDE; Conhecimento; Política da Educação.

Resumen

Este artículo analiza la relación que los actores políticos de seis países europeos establecen con el programa de evaluación internacional comparada de desempeño de jóvenes escolarizados (PISA de OCDE), a partir de dos dimensiones: a) la adhesión de los países al programa, poniendo el foco en la narrativa de los ministros, de los directores nacionales de organismos centrales y de los gestores del programa a nivel nacional; b) la recepción dada en sus discursos, teniendo en consideración la intensidad de su convocatoria en los ámbitos dirigidos a la producción de políticas y de conocimiento. El artículo pone en evidencia que el conocimiento generado por PISA es movilizado a nivel nacional por una multiplicidad de actores de diferentes ámbitos (de la política, de los medios de comunicación, de la investigación, de la administración, etc.), permitiendo así la legitimación de opiniones y decisiones políticas muchas veces opuestas. Paralelamente, el artículo enfatiza que, a pesar de no generar respuestas convergentes en las políticas puestas en marcha, a través de PISA, la OCDE se muestra capaz de hacer confluir la acción política en el uso de un "hétero-monitoreo" como modalidad para "pensar-hacer-decir" la política educativa.

Palabras clave: PISA; OCDE; Conocimiento; Política Educativa.

Abstract

This paper examines the relationship that political actors from six European countries established with a program of international comparative assessment of students' performance (PISA, OECD), based on two dimensions: (a) the adhesion of countries to PISA, giving attention to the narratives of ministers, heads of central agencies and PISA managers at national level; (b) the active reception given to PISA reports, taking into account the intensity of its convocation in universes devoted to the production of knowledge and policy. The paper highlights that the knowledge generated in PISA is mobilized nationally by a variety of actors from different worlds (from policy, the media, the world of research, the administration, etc.), allowing the legitimation of frequently divergent political opinions and decisions. In addition, the article emphasizes that although not generating converging responses in the policies set in motion through the PISA the OECD shows itself capable of converging political action in the use of hetero-monitoring as a modality perceived as appropriate to 'think, do, and tell' the current education policies.

Keywords: PISA; OECD; Knowledge; Education Policy.

---

 

Introdução

Desde o início do presente século, a Organização para a Cooperação e o Desenvolvimento Económico (OCDE) publica trianualmente os resultados de um programa de avaliação internacional comparada dos desempenhos de jovens de 15 anos, o Programme for International Student Assessment, mais conhecido pelo seu acrónimo - PISA -, e que se firmou como um importantíssimo instrumento de intervenção daquela agência nos processos de regulação no sector da educação.
De facto, e atendendo apenas à expansão da cobertura geopolítica alcançada pelo PISA, pode constatar-se que, entre 2000 e 2012, o número de nações participantes cresceu de cerca de quatro dezenas para sete dezenas, em larga medida em função do recrutamento de países não membros da OCDE. O PISA não constitui, obviamente, o único meio de intervenção da agência. Em articulação com outros meios, como as estatísticas, a identificação de boas práticas ou a avaliação por pares, o PISA dá corpo a uma intervenção que, desde a década de noventa, se vem caracterizando pela prevalência de agenda política na qual as questões educativas são equacionadas como requisitos de uma economia baseada no conhecimento e pelo assumir, por parte da OCDE, do papel de porta-estandarte da "monitorização de qualidade" (Rinne et alli, 2004).
O PISA propõe-se avaliar as "competências de literacia dos jovens escolarizados" (regulamente a literacia científica, a literacia matemática, a literacia na leitura, mas também a literacia na resolução de problemas, no uso de tecnologias de informação e comunicação e até, no último survey, a literacia financeira). É importante não esquecer que a noção de literacia tem, nos textos PISA, um sentido mais alargado que o habitual. Segundo a sua mais recente formulação (ver OECD, 2011: 22), tal envolve um conjunto de capacidades dos jovens: as "de extrapolar o que aprenderam e aplicar seus conhecimentos em contextos da vida real" (...) "de analisar, raciocinar e comunicar eficazmente", e de "colocar, interpretar e resolver problemas em contextos variados". Deste ponto de vista, os indivíduos têm uma quantidade ou um nível de literacia, em tantos domínios (de habilidade) quanto os que se possam equacionar; e essa quantia (de habilidade) é alterável ao longo da vida.
Esta perspectiva sobre a literacia acompanha uma visão sobre educação que é recorrente nos textos com chancela da OCDE e na qual se enfatiza a "preparação das pessoas para um mundo de trabalho e uma vida de auto-capitalização", se classificam os cidadãos como aprendentes ao longo da vida, e que se imaginam "flexíveis e móveis", com "disposições cosmopolitas, e capazes de lidar eficazmente com a diversidade cultural, a mudança endémica, e a inovação" (Rizvi & Lingard, 2006: 253). Dito de outro modo, o PISA condensa os elementos que caracterizam a intervenção da OCDE no sector da educação: a ênfase que coloca na monitorização dos sistemas educativos, em torno de "competências para a vida" dadas como representativas das "necessidades" de uma "economia baseada no conhecimento".
Importa recordar que o PISA é um instrumento importante para a OCDE na medida em que, como lembram Henry et alli (2001), com ele a agência deixou de estar dependente, em matéria estatística, de dados criados pelos sistemas nacionais. Mais, ao "gerar os seus próprios dados" determina um quadro de questões e de orientações próprio - e "independente" das realidades nacionais - para a monitorização e a pilotagem dos sistemas escolares. É nesta perspectiva que o interpelamos aqui - como um instrumento de regulação baseado e gerador de conhecimento (Pons & van Zanten, 2006, Carvalho & Costa, 2009, Carvalho, 2014). Do ponto de vista que seguimos, há uma ligação umbilical entre os instrumentos de avaliação comparada das performances dos escolares e as políticas pela mútua vigilância. Deste modo, a relevância destes instrumentos de avaliação comparada nas políticas públicas não se encerra tão só numa função de recurso, porquanto se constituem já como modalidades mesmo de fazer política - dirigem o modo como se constroem problemas e políticas (Nóvoa & Tariv-Mashal, 2003). O peso destes instrumentos nas políticas nacionais não pode ser ignorado, nem que seja porque, como Gita Steiner- Khamsi (2012) recentemente refere, em capítulo consagrado aos fenómenos de transferências de políticas, os actores políticos nacionais tendem, no presente, a legitimar mais a importação de ideias do exterior em função de standards internacionais.
Neste artigo, concentramo-nos exactamente nas relações que actores políticos de seis países europeus - a comunidade francófona da Bélgica, Escócia, França, Hungria, Portugal, e Roménia - estabelecem com o PISA. Focamos duas dimensões dessa relação: (a) a adesão (voluntária) dos países ao programa, dando atenção às narrativas de actores relevantes (ministros, directores de organismos centrais e gestores do Programa a nível nacional); (b) a recepção do PISA, dando atenção à intensidade da sua convocação em universos vocacionados para a produção de política e de conhecimento. As nossas análises baseiam-se numa pesquisa sobre a fabricação supranacional do PISA (Carvalho & Costa, 2009, Carvalho, 2014), numa colecção de seis relatórios de investigação sobre a sua circulação e uso nos contextos nacionais/regionais referidos - parcialmente divulgados em número temático da revista Sísifo (Afonso & Costa, 2009; Bérenyi et alli, 2009; Grek, Lawn & Ozga; 2009; Kiss et alli, 2009; Mangez & Cattonar, 2009; Mons & Pons, 2009) - e num relatório de integração de todos os referidos estudos (Carvalho, Costa & Afonso, 2009).¹
Na esteia de outros trabalhos que já identificaram e descreverem diferentes tipos de respostas aos resultados do PISA e diversos dos seus efeitos nas políticas nacionais (e.g., Bieber & Martens, 2011; Carvalho & Costa, 2014; Dobbins & Martens, 2012; Ertl, 2006; Greger, 2012; Grek, 2009; Gür et alli 2012; Pons 2012; Rautalin & Alasuutari, 2009; Rinne et alli, 2004; Sellar & Lingard, 2013; Steiner-Khamsi, 2003; Takayama, 2008), este artigo põe em evidência que a difusão e circulação do conhecimento gerado pelo PISA se associam a uma possibilidade de desfechos não determinados, e histórica e contextualmente contingentes. Mostraremos, assim, que quando as problemáticas, "evidências" e análises, geradas no âmbito do PISA, circulam por contextos políticos e culturais específicos, são alvo de recontextualização - ora absorvidas, ora adaptadas ora silenciadas - mas também podem ajudar a criar novos sentidos e regras para a acção local. Não obstante, também sublinharemos que o PISA penetrou nos diversos países e na formulação de acções políticas: é usado por uma multiplicidade de actores de mundos diferentes (da política, dos média, do mundo da investigação, da administração, etc.), permitindo a legitimação de opiniões e decisões políticas muitas vezes opostas. E é assim que este actante concretiza seu poder: não gerando respostas convergentes nas políticas postas em marcha, mas fazendo convergir a acção política no uso da hétero-monitorização como recurso tomando como apropriado para pensar-fazer-dizer a política educativa.

A Adesão ao PISA

Podemos reunir em três categorias as principais percepções descritivas e avaliativas devolvidas pelos actores nacionais envolvidos na adesão e na implementação do PISA: credibilidade da OCDE, permeabilidade dos contextos nacionais e maneabilidade do conhecimento gerado no âmbito do PISA.2 Com o termo credibilidade pretendemos representar o reconhecimento dado por ministros, funcionários e investigadores, ao estatuto da OCDE: num plano técnico, por via da invocação de suas

Os políticos e o PISA: entre a adesão segura e a recepção activa

competências e elevado nível de expertise, inclusivamente no âmbito dos estudos internacionais comprados; num plano político, retratada como um actor de renome no mundo pós-industrializado. Sendo certo que no plano técnico-científico tem havido objecções ao PISA².
Por exemplo: dúvidas sobre a capacidade do PISA efectivamente medir a literacia, críticas pelo facto dos testes sofrerem de bias culturais e linguísticos, reservas sobre os critérios usados para seleccionar as amostras nacionais; e têm sido tecidas refutações acerca dos fundamentos do programa e críticas à sua contribuição para um pensamento simplista e linear sobre educação assente na lógica das league tables. Porém, até ao presente estas críticas não têm criado, nos contextos políticos auscultados (excepto no caso francês), obstáculo a uma percepção dominante: a do carácter confiável do PISA e da sua sofisticação técnica. No plano político, a adesão ao PISA e a permanência no PISA têm uma importante força simbólica, indissociável do estatuto da agência que o tutela. Nos casos da comunidade francófona da Bélgica e de Portugal, essa carga aparece ligada à necessidade de ter visibilidade na arena política internacional. No caso da França, a eventual recusa de participar no PISA foi rejeitada pois poderia levar à ideia de que havia algo a esconder, o que se traduziria em uma imagem negativa de um país que quer ademais ser visto como tendo um papel dinâmico no coração da OCDE. No caso da Hungria, a justificação para a presença neste fórum é associada à necessidade de distanciamento face a outros Estados 'pós-comunistas' e de alinhamento com o "mundo euro-atlântico" (a Hungria aderiu à OCDE em 1996). No caso da Escócia, a OCDE é vista como fazendo parte do "clube das nações competitivas" e oferece a visibilidade adquirida pela sua participação no inquérito permite ser reconhecida como uma "entidade própria" na arena internacional.³
Nas narrativas dos atores encontramos uma consonância noutro plano: o da sua permeabilidade ao discurso da OCDE e à natureza do instrumento PISA. Três aspectos são evidentes. Em primeiro lugar, a pertinência do PISA para acção pública. Nos casos da Bélgica, França, Portugal e Escócia o PISA é apresentado como sendo capaz de sensibilizar para o debate público sobre a educação: oferece diagnósticos, identifica problemas e destaca os bons exemplos; as suas informações permitem reforçar a atenção dada a certos problemas. Dito de outro modo, para os decisores políticos o PISA configura um novo tipo de influência, apresentando os dados e recomendações úteis para reequacionar a educação, assim despertando-os para pensar sobre as questões de uma maneira diferente, mas também legitimando medidas políticas.
A presença da narrativa da modernização, em sua forma actual - "sociedade do conhecimento & economia do conhecimento" - é um segundo factor que associamos à permeabilidade dos contextos nacionais. Esta narrativa acompanha reformas educativas ou iniciativas governamentais de amplo alcance ocorridas em vários dos países estudados.
Um outro factor a considerar - associado ao anterior - é o que respeita à aceitação da comparação internacional como uma modalidade de exercício do governo e da pilotagem dos sistemas educativos. Essa aceitação é evidente nos seis países, onde o processo de comparação de desempenho entre os diferentes sistemas de ensino está no centro de um debate que oscila entre a crítica e o louvor em função das performances medidas pelo PISA. Regra geral, vinga o argumento das vantagens de integrar um estudo que permite comparar, com imparcialidade, os sistemas de ensino, pondoos em relação uns e outros.⁴ O reforço desta limitada razão comparatista associa-se, por outro lado, às práticas do blaming and shaming, característica que atravessa aqueles contextos nacionais nos quais os resultados são percebidos como fracos ou abaixo da média.⁵ Esta declarada insatisfação com os resultados expressa-se ao redor de aspectos, variáveis de ciclo para ciclo, considerados como particularmente preocupantes ou carentes de intervenção.

Foto de Mariana Nóbile

Um derradeiro factor de permeabilidade prende-se com a existência, em alguns países, de uma tradição de participação activa em estudos internacionais e com ligações a organizações internacionais que os conduzem desde a década de sessenta (como a IEA). Nesses países - Bélgica, França, Hungria - o papel dos peritos nacionais parece ter sido determinante nos processos de adesão e de participação no PISA. Para alguns dos entrevistados, a adesão e permanência - quase tacitamente aceite - é indissociável da continuidade de um trajecto há muito iniciado, pelo que o PISA é inscrito numa lógica de expansão e de aprofundamento dessas participações passadas.
O PISA suporta múltiplas formas de uso. Em geral, os actores que intervêm no debate público sobre educação mobilizam-no para defenderem os seus pontos de vista e ideias; e fazem-no, essencialmente, para validar suas próprias posições. De facto, os seus dados (percebidos como credíveis) permitem aos titulares de cargos políticos e aos membros da oposição a sua mobilização no debate público, muitas vezes em direcções diferentes, sustentando pontos de vista opostos. Por exemplo, a ligação entre o desempenho dos alunos e o financiamento da escola (que frequentam) alimentou já, na Bélgica e em Portugal, abordagens opostas no que respeita à 'privatização' da educação escolar e as relações entre os ensinos público e privado.
Os actores governamentais surgem, em vários dos contextos estudados (França, Hungria, Portugal e Escócia), como principais propulsores da convocação do PISA para os debates em curso sobre matérias políticas para a educação. Nalguns países, esse activismo foi decisivo para colocar o PISA na agenda e para dar azo a um ponto de viragem no discurso público, focando mais e mais os seus resultados. Em França, tal ocorreu sob o governo de Sarkozy, em 2007; na Hungria, foi amplamente mobilizado e referenciado pelo ministro da educação (liberal) nas eleições de 2002. Em Portugal, o ponto de viragem aconteceu em 2005, com a nova ministra da Educação (socialista), que fez do PISA um dos pontos de referência para propostas de sua política. Na Escócia, a mudança ocorreu desde a eleição de um governo nacionalista em 2007.
Com o termo 'maneabilidade' assinalamos, também, a influência do PISA (seu racional e suas metodologias) como modelo inspirador de dispositivos de avaliação diversos: na implementação de novos programas de avaliação (Bélgica), na fabricação e na revalorização de dispositivos avaliação externa já existentes (Hungria), na produção de provas exames e de ferramentas de ajuda aos professores para melhorarem suas formas de avaliação do desempenho dos alunos e para que estes se familiarizarem com o tipo de questões que compõe os exames de final de ano (Portugal).

Da recepção variável aos factores contextuais que contam

A questão da maneabilidade introduz, necessariamente, a questão da recepção do PISA em contextos nacionais. Um dos aspectos mais salientes nesse recurso é, exactamente, o da variabilidade de desígnios aos quais surge associado.
Começamos por atender à sua recepção no plano da proposição e implementação de medidas de política educativa. Neste campo, os contributos do PISA têm, fundamentalmente, uma presença legitimadora: os seus resultados acompanham, como se de recursos portadores de autoridade se tratassem, propostas de acção, ora associadas à qualidade e modernização dos sistemas escolares; ora à promoção da equidade.
As primeiras, que habitualmente se propõem dar combate à ineficácia e ineficiência dos sistemas educativos, tendem a orientar alterações nas áreas do currículo/didáctica, da formação de professores, e da monitorização do sistema educativo. Inscrevem-se neste conjunto, reformas curriculares centradas na 'melhoria dos níveis de conhecimento dos alunos', redesenhando conteúdos, encurtando/ampliando as cargas horárias, etc. (e.g. Portugal, Hungria, França, Bélgica), ou ainda os vários planos de intervenção no âmbito da melhoria das aprendizagens nos domínios da matemática e da leitura, mormente através de planos de intervenção a escalas nacionais. Ao nível da formação de professores foi notória - na Bélgica, em Portugal, em França, na Hungria e na Escócia - a mobilização dos resultados do PISA para legitimar novos planos de formação inicial e contínua, em todos os níveis e ciclos de ensino, tendo em vista intervir sobre o deficit detectado nas aprendizagens dos alunos. Na terceira área, verificou-se uma maior atenção aos instrumentos nacionais usados para avaliação dos desempenhos dos alunos - fenómeno reportado nos estudos efectuadas na Bélgica, em Portugal, em França, e na Hungria.
O papel regulador do PISA parece, assim, inequívoco: possibilita a emissão de juízos de valor sobre os sistemas escolares, a emissão de opiniões sobre decisões políticas, a argumentação de decisões, sustentadas num conhecimento percebido como 'verdadeiro'. Contudo, trata-se, na maioria dos casos, de uma regulação que não decorre automaticamente da presença do actante PISA, mas que depende, também, de uma lógica de legitimação de políticas e de debates préexistentes à escala nacional ou regional. Pode-se, assim, dizer que quando as representações e as normas de acção face à realidade educacional que o instrumento PISA transporta circulam por contextos socioculturais específicos, são agidas, seleccionadas, combinadas com outras aí existentes. Ao transitar por esses espaços, os objectos PISA tornam-se uma plataforma para a expressão ou para a formação de outros conhecimentos. O instrumento (em sua dimensão simbólica) é filtrado, ajustado, modificado. Nessa selecção estão presentes ora factores relativos ao mundo político autóctone ora factores associáveis ao mundo do conhecimento educacional autóctones. Baseados nesta hipótese de trabalho ensaiamos um mapa de modalidades de recepção no qual tentamos inscrever os contextos nacionais estudados (Figura 1).

Figura 1. Ensaio de um mapa sobre a recepção do PISA em contextos de política e de conhecimento

Definimos dois eixos de variabilidade da mobilização do PISA. O eixo vertical corresponde à dimensão "conhecimento especializado" e distingue a existência de saberes associados ao seu universo teórico e metodológico, tendo em conta dois factores: a existência de participação de actores nacionais em estudos de avaliação internacional comparada do desempenho; a existência de uma tradição, publicamente reconhecida, de conhecimento especializado no campo da avaliação do desempenho dos escolares, e associada a infra-estruturas de conhecimento (departamentos, revistas) específicas. O eixo horizontal respeita à visibilidade do PISA no âmbito da política educacional, atendendo quer à sua explícita invocação em medidas políticas quer na elaboração/melhoria de dispositivos de regulação aplicados na escala nacional. Definimos assim quatro espaços de distinta relevância da mobilização do PISA. No espaço A, inscrevemos o caso da França, onde o PISA foi, ao longo dos anos, debatido, apoiado e contestado em torno de questões substantivas como a análise dos resultados e da metodologia do inquérito ou a realização de análises secundárias com base nos dados do PISA.
Estas intervenções foram feitas por investigadores associados a unidades de investigação francesas, por peritos de estatística da DEPP e por membros da OCDE. Não se tratou de interpelar o PISA através de simples referências genéricas, mas de um questionamento gerado por tradições de conhecimento, instituídas e sediadas organizacionalmente, sobre a matéria da avaliação dos escolares. Tratou-se de uma competição entre conhecimentos, não sendo - ainda - despiciente o facto de a França ter proposto desde o início da fabricação do PISA outro conceito de avaliação internacional. Debatido no universo dos saberes sobre a avaliação da realidade educacional, o PISA teve pouco impacto na decisão política até 2007. Porém, quando Nicolas Sarkozy assumiu a Presidência, a sua mobilização cresceu e assim parece continuar, sugerindo uma possível deslocação de quadrante.
No espaço B, inscrevemos os casos da Bélgica (comunidade francófona) e da Hungria, contextos associados a bem distintas trajectórias em matéria de regime político e de modelos de administração pública. Contudo, em ambos existem fortes laços com pesquisas de avaliação internacional semelhantes ao PISA, bem como uma extensa mobilização do estudo da OCDE nos debates académicos sobre educação. Além disso, em ambos se observa a sua invocação em políticas de promoção da qualidade e/ou da equidade, assim como sua presença inspiradora na criação ou no aperfeiçoamento de dispositivos de avaliação nacionais. A esta dupla presença não é estranha a influência que actores autóctones, envolvidos em instâncias formais do PISA, têm em instâncias de direcção e gestão do PISA a nível nacional e junto a estruturas de decisão política-administrativa.
O espaço C hospeda um contexto no qual pouco impacto pode ser imputado ao PISA, tanto no âmbito do conhecimento educacional quanto no da decisão política: a Roménia. Já o caso escocês deve ser ponderado com outra minucia. Por um lado, os resultados alcançados pelos alunos escoceses, regra geral positivos, tornam irrelevante a sua mobilização para o equacionar das políticas existentes; por outro lado parece inegável a relevância simbólica do PISA para o ambiente político escocês. Referimo-nos à presença de representantes da Escócia no Governing Board do PISA e da Escócia como entidade independente em documentos da OCDE. Como escrevem Grek, Lawn e Ozga, (2009: 79), "o aparecimento de Escócia nas league tables da OCDE pode ser tudo o que Escócia 'retira' do PISA, mas no mercado competitivo global, isso pode ser de imenso valor". Para lá desta não despicienda presença retórica, ao longo destes anos o PISA tornou -se um avaliador externo dos processos internos de garantia da qualidade.
Donde, também, aqui parece pertinente introduzir um deslocamento de quadrante. Finalmente, o espaço D inclui um contexto - Portugal - onde a mobilização de conhecimento em torno ou sobre o PISA tem sido reduzida e esporádica, mas no qual o PISA se releva principalmente na esfera política - sobretudo desde 2005 - tanto como depósito de "evidências" que legitimam medidas específicas no campo da educação, como no plano do seu uso para a construção de instrumentos para a avaliação dos escolares nas escolas portuguesas.
Estas diferenças no acolhimento mostram o poder relativo dos contextos nacionais e dos actores que aí agem. Mais concretamente, destacamos um conjunto de factores que se associam à noção segundo a qual 'o contexto de recepção também conta': os diferentes tipos de conhecimentos incorporados por aqueles que mobilizam a ferramenta; a posição desses mediadores nas arenas política e de conhecimento sobre educação; o tipo de relação entre conhecimento e política, configurado pelo tipo de estruturas nacionais do PISA; a distância e a assimetria entre o conhecimento veiculado nas actividades do PISA e os conhecimentos pré-existentes no contexto de acolhimento quer em termos de know-how específico, quer em termos de orientações sobre avaliação de desempenho comparativo; o vínculo histórico a empreendimentos congéneres de avaliação comparada internacional do desempenho dos escolares; a existência e a capacidade de influência de actores que desempenham um papel de empreendedores, ligando os mundos da construção de conhecimentos educacionais da produção de políticas; os padrões ou tendências nacionais no plano da coordenação e do controlo da acção no domínio da educação.

Concluindo

Neste artigo mostramos que há modalidades muito diversas, e contextualmente explicáveis, de mobilização dos resultados do PISA, e que não é possível falar de uma convergência de políticas como efeito desse uso. Não obstante, pensamos ter também posto em destaque o poder cognitivo do PISA. É que a par das - e com as - divergências e múltiplos usos, a comparação do desempenho entre sistemas educacionais, as críticas e/ou elogios produzidos em torno dos resultados do PISA afirmam-se como práticas comuns nos debates sobre a educação. Não se trata apenas de uma episódica presença em órgãos de comunicação, alimentando os rituais das tabelas classificativas ou a invocação recorrente de outros países como lugares de "lição". O que é relevante é que os produtos gerados pelo PISA tendem a obter o estatuto de conhecimento necessário para ser mencionado nos debates, para explicar medidas políticas, mesmo que produzidas sob diversos credos e aplicáveis a matérias e alvos distintos. Ora esta consagração do instrumento é, simultaneamente, uma consagração de um conjunto de preceitos sobre os processos de regulação transnacional: o primado de um modelo racional e "baseado em evidências" para a coordenação e controlo das acções no sector da educação, contrastando e desqualificando uma coordenação baseada nas opiniões e/ou na ideologia; a "livre aquiescência" dos políticos - e sua adesão, envolvimento e apoio (material e simbólico) - à "mútua vigilância" como uma apropriada e eficaz prática de administração do social; a confirmação da avaliação sistemática do desempenho dos alunos em certos "domínios e competências de literacia" como um recurso útil e confiável para a pilotagem dos sistemas educativos.

Notas

¹ Estes estudos foram desenvolvidos no projecto The role of knowledge in the construction and regulation of health and education policy in Europe, financiado pela União Europeia, que decorreu entre 2006 e 2012. Os relatórios completos dos estudos sobre a recepção do PISA nos 6 contextos europeus podem ser consultados em http://www.knowandpol.eu/Orientation-3-Supra-national,128.html?rub_id=263)

² Nos países estudados, a adesão ao PISA deveu-se a decisões governamentais, assumidas pelos Ministérios da Educação. No caso da Bélgica, cuja estrutura política se caracteriza por um sistema descentralizado em função das comunidades linguísticas (Flamenga e Francófona), a decisão foi tomada em cada uma delas. No caso da Escócia, a primeira participação foi ainda decidida por estruturas de governo comuns ao Reino Unido. Na sequência das políticas de devolução, a permanência vem sendo decidida pelas estruturas políticas escocesas.

³ Apesar da credibilidade da OCDE contar, a adesão e a participação da Roménia revestem-se de contornos mais complexos de aproximação-repulsão face ao espaço político europeu criado a Oeste (ver Kiss et alli, 2009).

⁴ Esta autoridade externa é vista em Portugal como um factor de enriquecimento e como geradora de uma mudança no paradigma da avaliação do sistema escolar. Já na Roménia a tónica é posta na importância conferida à informação provinda deste tipo de estudos, considerados úteis para a formulação de políticas educativas. No caso da Escócia, a comparação é vista como crucial para o entendimento do desempenho dos sistemas, tanto mais importante quanto ali se reconhece haver uma ligação directa entre a melhoria da performance educacional e o crescimento económico.

⁵ O que, nos casos que analisamos - relatórios de 2000, 2003, 2006 - se aplica a todos os países estudados, com excepção da Escócia.

Bibliografía

1. Afonso, N., & Costa , E. (2009). "A influência do Programme for International Student Assessment (PISA) na decisão política em Portugal: o caso das políticas educativas do XVII Governo Constitucional Português". Sísifo. Revista de Ciências da Educação, 10: 53-64. Disponível em http://sisifo.fpce.ul.pt        [ Links ]

2. Berényi, E., & Neumann , E.[com Iván Bajomi & Júlia Vida ] (2009). "Competir com o PISA. Recepção e tradução no discurso político húngaro". Sísifo - Revista de Ciências da Educação, 10: 41-52. Disponível em http://sisifo.fpce.ul.pt.         [ Links ]

3. Bieber, T., & Martens, K. (2011). "The OECD PISA study as a soft power in education? Lessons from Switzerland and the US". European Journal of Education, 46(1), 101-116.         [ Links ]

4. Carvalho, L.M. (2014). "The attraction of mutual-surveillance of performances: PISA as a knowledgepolicy instrument". In T. Fenwick , J. Ozga & E. Mangez (eds.), World Yearbook of Education2014: Governing Knowledge: Comparison, Knowledge-based Technologies and Expertise in the Regulation of Education (58-72). Oxford: Routledge.         [ Links ]

5. Carvalho, L.M. & Costa , E. (2009). Production of OECD PISA. Final Report - Project KNOWandPOL, Orientation 3, WP 11,. Disponível em http://www.knowandpol.eu/        [ Links ]

6. Carvalho, L.M. & Costa , E. (2014). Seeing education with one's own' eyes and through PISA lenses (considerations on the reception of PISA in European countries). Discourse: Studies in the Cultural Politics of Education. Disponível em: http://www.tandfonline.com/doi/pdf/10.1080/01596306.2013.871449        [ Links ]

7. Carvalho, L.M., Costa , E. & Afonso , N. (2009) PISA - Fabrication, Circulation and Use in 6 European Countries: Integrative report, Project KNOWandPOL, WP 17. Online. Available at http://www.knowandpol.eu/        [ Links ]

8. Dobbins, M. & Martens , K. (2012) 'Towards an education approach à la finlandaise? French education policy after PISA', Journal of Education Policy, 27(1): 23-43.         [ Links ]

9. Ertl, H. (2006) 'Educational standards and the changing discourse on education: the reception and consequences of the PISA study in Germany', Oxford Review of Education, 32(5): 619 - 634.         [ Links ]

10. Greger, D. (2012) 'When PISA does not matter? The case of the Czech Republic and Germany', Human Affairs, 22 (1): 31-42.         [ Links ]

11. Grek, S. (2009). "Governing by numbers: the PISA effect". Journal of Education Policy, 24 (1), 23-37.         [ Links ]

12. Grek, S., Lawn, M. & Ozga , J. (2009). "O PISA e o debate das políticas na Escócia: As narrativas políticas sobre a participação escocesa na comparação internacional". Sísifo - Revista de Ciências da Educação, 10: 75-86.         [ Links ]

13. Gür, B.S., Çelik , Z. & özoğlu , M. (2012) 'Policy options for Turkey: a critique of the interpretation and utilization of PISA results in Turkey', Journal of Education Policy, 27(1): 1-21.         [ Links ]

14. Henry, M., Lingard , B., Rizvi , F. & Taylor , S. (2001). The OECD, Globalisation and Education Policy. Oxford: Pergamon Press.         [ Links ]

15. Kiss, A., Fejes , I., & Biró, Z. (2009). "Alguns aspectos e considerações sobre as avaliações do PISA na Roménia". Sísifo - Revista de Ciências da Educação, 10: 65-74. Disponível em http://sisifo.fpce.ul.pt.         [ Links ]

16. Mangez, E., & Cattonar , B. (2009). "A posição do PISA na relação entre a sociedade civil e o sector educativo na Bélgica francófona". Sísifo - Revista de Ciências da Educação, 10: 15-26. Consultado em 31 de Maio, 2010, em http://sisifo.fpce.ul.pt        [ Links ]

17. Mons, N., & Pons , X. (2009). "A Recepção do PISA em França: uma abordagem cognitiva do debate institucional (2001 - 2008)". Sísifo - Revista de Ciências da Educação, 10: 27-40. Disponível em http://sisifo.fpce.ul.pt.         [ Links ]

18. Nóvoa , A. & Yariv -Mashal , T. (2003). "Comparative research in education: a mode of governance or a historical journey". Comparative Education, 39(4): 423-438.         [ Links ]

19. OCDE (2011). Regards sur l'Éducation. Paris: OCDE.         [ Links ]

20. Pons, X. (2012) 'Going beyond the 'PISA shock' discourse: an analysis of the cognitive reception of PISA in six European countries, 2001-2008', European Educational Research Journal, 11(2): 206-226.         [ Links ]

21. Pons, X. & van Zanten , A. (2006). "Knowledge circulation, regulation and governance", in: B. Delvaux and E. Mangez (coord.), KNOWandPOL Literature Review.         [ Links ]

22. Rautalin, M. and Alasuutari , P. (2009) 'The uses of the national PISA results by Finnish officials in central government', Journal of Education Policy, 24(5): 539-556.         [ Links ]

23. Rinne, R., Kallo , J., & Hokka , S. (2004). "Too eager to comply? OECD education policies and the Finnish response". European Educational Research Journal, 3(2): 454-86.         [ Links ]

24. Rizvi, F. & Lingard , B. (2006). "Globalisation and the changing nature of the OECDs educational work". In H. Lauder , P. Brown, J.-A. Dillabough & A. Halse y (eds.), Education, Globalisation and Social Change (247-260). Oxford: Oxford University Press.         [ Links ]

25. Sellar, S. & Lingard , B. (2013) Looking East: Shanghai, PISA 2009 and the reconstitution of reference societies in the global education policy field. Comparative Education, 49(4): 464-485.         [ Links ]

26. Steiner -Khamsi, G., (2003). "The politics of league tables". OJSSE [Onlinejournal for Social Sciences and their Didactics], 1: 1-6.         [ Links ]

27. Steiner -Khamsi, G. (2012). "Understanding policy borrowing and lending: building comparative policy studies". In by G. Steiner -Khamsi and F. Waldow (eds.), World Yearbook of Education 2012: Policy Borrowing and Lending in Education (1-17). London: Routledge        [ Links ]

28. Takayama , K. (2008) 'The politics of international league tables: PISA in Japan's achievement crisis debate', Comparative Education, 44(4): 387-407.         [ Links ]