A obra é resultado do evento Ciclo de Debates – 25 anos de avaliação de sistemas educacionais no Brasil, ocorrido na Fundação Carlos Chagas, durante o ano de 2012, que reuniu acadêmicos com o objetivo de analisar as questões mais pertinentes a respeito dos sistemas educacionais e das políticas públicas. O título da obra, organizada por Adriana Bauer, Bernadete Gatti e Marialva Tavares, é instigador e gerador de inquietações a respeito da periodização da história recente da avaliação de sistemas no Brasil. Para chegar aos 25 anos, os organizadores partem do anos de 1988, com a proposição do Sistema Nacional de Avaliação do Ensino Público de Primeiro Grau, o SAEP, o qual, como aponta Bauer em sua introdução, lançou as bases para uma política de avaliação federal mais abrangente e que, atualmente, atinge os diversos níveis de ensino, da Educação Básica à Pós-Graduação. O título se torna polêmico visto que se constata que a Associação Brasileira de Avaliação Educacional, a ABAVE, inicialmente tinha batizado a reunião de 2015 como “20 anos de avaliações em larga escala: aprendizados e tendências”, porém, neste sentido, é importante questionar se, de fato, se trata de vinte cinco anos, tomando como referência 1988, ou se não seriam apenas vinte anos, tomando como referência 1995, ano em que, conforme Bonamino e Sousa (2012, p. 376), “foram introduzidas inovações metodológicas em seu desenho, as quais consolidaram sua configuração atual”. Neste sentido, pergunta-se: porque essa diferença nas datas e na periodização da historia recente da avaliação da educação básica no Brasil? Não se trata de uma simples discussão da exatidão de uma data, uma vez que, adotando-se como referencial os vinte anos se secundariza todo um processo de construção do campo da avaliação de sistemas que acenava para a predominância do caráter diagnóstico da avaliação, ganhando centralidade a avaliação para o monitoramento do desempenho escolar nos sistemas educacionais, servindo de base para a implantação de políticas meritocráticas de responsabilização.
O livro é dividido em três partes, as quais apresentam perspectivas epistemológicas bastante diversas, a primeira apresenta origens, pressupostos e aspectos técnicos-metodológicos da Avaliação de Sistemas de Educação. Nesta parte se encontram os textos de Juan Cassaus, no qual o autor expõe, de forma bastante metafórica, sua crítica a respeito da meta-análise; em seguida, Bernadete Gatti de forma bastante rotunda, retoma as fundações de avaliação em larga escala, a criticar o papel dos educadores frente aos resultados avaliativos; no terceiro texto, Dirce Nei Teixeira de Freitas analisa a violação do Pacto Federativo, na medida em que o Governo Federal se sobrepõe aos Estaduais e Municipais nos repasses de verbas públicas; na sequência, Ruben Klein rememora a equivocada preocupação com a evasão escolar no início da década de 1990, o que, posteriormente, se entendeu que tratava de um problema de aprendizagem; por fim, no último artigo da primeira parte, Maria Inês de Sá Pestana retoma a questão trazida por Klein, a respeito das políticas de expansão da rede de ensino. De outra banda, a segunda parte tem como objetivo aprofundar o debate e contempla apenas o trabalho de três pesquisadores: Maria Angélica Minhoto, a qual indica os fatores econômicos como principais catalizadores dos problemas educacionais; João Luiz Horta Neto, no segundo texto, traça uma análise crítica do Índice de Desenvolvimento da Educação Básica, o IDEB, no que tange seus aspectos técnicos e políticos; por derradeiro, Maria Alba de Souza propõe uma discussão sobre o uso dos resultados da avaliação externa da escola. A terceira parte, e última, representa as considerações finais apresentadas por Adriana Bauer, a qual objetiva traçar um vértice com base nos debates anteriormente proferidos.
O primeiro capítulo, Política y metáforas: un análises de la evolución estandarizada en el contexto de la política educativa, de autoria de Juan Casassus, doutor em economia da educação e professor da Universidade Metropolitana de Ciências da Educação, ganha relevância pela crítica radical à avaliação estandardizada e sua expansão em âmbito internacional, adquirindo contornos negativos, na medida em que o autor critica e denuncia a sua suposta neutralidade, sua objetividade e seu caráter descontextualizado, que teoricamente poderia, ou deveria, ser aplicada em distintos contextos. Para o autor, essa modalidade de avaliação é reflexo das orientações das agências multilaterais que estimulam uma política de prestação de contas, baseada em evidências empíricas, na técnica, na racionalidade, e na própria ciência, a partir da qual se legitimariam as boas práticas. Sua crítica se acentua ao retomar o taylorismo aplicado à educação, que seria a base da avaliação estandardizada, na qual o autor cita a velha metáfora da fábrica, no que se refere à produção industrial, em alusão à educação: a escola seria uma planta, os alunos seriam a matéria-prima, os professores seriam os trabalhadores e os gestores seriam seus administradores. A impressão que fica para o leitor é que nesse cenário os professores são os elementos explorados no sistema capitalista, enquanto os alunos se apresentariam como meros espectadores deste teatro nefasto. Tendo em vista que o autor enumera alguns efeitos negativos da padronização na garantia da educação, dentro os quais poderiam ser destacados a redução do conteúdo de aprendizagem, que no exemplo brasileiro se reduziria às disciplinas de português e matemática, a desnacionalização da educação nacional e a convergência política em um nível internacional, na crítica do autor é possível identificar que o problema da avaliação estandarizada não está ligada à política, na realidade é sua opacidade, suas verdadeiras causas não são acentuadas.
No segundo capítulo, Possibilidades e fundamentos de avaliação em larga escala: primórdios e perspectivas contemporâneas, Bernadete Gatti, doutora em psicologia e pesquisadora da Fundação Carlos Chagas, traça, em uma perspectiva histórica, uma evolução crítica a respeito das avaliações em larga escala ocorridas no Brasil. Com riqueza de detalhes, a autor rememora e registra fatos importantes para a construção da trajetória da avaliação da educação no Brasil, dos quais chama a atenção quando afirma que a primeira experiência de avaliação de sistemas foi na Secretaria Municipal de Educação da cidade de São Paulo, nos primeiro anos da década de 1980; a autora também afirma que a Teoria de Resposta ao Item, a TRI, foi aplicada de forma pioneira no mesmo estado, por meio de uma parceria entre o governo e a Fundação Carlos Chagas; outrossim, quando se implantou o TRI no SAEB, a Fundação Carlos Chagas foi a primeira em discutir com a presidência do INEP sobre a importância de sua adoção, vindo posteriormente a equipe da Fundação Cesgranrio. Por fim, a autora também menciona sobre todas as experiências realizadas até a criação do SAEB, potencializando a avaliação diagnóstica. No texto fica evidente o desconforto da autora ao abordar os rumos da avaliação do sistema na Educação. Gatti encerra sua explanação asseverando sobre a importância de refletir sobre os objetivos e os impactos de qualquer instrumento de avaliação em larga escala, cujas consequências abarcam questões pessoais, institucionais e sociais, o que, de certa forma, poderia representar a crítica de qualquer instrumento de avaliação. Ademais, enfatiza que, pelo atual contexto avaliativo, “o dado fica como provocador, supondo-se, parece, que cada escola, cada rede, se 'vire' para atingir metas teóricas propostas” (GATTI, 2013, p. 59). Em suma, pode-se ressaltar a crítica da autora em relação à perspectiva produtivista e o modelo gerencialista que passa a modelar as reformar educacionais, com foco apenas nos resultados de rendimento escolar dos alunos. Sendo assim, como ressalta de forma bastante enfática seu desconforto sobre o rumos da avaliação do sistema na Educação, assevera Gatti, os pesquisadores em educação precisam se voltar mais ao estudo e à discussão das avaliações externas em larga escala, quer tanto aos aspectos relativos às políticas e ações educacionais, quer quanto aos aspectos teóricos e aos procedimentos implementados, à luz de uma perspectiva também pedagógica.
O terceiro capítulo, Avaliação da Educação básica no Brasil: características e pressupostos, de Dirce Nei Teixeira de Freitas, doutora em educação e professora da Universidade Federal da Grande Dourados, analisa o cenário da avaliação básica brasileira nas últimas décadas, por meio de documentos oficiais divulgados no site do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, o INEP, e do Ministério da Educação. O artigo de Freitas se complementa tanto com o texto de Gatti quanto com o de Casassus, na medida em que, enquanto Gatti apresenta uma trajetória da avaliação de sistemas, complementar e esclarecedora, Cassassus assume um discurso uníssono, sobretudo ao criticar a perspectiva padronizada de avaliação vigente e sua neutralidade frente aos resultados, o que, de certa forma, encontra arrimo em Gatti. Dentre as críticas trazidas por Freitas e que, de forma menos enfática, trazem relação com Casassus e Gatti: primeiramente sobre a padronização da qualidade, sem a devida preocupação com políticas públicas; em segundo lugar também é possível apontar a questão da fragilidade nas avaliações externas confiáveis e, em consequência, sem considerar o envoldimento de quem é avaliado; outrossim, a centralização de informações educacionais pode ser fonte de poder de grupos especializados. A autora, então, concluem que a ação avaliativa federal mostra aderência à ótica que propugna a propriedade da eficácia e da eficiência do gerenciamento dos sistemas educacionais. Neste sentido, é possível asseverar que tal perspectiva é muito positiva, porque as gestões devem ser centralizadas através de suas gestões de políticas públicas. Por fim, sobre a crítica da questão do Pacto Federativo, conforme já mencionado, cada ente deveria pensar isoladamente em suas políticas públicas, porém, qualquer ação se torna custosa, na medida em que os governos estaduais e municipais dependem do repasse dos recursos federais, por meio dessa relação vertical e centralizada, em uma clara violação ao princípio da autonomia dos entes federativos.
Até aqui, pois, é possível observar uma estrita relação epistemológica no discurso de Casassus, Gatti e Freitas; todavia, tal fluxo é abruptamente quebrada pelo texto de Ruben Klein, o qual, distante de questionar as estruturas existentes, opta por discutir estratégias de aprimoramento e aspectos técnicos da avaliação de sistema. Neste diapasão, o quarto capítulo, intitulado Aspectos metodológicos e técnicos: delineamentos assumidos nas avaliações, limites e perspectivas de aprimoramento, do doutor em matemática e consultor da Fundação Cesgranrio, critica o fato de que até a década de 1980 a preocupação era construir escolar e ampliar a rede pública, para incluir as crianças que não tinham acesso à educação. Contudo, na década de 1990 o enfoque se torna técnico, na tentativa de poder gerenciar as redes para atingir os resultados, por meio do repasse de capital aos municípios com base na porcentagem de alunos matriculados. A preocupação, pois, era a evasão escolar, entretanto, ao final da mesma década se descobriu que o problema, na verdade era a repetência, apontando para um problema de aprendizagem – “a taxa de repetência na 1a série do Ensino Fundamental em 1990, era de cerca de 50% enquanto a taxa média de repetência de 35%, um absurdo” (KLEIN, 2013, p. 97). Após este período, a preocupação foi mensurar sua aprendizagem e se pensar como melhorar a qualidade da educação e, até hoje, o foco continua dentro da escola, na aprendizagem escolar. Desta forma, por meio de tabelas e fórmulas matemáticas o autor demonstra que, ao contrário do que demonstravam as avaliações anteriores, o grande equívoco dos instrumentos estava no fato de ignorar a idade máxima de conclusão dos cursos, o que comprovaria que uma certa quantidade de crianças não estava frequentando a escola. Foi somente por meio do SAEB que se evoluiu na amostragem censitária, abarcando escolas municipais, estaduais e federais, urbanas e rurais. O autor, porém, ressalta que o SAEB e a Prova Brasil precisam de duas importantes expansões, quais sejam, avaliar se os alunos estão sendo alfabetizados em língua portuguesa e em matemática e a inclusão da disciplina de ciências a ser avaliada a partir do quarto ano.
Encerrando a primeira parte, o capítulo A experiência em avaliação de sistemas educacionais, em que avançamos?, de Maria Inês Gomes de Sá Pestana, mestre em educação e ex-Diretora de Estatísticas Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais, o INEP, retoma o cenário das políticas públicas em educação das últimas décadas e desenvolve crítica a respeito dos diferentes sistemas adotados, a demonstrar, sobretudo, suas fragilidades. Em um discurso epistemologicamente muito próximo a Klein, a autora afirma que na década de 1980 e 1990 foi um período de política voltada para a expansão do atendimento, tendo como critério básico a formulação, planejamento e execução, de modo que não havia dados confiáveis para tal aferição. Inicialmente, a autora analisa os diversos modelos de avaliação por meio de dois enfoques: o produto; e o contexto, processo e insumos, o primeiro representando o eixo da universalização com qualidade e o segundo dividindo-se em valorização do magistério e gestão educacional. Em um segundo momento, muito semelhante ao argumento de Freitas, a autora delimita os principais objetivos de cada um dos ciclos de sistemas nacionais de avaliação, de 1990 a 2011, passando pelo SAEP, SAEB e culminando no Prova Brasil. Em seguida menciona que o significado do sistema de avaliação e dos consequentes usos dados às informações por ele geradas é aspecto de grande polêmica. Parte dos especialistas considera que tais sistemas são funcionais, outros, todavia, defendem que são padronizadores e homogeneizadores. Em defesa da importância e necessidade de implementação dos instrumentos de avaliação, em ressonância à Klein, aponta também a autora que o exame da experiência de disseminação do SAEB/Prova Brasil mostra que embora haja uma estrutura básica de disseminação já estabelecida, ainda há muito por realizar. Pestana ainda critica a publicidade das informações obtidas por meio dos resultados de tais avaliadores, todos eles disponíveis ao público por meio virtual, uma vez que a disseminação de informações deve ser socialmente referenciada e apresentar qualidade técnica, fazendo com que ela cumpra seu requisito de inovar e diversificar a disseminação. Neste sentido, é possível fazer um paralelo com o argumento defendido por Freitas, de que a disseminação dos resultados de avaliações de larga escala gera a competitividade e podem ser usados como arma política em favor de articulações eleitoreiras. Todavia, a população, sobretudo os avaliados, tem o direito de ter acesso a tais informações, inclusive para reivindicar implementações do setor público.
Dando início a segunda parte da obra, Aprofundando o debate, inicia-se com o texto de Maria Angélica Pedra Minhoto, doutora em educação e professora da UNIFESP, com o capítulo Notas sobre a avaliação da qualidade de sistemas educacionais, em que dá continuidade à questão trazida por Ruben Klein sobre a aferição de taxas de conclusão e movimentação escolar. A autora lembra que, em 1966, James Coleman foi subsidiado pelo governo estadunidense para conduzir um mapeamento e verificar em que medida as diferenças de origem social, etnia, religião afetariam as oportunidades educacionais naquele país. Os resultados apontaram que as diferenças de desempenho eram explicadas mais por fatores socioeconômicos do que por influência do trabalho realizado na escola. A partir de 1980, segundo Minhoto, surgiu uma nova vertente de pesquisadores, incomodada com o pessimismo pedagógico resultante dos dados que mostravam a escola como instituição eminentemente reprodutora das desigualdades sociais. Outros pesquisadores, contudo, dessa nova vertente direcionaram o foco de análise para as interações sociais ocorridas no interior das salas de aula e identificaram o que passou a ser chamado de currículo oculto. Neste sentido, completa dizendo que se a educação é um importante veículo de reprodução social entre gerações, como mostraram os diagnósticos feitos na década de 1970, ela é também uma das peças-chave para a promoção de mobilidade social. Esta afirmação, em aderência à tese de Pestana e Klein, ressalta a importância do Estado como protagonista na supervisão dos sistemas educacionais, os quais possam proporcionar e distribuir equitativamente o conhecimento e o aprendizado entre os jovens, sem distinções por situação econômica, social, ética e de gênero.
No segundo capítulo desta parte, se encontra o texto de João Luiz Horta Neto, pesquisador do Instituto Nacional de Estudos e Pesquisas Educacionais, o INEP, e professor do Instituto Superior de Brasília, o IESB, intitulado IDEB: limitações de usos do indicador, o qual tem como objetivo analisar as limitações de caráter técnico e político do IDEB e alguns dos usos que se fazem desse indicador no direcionamento de políticas sociais na área da educação. Segundo o autor, o primeiro indicador, o Índice de Qualidade Educacional, o IQE, foi apresentado em 2004 e referia-se apenas ao ensino fundamental. Por sua proposta, o indicador seria formado por três parcelas: o componente de atendimento escolar, o CAE; o relacionado à taxa de atendimento escolar; o componente de adequação idade série, o CAIS, relacionado à taxa de distorção ideia e série; e o componente de desempenho educacional, o CDE, relacionado ao desempenho dos alunos em matemática e língua portuguesa. O IDEB foi apresentado três anos depois, em 2007, e é definido pelo governo federal, conforme ressalta o autor, com a meta de que alcance o valor de 6,0 – sendo que pode variar de 0,0 a 10,0 – em 2020. Para Horta, com relação às limitações técnicas, como as proficiências entram no cálculo do IDEB, seu desempenho se torna superior em matemática do que em leitura, algo que testes como PISA não confirmam. Sendo assim, é possível afirmar que para o autor, os pobres não estão fadados ao fracasso, mas que, sem políticas sociais que permitam compensar os efeitos negativos da pobreza, os ganhos na aprendizagem tendem sempre a ser baixos. Longe de sugerir o abandono do IDEB, em discurso semelhante à Pestana, afirma que o indicador aponta para uma importante ferramenta de monitoramento aos avanços educacionais no país, o texto objetivou abrir caminho para resgatar alguns dos antigos e importantes princípios que estão envolvidos na busca necessária de uma educação de qualidade. Logo, é necessário distinguir claramenta a avaliação de sistemas, da institucional e da sala de aula.
No terceiro capítulo, O uso dos resultados da avaliação externa da escola: relação entre os resultados da avaliação e a avaliação interna dos alunos, Maria Alba Souza, mestre em educação e pesquisadora do Instituto Avaliar, discute questões operacionais avaliando aspectos técnicos e pedagógicos, realizando uma reflexão sobre os resultados de uma avaliação externa, com o objetivo de verificar o uso de suas informações, enfatizando sua articulação com a gestão pedagógica da instituição. Segundo a autora, entender os processos avaliativos, aprender como usar a informação proveniente da avaliação é condição para melhorar o sistema educacional. Contudo, existe outro aspecto crítico que influencia a possibilidade desse uso, que é o fato de haver um intervalo entre a aplicação da avaliação e a disponibilidade dos resultados para o seu uso. Por este motivo, fica a percepção de que esse uso não é importante. Esse é o período mais vulnerável da avaliação e, superar essa vulnerabilidade, é necessário para abrir espaço a um novo olhar para a educação no Brasil. Souza, então, conclui que os traumas provenientes de desempenhos não suficientes do sistema educacional, que se repetem por anos, não foram satisfatoriamente superados e continuam marcando nossa comunidade escolar e a sociedade como um todo e, talvez, demorarão ainda algumas gestões e muito esforço em conjunto para se perderem no passado.
In fine, a última parte da obra corresponde às considerações finais, cujo texto, Sistematizando o debate: limites, desafios e possibilidades das avaliações de sistemas educacionais, foi desenvolvido também por Adriana Bauer, com o objetivo de sintetizar as informações disponíveis, transcritas após os debates, esperando que novas discussões em torno da avaliação de sistemas educacionais possam se desenvolver por meio das questões trabalhas durante o Ciclo. Neste os temas mais recorrentes apontados pela autora, citam-se: as funções e objetivos das avaliações educacionais e de sistemas de ensino, a cultura de avaliação, a relação entre avaliação externa e currículo, os usos dos resultados das avaliações, a diferenciação entre medida e avaliação e o IDEB. Bauer também aponta, enquanto possível convergência, a conclusão de que seria interessante que se avaliasse no sentido de propor novas formas de avaliação, com diferentes conteúdos ou, ainda, desenhos metodológicos que avaliassem séries diferentes das avaliadas pelo sistema federal de avaliação. Sobre as divergências apresentadas entre os debatedores, poderia mencionar com maior relevância a questão da padronização dos currículos, estabelecida diretamente pela avaliação ou pelos materiais didáticos disponíveis, e também a discussão relativa à legitimidade política e técnica de alguns usos dos resultados dos alunos nas avaliações, como definição do futuro do aluno no sistema. A autora, em suma, assevera sobre sua esperança com o legado do Ciclo, no sentido de reafirmar preocupações e questões fundamentais que comumente pautam as discussões sobre avaliação de sistemas educacionais e de larga escala. Destarte, a acurada síntese realizada por Bauer é, sem dúvida alguma, um irrecusável convite para se debruçar na leitura do segundo volume da obra, contendo importantes pesquisadores da área, como Manuel Palácios da Cunha e Melo, Alicia de Bonamino, Sandra Zákia Sousa, Elba Siqueira de Sá Barreto, Nigel Brooke, Luiz Carlos de Freitas, Jefferson Mainardes, Flavia Obino Corrêa Werle, Álvaro Moreira Hypólito e Lucíola Licínio Santos.
REFERÊNCIAS
BONAMINO, Alicia; SOUSA, Sandra Sákia. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. In Educação e Pesquisa, v. 38, n. 2, p. 373-388, abr./jun., 2012.