A política de avaliação da qualidade da educação superior brasileira: da proposta concebida à regulamentação implementada.

A IMPLEMENTAÇÃO DO SINAESE O CONCEITO ENADE, IDD, CPC E IGC

Na idéia original do CEA visava-se avaliar os estudantes em quatro áreas, podendo haver subdivisões em cada uma delas: a) ciências humanas, sociais, letras e artes; b) exatas; c) tecnológicas; d) biológicas e da saúde. Todavia o ENADE manteve a abordagem do ENC testando os cursos individualmente, distinguindo-se principalmente do Provão pela ênfase não estar exclusivamente no conteúdo, contemplando o currículo e temas atuais em forma de estudo de caso, situações-problema, simulacros e outros. A prova está composta por duas partes: formação geral e específica (VERHINE, DANTAS, 2005, p. 18).

Deste modo, algumas das características do ENC mantiveram-se no ENADE e ainda pode-se ressaltar: é um componente curricular obrigatório registrado no histórico acadêmico dos estudantes; os resultados individuais são disponibilizados somente para os alunos; os melhores desempenhos por área de conhecimento são premiados com bolsas de estudos;3 simultaneamente ao exame são levantados dados referentes à prova, ao aluno, ao curso e à instituição; e está prevista a expansão gradativa do exame (VERHINE, DANTAS, 2005, p. 18).

Os estudos sobre avaliação de Barreyro e Rothen (2006) destacam importantes diferenças entre a proposta elaborada pelo CEA e a sua concretização na Lei que instituiu o SINAES, conforme a tabela:

TABELA 3: QUADRO COMPARATIVO ENTRE AS DIRETRIZES DA PROPOSTA DO CEA E A LEI INSTITUIDORA DO SINAES

FONTE: Elaborado pelo próprio autor com base em Barreyro e Rothen (2006).

Desde 2004 os resultados do ENADE permitiram a elaboração dos indicadores denominados de conceito ENADE e do conceito IDD (Indicador de Diferença entre os Desempenhos Observados e Esperados), ambos pontuados pela escala padrão do SINAES, ou seja, de 1 a 5. O conceito do curso no ENADE é calculado a partir da média ponderada da nota padronizada da seguinte maneira: concluintes no componente específico com o peso de 60%; ingressantes no componente específico com o peso de 15%; e ingressantes em formação geral com o peso de 25%. Já o IDD é um conceito comparativo gerado a partir do IDD Índice (com escala de -3 até +3). A nota técnica do INEP define que seu objetivo é:

trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso.

O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes (INEP, 2008).

Assine a nossa newsletter! Seja o primeiro a receber nossas novidades exclusivas e recentes diretamente em sua caixa de entrada.

Inscrever

O ENADE por levar em consideração a média geral e a média de cada curso pode ser considerado uma competição entre as IES, pois o desempenho de cada uma interfere na totalidade, assim sendo na atribuição de notas e de conceitos.

O ENADE pode ser considerado uma “competição” onde todos os cursos, independentemente das condições iniciais, são avaliados de igual maneira, em uma versão modificada do procedimento adotado pelo Provão. O conceito IDD, por sua vez, apresentou um método de avaliação inovador, visando a equalizar a competição ao atribuir uma vantagem competitiva àqueles cursos com condições iniciais desfavoráveis, tendo sido bem-sucedido no seu intento. Ainda que a criação do IDD tenha sido um dos pontos destacados como positivos do ENADE, há muitas ressalvas, por parte das IES, com relação à divulgação dos resultados na mídia. Como o INEP divulga os dois conceitos simultaneamente, as IES têm utilizado os que mais lhes convêm, identificando-se uma preferência pelo conceito ENADE, o que provavelmente pode ser ocasionado pela sua semelhança metodológica com o Provão. A metodologia mais complexa do IDD pode estar refletindo negativamente na sua menor divulgação (BITTENCOURT, 2008, p. 261).

Com base no ENADE e após a avaliação in loco seria atribuído um conceito ao curso, porém o MEC com a publicação da Portaria Normativa nº 4, de 5 de agosto de 2008, oficializou o Conceito Preliminar de Cursos (CPC) um indicador de qualidade do curso. Sua notação segue a metodologia estabelecida pelo SINAES. Porém como o próprio nome diz é nota inicial (preliminar) que orienta a avaliação do curso in loco, destaca-se que somente após a realização da avaliação do curso que será determinado o conceito final. O CPC veio ao encontro da regulamentação contida na Portaria Normativa nº 40, de 12 de dezembro de 2007, que definia a suspensão da avaliação in loco para os cursos com conceito de curso superior a 3 e obrigatoriedade para os cursos com nota inferior (1 e 2) para a renovação do reconhecimento. No mesmo momento de lançamento do CPC foi apresentado o IGC (Índice Geral de Cursos) que serve como base para a realização da avaliação externa, o indicador de qualidade da IES é descrito nestes termos pelo INEP:

é uma média ponderada dos conceitos dos cursos de graduação e pós-graduação da instituição. Para ponderar os conceitos, utiliza-se a distribuição dos alunos da IES entre os diferentes níveis de ensino (graduação, mestrado e doutorado). O IGC será utilizado, entre outros elementos e instrumentos, como referencial orientador das comissões de avaliação institucional (INEP, 2008, p. 1).

Todavia uma série de questões vêm sendo levantadas sobre os indicadores do ENADE. Situação que coloca em xeque as diretrizes estabelecidas pela CONAES e, ainda, a própria eficácia das políticas estabelecidas no SINAES. Ressalta-se o seminário promovido pela Associação Brasileira de Mantenedores do Ensino Superior (ABMES) sobre os indicadores de qualidade do ENADE que ocorreu em Brasília no dia 9 de setembro de 2008. Neste evento os membros da ABMES tiveram a oportunidade de levantar questionamentos diretamente ao presidente do INEP que foi convidado como palestrante. Neste momento foi explicado por Reynaldo Fernandes (2008) que o ENADE no SINAES subsidia a avaliação dos cursos e das IES. Porém sua função se distingue conforme o público de interesse nos resultados da avaliação:

TABELA 4: PÚBLICO ALVO E FUNÇÃO DOS INDICADORES DO ENADE SEGUNDO O INEP

FONTE: Elaborado pelo próprio autor com base em FERNANDES (2008).

Fernandes (2008) defende que o ENADE é um indicador de resultado, pois só classifica; o IDD é um indicador de valor adicionado, tem fins formativos, compara os estudantes iguais por instituição e área. Ambos possuem instrumentos rígidos e são normatizados, porém o CPC é um indicador que se diferencia dos outros dois por duas características: 1) o instrumento é flexível, trata-se da visita in loco; 2) o conceito não é normatizado, pois são critérios observados pelo avaliador na IES. O CPC pretende ser um indicador de critério, ou seja, para notas iguais ou superiores a três atende ao requisito para o funcionamento e serão considerados cursos de excelência os que obtiverem notas cinco. Já os cursos com notas inferiores não atenderam ao critério de qualidade e precisam de intervenção, assim sendo o CPC é indicador de qualidade com fim regulatório (FERNANDES, 2008). Resultando numa concepção muito distinta da elaborada pelo CEA na proposta do SINAES.Ponderando sobre as vantagens e desvantagens do CPC, aponta-se um grande ponto positivo no seu instrumento, pois nada substitui a percepção do avaliador in loco; nenhum indicador estatístico é capaz de mensurar ou perceber algumas qualidades. Porém o antigo método para a operacionalização da avaliação apresentava dois sérios problemas: o primeiro diz respeito à falta de homogeneização dos resultados da avaliação in loco, pois depende da percepção de cada avaliador que não está explícito; o segundo trata-se do grande universo a ser avaliado não compatível com a estrutura do INEP.

Estes são os dois problemas que justificaram a criação do CPC, garantindo a operacionalização e orientação do processo de realização da avaliação in loco. Os cursos que obtiveram notas satisfatórias ganharam o direito de abrir mão da visita, não manifestando o interesse pela a avaliação in loco a nota do CPC se torna definitiva. A prioridade foi dirigida para os cursos que indicavam sinais de deficiências, ou seja, os cursos com notas inferiores a 3 são obrigados a passar pelo processo de avaliação in loco para a verificação da qualidade e lançamento da nota definitiva para o indicador. Este procedimento viabilizou a execução da avaliação, pois o número de IES teve uma redução significativa. Cita-se como exemplo a indicação dos CPC de 2208 cursos calculados pelo ENADE 2007, em que aproximadamente 25% dos cursos possuem qualidade duvidosa, ou seja, somente508 cursos serão avaliados in loco. Com o CPC também foi possível garantir uma melhor homogeneização dos resultados do processo de avaliação in loco, pois uma análise da discrepância entre os resultados preliminar e final podem ser observados e identificados, garantindo um nível melhor de detalhamento do processo avaliativo e evitando um procedimento complacente por parte do avaliador. A obtenção do CPC é alcançada por meio da junção de três variáveis: 1) insumos – peso de 30%; 1 ENADE – 40% e IDD – 30% (INEP, 2008).

Especificamente a variável insumos refere-se as informações sobre a infra-estrutura e as instalações físicas, os recursos didático-pedagógicos e o corpo docente oferecidos pelo curso. Estas informações são coletadas pelos questionários e cadastros respondidos pelos alunos e coordenadores de curso durante o ENADE, estando composta da seguinte maneira na nota técnica do INEP:

TABELA 5: COMPOSIÇÃO DA VARIÁVEL INSUMO

FONTE: INEP, 2008

O principal problema do CPC é que se tornou um indicador de qualidade regulatório, pois determina ou não o funcionamento do curso, mesmo que sua composição tenha sido realizada de maneira arbitrária. Não existe uma razão plausível na determinação das porcentagens peso das variáveis. Outro fator para se contestar é o motivo da consideração quase que exclusiva no aluno (seu desempenho e sua opinião chegam a pesar 80% da nota, os 20% restante do peso correspondem ao corpo docente do curso). Esta situação regulatória está em desacordo com o SINAES. Destaca-se que o artigo 2º da Lei nº 10.861 descreve:

O SINAES, ao promover a avaliação de instituições, de cursos e de desempenho dos estudantes, deverá assegurar:

I - avaliação institucional, interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos;

II - o caráter público de todos os procedimentos, dados e resultados dos processos avaliativos;

III - o respeito à identidade e à diversidade de instituições e de cursos;

IV - a participação do corpo discente, docente e técnico-administrativo das instituições de educação superior, e da sociedade civil, por meio de suas representações.

Parágrafo único. Os resultados da avaliação referida no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação.

A aplicação da política de avaliação da qualidade educacional vem tomando o ENADE como único referencial para o processo de regulação e supervisão da educação superior, esquecendo-se da sua característica principal que é de possuir um caráter sistêmico. A implantação da política desconsidera a visão estrutural da avaliação e implanta três avaliações distintas, de curso, da IES e, principalmente, a dos alunos. Por isso parece oportuno e necessário destacar as diretrizes da CONAES quando ressalta as finalidades essenciais da avaliação no SINAES:

o SINAES recupera também as finalidades essenciais da avaliação:

Ultrapassa a simples preocupação com desempenhos ou rendimentos estudantis, buscando os significados mais amplos da formação profissional.

Explicita a responsabilidade social da educação superior, especialmente quanto ao avanço da ciência, à formação da cidadania e ao aprofundamento dos valores democráticos.

Supera meras verificações e mensurações, destacando os significados das atividades institucionais, não apenas do ponto de vista acadêmico, mas também quanto aos impactos sociais, econômicos, culturais e políticos.

Aprofunda a idéia da responsabilidade social no desenvolvimento da IES, operando como processo de construção, com participação acadêmica e social, e não como instrumento de checagem e cobrança individual.

Valoriza a solidariedade e a cooperação e não a competitividade e o sucesso individual (CONAES, 2004, p. 8).

Assim sendo pode ser observada certa discrepância existente entre “o ser” e “o deve ser” da política pública executada pelo Estado. Tomando como partida a política de avaliação proposta pelo CEA, a Lei do SINAES e as diretrizes do CONAES e comparando com a efetiva realização é possível perceber os caminhos incertos das políticas públicas de avaliação no sentido de efetiva realização do escopo de melhoria da qualidade da educação superior no Brasil.

TABELA 6: CRONOLOGIA DA IMPLANTAÇÃO DA POLÍTICA DO SINAES (2003-2011)

FONTE: Elaborado pelo próprio autor.