Artigo Destaque dos editores

A política de avaliação da qualidade da educação superior brasileira: da proposta concebida à regulamentação implementada.

Um estudo dos resultados do exame da OAB e do Enade para os cursos de bacharelado em Direito

Exibindo página 2 de 4
28/09/2012 às 09:20
Leia nesta página:

A IMPLEMENTAÇÃO DO SINAESE O CONCEITO ENADE, IDD, CPC E IGC

Na idéia original do CEA visava-se avaliar os estudantes em quatro áreas, podendo haver subdivisões em cada uma delas: a) ciências humanas, sociais, letras e artes; b) exatas; c) tecnológicas; d) biológicas e da saúde. Todavia o ENADE manteve a abordagem do ENC testando os cursos individualmente, distinguindo-se principalmente do Provão pela ênfase não estar exclusivamente no conteúdo, contemplando o currículo e temas atuais em forma de estudo de caso, situações-problema, simulacros e outros. A prova está composta por duas partes: formação geral e específica (VERHINE, DANTAS, 2005, p. 18).

Deste modo, algumas das características do ENC mantiveram-se no ENADE e ainda pode-se ressaltar: é um componente curricular obrigatório registrado no histórico acadêmico dos estudantes; os resultados individuais são disponibilizados somente para os alunos; os melhores desempenhos por área de conhecimento são premiados com bolsas de estudos;3 simultaneamente ao exame são levantados dados referentes à prova, ao aluno, ao curso e à instituição; e está prevista a expansão gradativa do exame (VERHINE, DANTAS, 2005, p. 18).

Os estudos sobre avaliação de Barreyro e Rothen (2006) destacam importantes diferenças entre a proposta elaborada pelo CEA e a sua concretização na Lei que instituiu o SINAES, conforme a tabela:

TABELA 3: QUADRO COMPARATIVO ENTRE AS DIRETRIZES DA PROPOSTA DO CEA E A LEI INSTITUIDORA DO SINAES

PROPOSTA DO CEA

LEI DO SINAES

1) a função é emancipatória

1) a função é controladora

2) a responsabilidade é da comunidade interna da IES

2) a responsabilidade é dos órgãos estatais

3) o coordenador SINAES e executor das avaliações é a CONAES

3) o coordenador do SINAES é a CONAES e o executor é o INEP

4) divulgação era realizada pela CONAES

4) divulgação realizada pelo MEC

5) CONAES era uma agência executiva (oferecia apoio técnico às IES, realizava a articulação entre os instrumentos e analisa os resultados globais)

5) CONAES transformou-se em uma agência consultiva

6) avaliação para subsidiar as políticas para a educação

6) avaliar a educação para “orientar a expansão de sua oferta” (art.1)

7) foco nas IES, sendo a avaliação de cursos e o PAIDEIA apresentados como instrumentos subsidiários da avaliação institucional

7) o resultado da avaliação é o conjunto de três eixos avaliados separadamente: IES, curso e desempenho dos alunos

8) o PAIDEA orientava os processos de auto-avaliação e avaliação institucional interna e externa

8) o ENADE é um dos três componentes da avaliação das IES; busca avaliar o processo de aprendizagem

9) propunha uma divulgação de resultados apontando os pontos fortes e fracos da IES

9) determina a notação de cinco conceitos numerados de 1 a 5 para as IES, curso e ENADE

FONTE: Elaborado pelo próprio autor com base em Barreyro e Rothen (2006).

Desde 2004 os resultados do ENADE permitiram a elaboração dos indicadores denominados de conceito ENADE e do conceito IDD (Indicador de Diferença entre os Desempenhos Observados e Esperados), ambos pontuados pela escala padrão do SINAES, ou seja, de 1 a 5. O conceito do curso no ENADE é calculado a partir da média ponderada da nota padronizada da seguinte maneira: concluintes no componente específico com o peso de 60%; ingressantes no componente específico com o peso de 15%; e ingressantes em formação geral com o peso de 25%. Já o IDD é um conceito comparativo gerado a partir do IDD Índice (com escala de -3 até +3). A nota técnica do INEP define que seu objetivo é:

trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso.

O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes (INEP, 2008).

O ENADE por levar em consideração a média geral e a média de cada curso pode ser considerado uma competição entre as IES, pois o desempenho de cada uma interfere na totalidade, assim sendo na atribuição de notas e de conceitos.

O ENADE pode ser considerado uma “competição” onde todos os cursos, independentemente das condições iniciais, são avaliados de igual maneira, em uma versão modificada do procedimento adotado pelo Provão. O conceito IDD, por sua vez, apresentou um método de avaliação inovador, visando a equalizar a competição ao atribuir uma vantagem competitiva àqueles cursos com condições iniciais desfavoráveis, tendo sido bem-sucedido no seu intento. Ainda que a criação do IDD tenha sido um dos pontos destacados como positivos do ENADE, há muitas ressalvas, por parte das IES, com relação à divulgação dos resultados na mídia. Como o INEP divulga os dois conceitos simultaneamente, as IES têm utilizado os que mais lhes convêm, identificando-se uma preferência pelo conceito ENADE, o que provavelmente pode ser ocasionado pela sua semelhança metodológica com o Provão. A metodologia mais complexa do IDD pode estar refletindo negativamente na sua menor divulgação (BITTENCOURT, 2008, p. 261).

Com base no ENADE e após a avaliação in loco seria atribuído um conceito ao curso, porém o MEC com a publicação da Portaria Normativa nº 4, de 5 de agosto de 2008, oficializou o Conceito Preliminar de Cursos (CPC) um indicador de qualidade do curso. Sua notação segue a metodologia estabelecida pelo SINAES. Porém como o próprio nome diz é nota inicial (preliminar) que orienta a avaliação do curso in loco, destaca-se que somente após a realização da avaliação do curso que será determinado o conceito final. O CPC veio ao encontro da regulamentação contida na Portaria Normativa nº 40, de 12 de dezembro de 2007, que definia a suspensão da avaliação in loco para os cursos com conceito de curso superior a 3 e obrigatoriedade para os cursos com nota inferior (1 e 2) para a renovação do reconhecimento. No mesmo momento de lançamento do CPC foi apresentado o IGC (Índice Geral de Cursos) que serve como base para a realização da avaliação externa, o indicador de qualidade da IES é descrito nestes termos pelo INEP:

é uma média ponderada dos conceitos dos cursos de graduação e pós-graduação da instituição. Para ponderar os conceitos, utiliza-se a distribuição dos alunos da IES entre os diferentes níveis de ensino (graduação, mestrado e doutorado). O IGC será utilizado, entre outros elementos e instrumentos, como referencial orientador das comissões de avaliação institucional (INEP, 2008, p. 1).

Todavia uma série de questões vêm sendo levantadas sobre os indicadores do ENADE. Situação que coloca em xeque as diretrizes estabelecidas pela CONAES e, ainda, a própria eficácia das políticas estabelecidas no SINAES. Ressalta-se o seminário promovido pela Associação Brasileira de Mantenedores do Ensino Superior (ABMES) sobre os indicadores de qualidade do ENADE que ocorreu em Brasília no dia 9 de setembro de 2008. Neste evento os membros da ABMES tiveram a oportunidade de levantar questionamentos diretamente ao presidente do INEP que foi convidado como palestrante. Neste momento foi explicado por Reynaldo Fernandes (2008) que o ENADE no SINAES subsidia a avaliação dos cursos e das IES. Porém sua função se distingue conforme o público de interesse nos resultados da avaliação:

TABELA 4: PÚBLICO ALVO E FUNÇÃO DOS INDICADORES DO ENADE SEGUNDO O INEP

INDICADOR

PÚBLICO

FUNÇÃO

ENADE

EXTERNO

guiar estudantes e o mercado na escolha do curso de melhor qualidade

IDD

INTERNO

fazer gestores, professores e alunos refletirem sobre a qualidade da formação

CPC

ESTADO

definir a qualidade mínima para a regulação dos cursos

FONTE: Elaborado pelo próprio autor com base em FERNANDES (2008).

Fernandes (2008) defende que o ENADE é um indicador de resultado, pois só classifica; o IDD é um indicador de valor adicionado, tem fins formativos, compara os estudantes iguais por instituição e área. Ambos possuem instrumentos rígidos e são normatizados, porém o CPC é um indicador que se diferencia dos outros dois por duas características: 1) o instrumento é flexível, trata-se da visita in loco; 2) o conceito não é normatizado, pois são critérios observados pelo avaliador na IES. O CPC pretende ser um indicador de critério, ou seja, para notas iguais ou superiores a três atende ao requisito para o funcionamento e serão considerados cursos de excelência os que obtiverem notas cinco. Já os cursos com notas inferiores não atenderam ao critério de qualidade e precisam de intervenção, assim sendo o CPC é indicador de qualidade com fim regulatório (FERNANDES, 2008). Resultando numa concepção muito distinta da elaborada pelo CEA na proposta do SINAES.Ponderando sobre as vantagens e desvantagens do CPC, aponta-se um grande ponto positivo no seu instrumento, pois nada substitui a percepção do avaliador in loco; nenhum indicador estatístico é capaz de mensurar ou perceber algumas qualidades. Porém o antigo método para a operacionalização da avaliação apresentava dois sérios problemas: o primeiro diz respeito à falta de homogeneização dos resultados da avaliação in loco, pois depende da percepção de cada avaliador que não está explícito; o segundo trata-se do grande universo a ser avaliado não compatível com a estrutura do INEP.

Estes são os dois problemas que justificaram a criação do CPC, garantindo a operacionalização e orientação do processo de realização da avaliação in loco. Os cursos que obtiveram notas satisfatórias ganharam o direito de abrir mão da visita, não manifestando o interesse pela a avaliação in loco a nota do CPC se torna definitiva. A prioridade foi dirigida para os cursos que indicavam sinais de deficiências, ou seja, os cursos com notas inferiores a 3 são obrigados a passar pelo processo de avaliação in loco para a verificação da qualidade e lançamento da nota definitiva para o indicador. Este procedimento viabilizou a execução da avaliação, pois o número de IES teve uma redução significativa. Cita-se como exemplo a indicação dos CPC de 2208 cursos calculados pelo ENADE 2007, em que aproximadamente 25% dos cursos possuem qualidade duvidosa, ou seja, somente508 cursos serão avaliados in loco. Com o CPC também foi possível garantir uma melhor homogeneização dos resultados do processo de avaliação in loco, pois uma análise da discrepância entre os resultados preliminar e final podem ser observados e identificados, garantindo um nível melhor de detalhamento do processo avaliativo e evitando um procedimento complacente por parte do avaliador. A obtenção do CPC é alcançada por meio da junção de três variáveis: 1) insumos – peso de 30%; 1 ENADE – 40% e IDD – 30% (INEP, 2008).

Assine a nossa newsletter! Seja o primeiro a receber nossas novidades exclusivas e recentes diretamente em sua caixa de entrada.
Publique seus artigos

Especificamente a variável insumos refere-se as informações sobre a infra-estrutura e as instalações físicas, os recursos didático-pedagógicos e o corpo docente oferecidos pelo curso. Estas informações são coletadas pelos questionários e cadastros respondidos pelos alunos e coordenadores de curso durante o ENADE, estando composta da seguinte maneira na nota técnica do INEP:

TABELA 5: COMPOSIÇÃO DA VARIÁVEL INSUMO

INSUMOS (30%)

PESO

Infra-estrutura e instalações físicas - os equipamentos disponíveis são suficientes para o número de estudantes (aulas práticas)

10,2%

Recursos didático-pedagógicos - os planos de ensino contêm todos os seguintes aspectos: objetivos; procedimentos de ensino e avaliação; conteúdos e bibliografia da disciplina.

27,2%

Corpo docente - percentual de professores (no mínimo) doutores no curso (38,9%)

62,7%

Corpo docente - percentual de professores que cumprem regime parcial ou integral (não horista) no curso (23,8%)

FONTE: INEP, 2008

O principal problema do CPC é que se tornou um indicador de qualidade regulatório, pois determina ou não o funcionamento do curso, mesmo que sua composição tenha sido realizada de maneira arbitrária. Não existe uma razão plausível na determinação das porcentagens peso das variáveis. Outro fator para se contestar é o motivo da consideração quase que exclusiva no aluno (seu desempenho e sua opinião chegam a pesar 80% da nota, os 20% restante do peso correspondem ao corpo docente do curso). Esta situação regulatória está em desacordo com o SINAES. Destaca-se que o artigo 2º da Lei nº 10.861 descreve:

O SINAES, ao promover a avaliação de instituições, de cursos e de desempenho dos estudantes, deverá assegurar:

I - avaliação institucional, interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos;

II - o caráter público de todos os procedimentos, dados e resultados dos processos avaliativos;

III - o respeito à identidade e à diversidade de instituições e de cursos;

IV - a participação do corpo discente, docente e técnico-administrativo das instituições de educação superior, e da sociedade civil, por meio de suas representações.

Parágrafo único. Os resultados da avaliação referida no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação.

A aplicação da política de avaliação da qualidade educacional vem tomando o ENADE como único referencial para o processo de regulação e supervisão da educação superior, esquecendo-se da sua característica principal que é de possuir um caráter sistêmico. A implantação da política desconsidera a visão estrutural da avaliação e implanta três avaliações distintas, de curso, da IES e, principalmente, a dos alunos. Por isso parece oportuno e necessário destacar as diretrizes da CONAES quando ressalta as finalidades essenciais da avaliação no SINAES:

o SINAES recupera também as finalidades essenciais da avaliação:

Ultrapassa a simples preocupação com desempenhos ou rendimentos estudantis, buscando os significados mais amplos da formação profissional.

Explicita a responsabilidade social da educação superior, especialmente quanto ao avanço da ciência, à formação da cidadania e ao aprofundamento dos valores democráticos.

Supera meras verificações e mensurações, destacando os significados das atividades institucionais, não apenas do ponto de vista acadêmico, mas também quanto aos impactos sociais, econômicos, culturais e políticos.

Aprofunda a idéia da responsabilidade social no desenvolvimento da IES, operando como processo de construção, com participação acadêmica e social, e não como instrumento de checagem e cobrança individual.

Valoriza a solidariedade e a cooperação e não a competitividade e o sucesso individual (CONAES, 2004, p. 8).

Assim sendo pode ser observada certa discrepância existente entre “o ser” e “o deve ser” da política pública executada pelo Estado. Tomando como partida a política de avaliação proposta pelo CEA, a Lei do SINAES e as diretrizes do CONAES e comparando com a efetiva realização é possível perceber os caminhos incertos das políticas públicas de avaliação no sentido de efetiva realização do escopo de melhoria da qualidade da educação superior no Brasil.

TABELA 6: CRONOLOGIA DA IMPLANTAÇÃO DA POLÍTICA DO SINAES (2003-2011)

DATA

PROPOSTAS, LEIS E DOCUMENTOS LEGAIS

2003

cria-se a CEA (Portarias nº 11 de 28 de abril e nº 19 de 27 de maio) e

divulga-se a proposta do SINAES

2004

institui-se o SINAES (Lei nº 10.861 de 14 de abril) e a CONAES (Decreto de 28 de maio - sem número)

divulgam-se os procedimentos do SINAES (Portaria nº 2.051, de 9 de julho)

divulga-se o procedimento para realização do ENADE (Portaria nº 107, de 22 de julho)

divulga-se o documento Diretrizes para a Avaliação das Instituições de Educação Superior elaborado pela CONAES (de 26 de agosto)

divulga-se o documento Orientações Gerais para o Roteiro de auto-avaliação das IES elaborado pelo INEP e destinado a CPA

2005

divulga-se o primeiro calendário para a avaliação da IES (Resolução CONAES nº 1 de 11 de janeiro)

divulga-se o procedimento para organização e execução das avaliações externas (Portaria nº 31 de 17 de fevereiro)

suspende-se o recebimento de solicitação de credenciamento de universidades ao sistema (Portaria nº 2.261 de 19 de junho)

2006

aprova-se e divulga-se o Instrumento para Avaliação dos Cursos de Graduação do SINAES (Portaria MEC nº 563 de 21 de fevereiro)

aprova-se e divulga-se o procedimento para Avaliação Externa da IES: diretrizes e instrumento do SINAES (Portaria MEC nº 300 de 30 de janeiro)

descreve-se as funções de regulação, supervisão e avaliação das IES e cursos (Decreto Federal nº 5.773 de 9 de maio)

reorganizam-se as IES

determinam-se os critérios e exigências para os Centros Universitários (Decreto nº 5.786 de 24 de maio)

2007

divulga-se um novo calendário para a realização das avaliações (Portaria normativa nº 1 de 10 de janeiro)

descrevem-se os procedimentos de regulação e avaliação da EAD (Portaria normativa nº 2 de 10 de janeiro)

2008

divulga-se o instrumento de avaliação exclusivo para autorização de cursos de graduação de medicina (aprovado pela Portaria nº 474 de 14 de abril)

divulga-se o CPC e IGC (Portaria Normativa nº 4 de 5 de agosto)

alteram-se as dimensões e pesos da avaliação externa das IES (Portaria nº 1.264 de 17 de outubro)

2009

oficializa-se os resultados do IGC-2007, do Conceito ENADE-2007 e do CPC-2007 (Portaria nº 296, de 17 de novembro)

2010

oficializa-se os resultados do IGC-2008, do Conceito ENADE-2008 e do CPC-2008 (Portaria Inep nº 27, de 20 de Janeiro)

aprova-se o extrato para o instrumento de avaliação para reconhecimento dos cursos de graduação em Direito, Pedagogia, Medicina, Tecnologia, Bacharelados e Licenciaturas assim como Bacharelados e Licenciatura, na modalidade de educação a distância no âmbito do SINAES

designa-se a Comissão de Revisão dos Instrumentos de Avaliação dos Cursos de Graduação e IES, para operacionalização do SINAES e Comissão de Acompanhamento das Capacitações de Avaliadores do BASIs nos Instrumentos de Avaliação dos Cursos de Graduação e IES, na operacionalização do SINAES (Portaria nº 386-387, de 27 de setembro)

2011

emite-se uma Medida Cautelar para a redução de vagas de Cursos de Direito - bacharelado - de IES com resultados insatisfatórios no CPC referente ao ciclo 2007-2009 (Despacho do Ministro em 1º de junho)

FONTE: Elaborado pelo próprio autor.

Assuntos relacionados
Sobre o autor
Alexandre Godoy Dotta

Professor de Metodologia da Escola de Direito e Relações Internacionais das Faculdades Integradas do Brasil - UniBrasil. Faz Doutorado em Políticas e História da Educação na PUCPR. É mestre em Educação na Pontifícia Universidade Católica do Paraná - PUCPR, dissertação defendida em 2009 com o título: "Política pública da educação superior no Brasil: a efetividade da avaliação institucional no âmbito do SINAES". Concluiu a Graduação em Tecnologia (CEFET-PR/2003), aperfeiçoamento em Metodologia do Conhecimento e do Trabalho Científifico (IDRFB/2003) e em Metodologia do Ensino Superior (IDRFB/2005), especialização em Administração ênfase em Gestão da Qualidade (FAE/2006). É membro da Associação Nacional de Políticas e Administração da Educação (ANPAE), da Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd), da Sociedade Brasileira para o Progresso da Ciência (SBPC), Associação Brasileira de Ensino do Direito (ABEDI) e do Conselho Nacional de Pesquisa e Pós-graduação em Direito (CONPEDI). Atua na área da Educação Superior, com ênfase nas Políticas Públicas de Avaliação da Educação Superior, Gestão das Instituições de Ensino, Projetos de Cursos, Formação e Avaliação Docente.

Como citar este texto (NBR 6023:2018 ABNT)

DOTTA, Alexandre Godoy. A política de avaliação da qualidade da educação superior brasileira: da proposta concebida à regulamentação implementada.: Um estudo dos resultados do exame da OAB e do Enade para os cursos de bacharelado em Direito. Revista Jus Navigandi, ISSN 1518-4862, Teresina, ano 17, n. 3376, 28 set. 2012. Disponível em: https://jus.com.br/artigos/22700. Acesso em: 28 mar. 2024.

Publique seus artigos Compartilhe conhecimento e ganhe reconhecimento. É fácil e rápido!
Publique seus artigos