A política de avaliação da qualidade da educação superior brasileira: da proposta concebida à regulamentação implementada.

Resumo: A pesquisa explora o campo das políticas de avaliação da educação superior no Brasil. Apresenta o processo de implantação do Sistema de Avaliação da Educação Superior (SINAES) e de criação dos indicadores de qualidade para os cursos de graduação, notadamente ENADE (Exame Nacional de Desempenho dos Estudantes), IDD (Indicador de Diferença entre os Desempenhos Observados e Esperados) e CPC (Conceito Preliminar do Curso). Expõea cronologia dos principais documentos que regulam a política de avaliação entre 2003 até 2011. Desenvolve focando na análise dos resultados referente aos cursos de bacharelado em Direito. Descreve o processo de nacionalização do Exame da OAB e seu respectivo procedimento de apresentação dos resultados. Conclui com uma análisecomparativa entre os resultados das avaliações realizadas no ENADE 2009 e no Exame da OAB de 2011.

Palavras-chave: Política de Avaliação da Educação Superior; Cursos de Bacharelado em Direito; Qualidade da Educação; Educação Jurídica.

---

INTRODUÇÃO

É recorrente a afirmação de que a educação superior está em crise e, particularmente os cursos superiores ou de graduação. Devido aos resultados insatisfatórios que vêm sendo obtidos nos Exames da Ordem dos Advogados do Brasil (OAB) e ENADE é comum a afirmação genérica de que os cursos de direto possuem baixa qualidade. Constatação em geral decorrente de um “senso comum” que acarreta na condenação geral dos cursos jurídicos no Brasil. De fato, parte-se de uma análise baseada em premissas reais como: 1) a existência de um número exagerado faculdades de direto e alunos matriculados no Brasil; 2) a presença considerável de bacharéis egressos das IES que não conseguem ser aprovados no Exame da OAB; e 3) a falta de competência e responsabilidade no exercício profissional por parcela dos egressos.

Por isso é comum perceber este tipo de generalização superficial, baseada em uma conclusão questionável quanto à metodologia de ensino empregada (que passa a ser a “culpada” por vários dos males identificados). Nesta seara é que surgem as perguntas: será que as metodologias realmente não estão adequadas ao contexto de melhoria da qualidade da formação jurídica? O cerne do problema reside na questão das metodologias de ensino? Quais mecanismos práticos as IES podem tomar para que consigam promover a melhoria da qualidade dos cursos de bacharelado em direito? Em que sentido uma adequada avaliação pode auxiliar no processo de auto-compreensão pedagógica dos cursos?

Neste contexto, o artigo pretende investigar os dois distintos procedimentos de avaliação aplicados para reconhecer a qualidade dos estudantes, cursos e IES de bacharelado em direito no Brasil. Possui o objetivo descrever e comparar o ENADE e o Exame da OAB. Objetiva-se deste modo analisar a concepção político-pedagógica das duas avaliações e os seus desdobramentos práticos para a docência, a gestão dos cursos e das IES, sempre se tendo em vista o ideal de incrementação da educação.

O primeiro tipo de avaliação eleito para o estudo é apenas uma parte dos três eixos da política pública de avaliação. Está inserido no SINAES que é composto por: 1) Avaliação das IES; 2) Avaliação dos Cursos; e 3) o ENADE. Dos três eixos propostos pela política o ENADE é o que se encontra em um processo mais desenvolvido, pois já realizaram duas edições; em 2006 que foi plenamente divulgada e mais recentemente, em 2009, com a publicização dos resultados em 2010. Esta avaliação tem sua base original na proposta do CEA denominada de PAIDEIA. Porém é possível perceber que diversos princípios da proposta base foram alterados na implementação da política de avaliação.

O ENADE acontece em ciclos de três anos e os alunos são selecionados por amostragem considerando os estudantes ingressantes e concluintes de cada IES. Está operacionalizado por meio de quatro instrumentos de coleta de dados: 1) prova; 2) questionário de impressões sobre a prova; 3) questionário socioeconômico; 4) questionário aplicado aos coordenadores de curso. O questionário de impressão tem por objetivo verificar o posicionamento do estudante em relação à prova (formato, tamanho, nível de dificuldade, questões, etc.). O questionário socioeconômico visa compor um perfil dos estudantes avaliados e o questionário do coordenador busca colher informações a respeito da prova, do PPC e as condições gerais do curso. O ENADE tem como objetivo:

aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, às suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e às suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento, contribuindo assim para a avaliação dos cursos de graduação (INEP, 2004, p. 9).

O outro procedimento eleito para pesquisa é bastante polêmico, pois ainda hoje se discute a sua constitucionalidade.1 O Exame da OAB é um instrumento bastante simples de avaliação que se caracteriza como um concurso para a admissão dos bacharéis em direito ao organismo de classe dos advogados. É obrigatório para todos que desejam exercer o ofício na área jurídica. Quanto à metodologia da prova é importante destacar que, diferente do ENADE, acontece três vezes por ano e só pode ser realizado por estudantes concluintes ou bacharéis formados mediante a inscrição prévia no concurso e identificação da origem institucional do egresso.

O Exame da OAB foi criado em 1963, mas era opcional. Em 1972 se dispensou inteiramente a realização do exame, pois se inseriu o estágio de prática forense e organização judiciária no currículo obrigatório de todos os cursos de direito. Somente com o novo Estatuto da OAB, Lei nº 8906/94, e com a regulamentação do exame em 1996 após a aprovação da LDBN - Lei nº 9394/96, foi que a classe conseguiu implantar definitivamente seu modelo de avaliação na política educacional brasileira.

Porém a listagem das IES recomendados pela comissão de ensino jurídico da OAB Federal começou a ser editada em 2001, tomando-se como base a porcentagem de aprovação dos bacharéis no exame. Foram determinados períodos de três anos avaliativos e nova listagem foi editada em 2004 e novamente em 2007, ano em que a metodologia do exame recebeu reforma. Em 2008 o exame deixou de ser realizado pelas seccionais estaduais e passou a ser executado no nível nacional. Amparados pelo critério trienal uma nova lista de recomendação deverá sair em 2010.

Por certo as duas políticas para a avaliação dos cursos de bacharelado tomadas para estudo se encontram em um cenário demasiadamente controvertido e por isso problemático. O SINAES é a política pública de avaliação da educação superior no Estado brasileiro, mas está sendo implantada desde 2004 e ainda não está completa. Estavam previstos três tipos de avaliações distintas: o ENADE e as duas avaliações in loco; somente de uma análise global seria emitido um parecer da CONAES a respeito da qualidade dos cursos e IES. Apesar de previsto em calendário planejado as avaliações in loco se inviabilizaram devido ao grande volume de cursos (mais de 22 mil) e de IES (mais de 2 mil).

---

A CONCEPÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR

No ano de 2003 uma Comissão Especial de Avaliação da Educação Superior (CEA) foi criada pelo MEC com o objetivo de analisar, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação para educação superior, e simultaneamente, elaborar uma revisão crítica nos instrumentos, metodologias e critérios adotados e, por fim, no prazo de 120 dias para elaborar uma proposta para alteração do sistema da Avaliação da Educação Superior (ROTHEN, 2006, p. 113).

A CEA apresentou publicamente a síntese da proposta para o SINAES em 2 de setembro de 2003, posteriormente divulgado pelo INEP no documento intitulado: Sistema Nacional de Avaliação da Educação Superior – da concepção à regulamentação. Resumidamente:

A ênfase da concepção avaliativa exposta está na preocupação com a tomada de consciência sobre a instituição, conseguida pela participação coletiva em todo o processo, o que lhe outorga caráter formativo e de aperfeiçoamento individual e institucional. O processo estaria centrado na auto-avaliação, realizada no interior das instituições, com subcomissões internas que avaliariam os diferentes cursos. Outros dados para a avaliação seriam advindos de um exame do Processo de Avaliação Integrada do Desenvolvimento Educacional e da Inovação da Área (PAIDEIA), aplicado a uma amostra de alunos de segundo e do último ano das instituições, com o intuito de analisar os processos educativos em cada área de conhecimento, além de informações estatísticas coletadas regularmente pelo MEC. A auto-avaliação seria completada com um momento de avaliação externa realizada por membros da comunidade acadêmica e científica, por meio de visitas in loco, com o objetivo de contrastar as informações provindas do relatório de auto-avaliação institucional. O relatório final, derivado das variadas instâncias, seria remetido ao órgão encarregado da avaliação, criado para tal fim: a Comissão Nacional de Avaliação da Educação Superior (BARREYRO; ROTHEN, 2006, p. 960-961).

Oficialmente o Sistema Nacional de Avaliação da Educação Superior(SINAES)foi instituído pela Lei nº 10.861, de 14 de abril de 2004, e tem seus procedimentos avaliativos regulamentados mediante a Portaria MEC nº 2.051, de 9 de julho de 2004, já na gestão do ministro da educação Tarso Genro.A Lei o documento oficial que institui a política pública para a avaliação da qualidade educação superior no Brasil, o artigo 1º desta norma expõe como finalidades do SINAES:

a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional (Lei nº 10.861, 2004, artigo1º).

Segundo Jackson (2005), o SINAES se diferencia dos outros programas por criar:

uma nova concepção de avaliação da educação superior calcada em outra lógica, integrante de um conjunto de políticas públicas, voltados para a expansão do sistema, pela democratização do acesso de forma que a qualificação do mesmo se integre a um processo mais amplo de revalorização da educação superior. Contextualiza a educação superior ao mundo atual em que entre as finalidades da construção do saber se insere a intervenção social no sentido de reduzir as assimetrias sociais, propiciando condições para a construção de novas pontes de inclusão social. Portanto, o SINAES amplia suas dimensões, objetos, procedimentos, integrando os vários instrumentos de avaliação (alguns deles já existentes mas adequados à nova lógica) e propondo outros, como o PAIDEIA. Como tal, incorpora aos processos avaliativos todos os atores sociais, as dimensões sociais e todas as instâncias da educação superior. Busca assegurar, as dimensões externas e internas, particular e global, somativo e formativo e os diversos objetos e objetivos da avaliação. Trata-se de um Sistema e não mais de procedimentos isolados de avaliação.

A composição do SINAES está alinhada em três eixos avaliativos: a instituição, o curso e o desempenho dos estudantes; é operacionalizado pelos procedimentos de 1) Avaliação das Instituições de Educação Superior (AVALIES), 2) Avaliação dos Cursos de Graduação (denominada por ACG ou in loco) e a 3) Avaliação do Desempenho dos Estudantes (ENADE, em substituição a proposta do PAIDEIA).

Para a coordenação e supervisão de todo o sistema foi instituído um órgão colegiado vinculado ao gabinete do ministro da educação e cultura; trata-se da Comissão Nacional de Avaliação da Educação Superior (CONAES). Sua composição está determinada na referida Lei (artigo 7º) e se apresenta com 13 membros representantes dos seguintes segmentos: um do INEP; um da CAPES; três do MEC, sendo um obrigatoriamente do órgão responsável pela regulação e supervisão da educação superior; um do corpo discente das IES; um do corpo docente das IES; um do corpo técnico-administrativo das IES; cinco membros indicados pelo ministro da educação escolhidos entre cidadãos.

Ainda em 2004, fundamentado nos estudos do CEA, a CONAES divulga o documento base do SINAES, intitulado Diretrizes para a Avaliação das Instituições de Educação Superior. Estava destinado a todos os interessados pela avaliação da educação superior, mas principalmente ao INEP e as CPA, os dois agentes que junto com a CONAES integram os órgãos avaliativos no SINAES. Suas atribuições são explicitadas no documento nos seguintes termos:

As atribuições da CONAES incluem: coordenar o processo de avaliação articulado e coerente em âmbito nacional e, definindo seus respectivos prazos, garantir a integração e coerência dos instrumentos e práticas da avaliação; estabelecer diretrizes para o recrutamento e capacitação de avaliadores; analisar os relatórios de avaliação consolidados pelo INEP e, a partir deles, elaborar pareceres conclusivos, encaminhando-os às instâncias competentes; integrar os instrumentos de avaliação e de informação; promover seminários, debates e reuniões nas áreas de sua competência; estimular a formação de pessoal para as práticas de avaliação da educação superior; assegurar a qualidade e a coerência do SINAES, promovendo o seu aperfeiçoamento permanente; oferecer subsídios ao Ministério da Educação para a formulação de políticas de educação superior de curto e longo prazo.

O INEP é o órgão responsável pela operacionalização dos processos coordenados pela CONAES, cabendo-lhe implementar as deliberações e proposições no âmbito da avaliação da educação superior, bem como produzir relatórios pertinentes para o parecer conclusivo a ser emitido pela CONAES que os encaminhará aos órgãos competentes.

Cada uma das CPA é também parte integrante do SINAES, estabelecendo um elo entre seu projeto específico de avaliação e o conjunto do sistema de educação superior do País. Estas comissões, no desempenho de suas atribuições, serão responsáveis pela “condução dos processos de avaliação internos da instituição, de sistematização e de prestação das informações solicitadas pelo INEP” [Lei nº 1.0861, art. 11]. Daí decorre o papel crucial das CPA na elaboração e desenvolvimento de uma proposta de auto-avaliação, em consonância com a comunidade acadêmica e os conselhos superiores da instituição (CONAES, 2004, p. 18).

A CONAES (2004, p. 5) define o documento base como aquele que “sistematiza a concepção, os princípios e as dimensões da avaliação postulados pelo SINAES e define as diretrizes para a sua implementação”. Ou seja:

As características fundamentais da nova proposta são: a avaliação institucional como centro do processo avaliativo, a integração de diversos instrumentos com base em uma concepção global e o respeito à identidade e à diversidade institucionais. Tais características possibilitam levar em conta a realidade e a missão de cada IES, ressalvando o que há de comum e universal na educação superior e as especificidades das áreas do conhecimento (CONAES, 2004, p. 5).

O objetivo central do processo avaliativo é promover a realização autônoma do projeto institucional, de modo a garantir a qualidade acadêmica no ensino, na pesquisa, na extensão, na gestão e no cumprimento de sua pertinência e responsabilidade social (CONAES, 2004, p. 10).

No entanto, e apesar desta ênfase na autonomia, o Estado não se ausentou da responsabilidade regulatória imposta pela Constituição Federal de 1988 e reafirmada pela nova LDB. Assim sendo a CONAES salienta:

A avaliação se esgota quando os efeitos regulatórios são assumidos pelo Poder Público, em decorrência dos resultados da avaliação. Daí a importância de destacar três momentos desse processo:

A regulação, como atributo próprio do Poder Público, que precede o processo de avaliação nas etapas iniciais da autorização e do credenciamento dos cursos.

O processo de avaliação que se realiza autonomamente pela instituição de forma integrada e segundo suas diferentes modalidades.

A regulação novamente, uma vez concluída a avaliação (após emissão de pareceres da CONAES), quando são aplicados os efeitos regulatórios – previstos em lei – decorrentes da avaliação (CONAES, 2004, p. 10-11)

O componente central do SINAES é a avaliação institucional, realizada em dois momentos: 1) auto-avaliação realizada pela CPA e 2) avaliação externa realizada pelas comissões designadas. Porém na AVALIES também serão considerados os resultados da ACG e do ENADE, assim como o Censo da Educação Superior, Cadastro Nacional da Educação Superior e informações da avaliação da CAPES. Os resultados das avaliações serão expressos numa escala padrão de 5 níveis; os níveis 4 e 5 são considerados de altos desempenho, os níveis 1 e 2 são baixos e o nível 3 é o mínimo aceitável. Ressalta-se que é com base nestes resultados que será realizada a análise para concessão de credenciamento ou recredenciamento à IES;2 do mesmo modo ocorrerá com os cursos de graduação para autorização, reconhecimento ou renovação do reconhecimento (Portaria MEC nº 2.051, 2004, artigo 32).

A CONAES apresentou as datas para a realização do processo avaliativo no documento das Diretrizes para a Avaliação das Instituições de Educação Superior. Porém não foi seguido e um novo cronograma veio na Resolução nº 1, de 11 de janeiro de 2005, determinando-se um ciclo de avaliação em quatro etapas: 1) agosto de 2004 até maio de 2006 a finalização da auto-avaliação e a entrega dos relatórios; 2) junho de 2006 até setembro de 2006 a realização das avaliações externas; 3) maio de 2006 até dezembro de 2006 a consolidação dos relatórios do INEP para o CONAES; por fim, 4) agosto de 2006 até maio de 2007 a apresentação do parecer final da avaliação. Contudo, a efetiva realização do ciclo avaliativo das IES ainda não se concretizou.

O INEP, seguindo as instruções do CONAES, publicou em 2004 as Orientações Gerais para o Roteiro da Auto-avaliação das Instituições, com o objetivo de auxiliar as CPA no processo de avaliação interna. Porém somente em 2006, mediante a Portaria nº 300, de 30 de janeiro, e a Portaria nº 563, de 21 de fevereiro, é que foram divulgados os procedimentos de avaliação externa (Avaliação Externa de Instituições de Educação Superior: Diretrizes e Instrumento)e ACG (Avaliação de Cursos de Graduação: Instrumento).

As avaliações são realizadas por uma comissão de especialistas in loco, capacitadas e designadas pelo INEP sob orientação da CONAES. A avaliação é realizada em todos os tipos de cursos (bacharelado, licenciatura e tecnologia) e modalidades (presenciais e a distância) por um único instrumento, cumprindo com o objetivo identificar as condições de ensino oferecidas pela IES aos estudantes. As categorias avaliadas no ACG são as seguintes:

TABELA 1: CATEGORIAS DA AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO NO SINAES

CATEGORIA 1: Organização didático-pedagógica – PESO 40

1.1 Administração acadêmica: coordenação do curso

1.2 Administração acadêmica: colegiado de curso

1.3 Projeto Pedagógico do Curso – PPC: concepção do curso

1.4 Projeto Pedagógico do Curso – PPC: currículo

1.5 Projeto Pedagógico do Curso – PPC: avaliação

1.6 Atividades acadêmicas articuladas à formação: prática profissional e/ou estágio

1.7 Atividades acadêmicas articuladas à formação: trabalho de conclusão de curso (TCC)

1.8 Atividades acadêmicas articuladas à formação: atividades complementares

1.9 ENADE

CATEGORIA 2: Corpo docente, corpo discente e corpo técnico-administrativo – PESO 35

2.1 Corpo docente: perfil docente

2.2 Corpo docente: atuação nas atividades acadêmicas

2.3 Corpo discente: atenção aos discentes

2.4 Corpo técnico-administrativo: atuação no âmbito do curso

CATEGORIA 3: Instalações físicas – PESO 25

3.1 Biblioteca: adequação

3.2 Instalações especiais e laboratórios cenários/ambientes/laboratórios para a formação geral/básica/...

3.3 Instalações especiais e laboratórios específicos:cenários/ambientes/laboratórios para a formação profissionalizante/específica

3.4 Instalações especiais e laboratórios específicos: cenários/ambientes/laboratórios para a prática profissional e prestação de serviços à comunidade

FONTE: INEP, 2004.

Mais recentemente, algumas alterações vêm sendo implementadas no SINAES, como por exemplo a emissão de um instrumento de avaliação exclusivo para os cursos de graduação em medicina, autorizado mediante a Portaria nº 474 de 14 de abril de 2008. E ainda, tratando-se especificamente da avaliação externa das IES, o MEC emitiu uma Portaria (nº 1.264, de 17 de outubro de 2008) alterando o que foi previamente acordado no documento Avaliação Externa de Instituições de Educação Superior: Diretrizes e Instrumento. As modificações realizadas no instrumento de avaliação externa trazem novas dimensões avaliativas e redistribuem os respectivos pesos para cada área. A seguinte tabela explicita os critérios atuais:

TABELA 2: DIMENSÕES E PESOS DA AVALIAÇÃO EXTERNA DAS IES NO SINAES

DIMENSÕES DE AVALIAÇÃO	PESOS
1. A missão e o plano de desenvolvimento institucional	5
2. A política para o ensino, a pesquisa, a pós-graduação, a extensão e as respectivas normas de operacionalização, incluídos os procedimentos para estímulo à produção acadêmica, para as bolsas de pesquisa, de monitoria e demais modalidades	35
3. A responsabilidade social da instituição, considerada especialmente no que se refere à sua contribuição em relação à inclusão social, ao desenvolvimento econômico e social, à defesa do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural	5
4. A comunicação com a sociedade	5
5. As políticas de pessoal, de carreiras do corpo docente e corpo técnico-administrativo, seu aperfeiçoamento, seu desenvolvimento profissional e suas condições de trabalho	20
6. Organização e gestão da instituição, especialmente o funcionamento e representatividade dos colegiados, sua independência e autonomia na relação com a mantenedora, e a participação dos segmentos da comunidade universitária nos processos decisórios	5
7. Infra-estrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos de informação e comunicação	10
8. Planejamento e avaliação, especialmente em relação aos processos, resultados e eficácia da auto-avaliação institucional	5
9. Políticas de atendimento aos estudantes	5
10. Sustentabilidade financeira, tendo em vista o significado social da continuidade dos compromissos na oferta da educação superior	5

FONTE: Portaria nº 1.264, de 17 de outubro de 2008.

O ENADE é a parte do SINAES que se encontra em um processo mais desenvolvido, pois desde 2004 vem sendo aplicado. O Exame da OAB acontece pelo menos uma vez a cada três anos para cursos de graduação recomendados pela CONAES e aprovados pelo MEC. Os alunos são selecionados por amostragem considerando os ingressantes e concluintes. Está operacionalizado por meio de quatro instrumentos de coleta de dados: 1) prova; 2) questionário de impressões sobre a prova; 3) questionário socioeconômico; 4) questionário aplicado aos coordenadores de curso. E tem como objetivo:

aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, às suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e às suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento, contribuindo assim para a avaliação dos cursos de graduação (INEP, 2004b, p. 9)

O questionário de impressão tem por objetivo verificar o posicionamento do estudante em relação a prova (formato, tamanho, nível de dificuldade, questões, etc.). O questionário socioeconômico visa compor um perfil dos estudantes avaliados e o questionário do coordenador busca colher informações a respeito da prova, do PPC e as condições gerais do curso. O ENADE tem sua base na proposta do CEA denominada de PAIDEIA.

---

A IMPLEMENTAÇÃO DO SINAESE O CONCEITO ENADE, IDD, CPC E IGC

Na idéia original do CEA visava-se avaliar os estudantes em quatro áreas, podendo haver subdivisões em cada uma delas: a) ciências humanas, sociais, letras e artes; b) exatas; c) tecnológicas; d) biológicas e da saúde. Todavia o ENADE manteve a abordagem do ENC testando os cursos individualmente, distinguindo-se principalmente do Provão pela ênfase não estar exclusivamente no conteúdo, contemplando o currículo e temas atuais em forma de estudo de caso, situações-problema, simulacros e outros. A prova está composta por duas partes: formação geral e específica (VERHINE, DANTAS, 2005, p. 18).

Deste modo, algumas das características do ENC mantiveram-se no ENADE e ainda pode-se ressaltar: é um componente curricular obrigatório registrado no histórico acadêmico dos estudantes; os resultados individuais são disponibilizados somente para os alunos; os melhores desempenhos por área de conhecimento são premiados com bolsas de estudos;3 simultaneamente ao exame são levantados dados referentes à prova, ao aluno, ao curso e à instituição; e está prevista a expansão gradativa do exame (VERHINE, DANTAS, 2005, p. 18).

Os estudos sobre avaliação de Barreyro e Rothen (2006) destacam importantes diferenças entre a proposta elaborada pelo CEA e a sua concretização na Lei que instituiu o SINAES, conforme a tabela:

TABELA 3: QUADRO COMPARATIVO ENTRE AS DIRETRIZES DA PROPOSTA DO CEA E A LEI INSTITUIDORA DO SINAES

PROPOSTA DO CEA	LEI DO SINAES
1) a função é emancipatória	1) a função é controladora
2) a responsabilidade é da comunidade interna da IES	2) a responsabilidade é dos órgãos estatais
3) o coordenador SINAES e executor das avaliações é a CONAES	3) o coordenador do SINAES é a CONAES e o executor é o INEP
4) divulgação era realizada pela CONAES	4) divulgação realizada pelo MEC
5) CONAES era uma agência executiva (oferecia apoio técnico às IES, realizava a articulação entre os instrumentos e analisa os resultados globais)	5) CONAES transformou-se em uma agência consultiva
6) avaliação para subsidiar as políticas para a educação	6) avaliar a educação para “orientar a expansão de sua oferta” (art.1)
7) foco nas IES, sendo a avaliação de cursos e o PAIDEIA apresentados como instrumentos subsidiários da avaliação institucional	7) o resultado da avaliação é o conjunto de três eixos avaliados separadamente: IES, curso e desempenho dos alunos
8) o PAIDEA orientava os processos de auto-avaliação e avaliação institucional interna e externa	8) o ENADE é um dos três componentes da avaliação das IES; busca avaliar o processo de aprendizagem
9) propunha uma divulgação de resultados apontando os pontos fortes e fracos da IES	9) determina a notação de cinco conceitos numerados de 1 a 5 para as IES, curso e ENADE

FONTE: Elaborado pelo próprio autor com base em Barreyro e Rothen (2006).

Desde 2004 os resultados do ENADE permitiram a elaboração dos indicadores denominados de conceito ENADE e do conceito IDD (Indicador de Diferença entre os Desempenhos Observados e Esperados), ambos pontuados pela escala padrão do SINAES, ou seja, de 1 a 5. O conceito do curso no ENADE é calculado a partir da média ponderada da nota padronizada da seguinte maneira: concluintes no componente específico com o peso de 60%; ingressantes no componente específico com o peso de 15%; e ingressantes em formação geral com o peso de 25%. Já o IDD é um conceito comparativo gerado a partir do IDD Índice (com escala de -3 até +3). A nota técnica do INEP define que seu objetivo é:

trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso.

O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes (INEP, 2008).

O ENADE por levar em consideração a média geral e a média de cada curso pode ser considerado uma competição entre as IES, pois o desempenho de cada uma interfere na totalidade, assim sendo na atribuição de notas e de conceitos.

O ENADE pode ser considerado uma “competição” onde todos os cursos, independentemente das condições iniciais, são avaliados de igual maneira, em uma versão modificada do procedimento adotado pelo Provão. O conceito IDD, por sua vez, apresentou um método de avaliação inovador, visando a equalizar a competição ao atribuir uma vantagem competitiva àqueles cursos com condições iniciais desfavoráveis, tendo sido bem-sucedido no seu intento. Ainda que a criação do IDD tenha sido um dos pontos destacados como positivos do ENADE, há muitas ressalvas, por parte das IES, com relação à divulgação dos resultados na mídia. Como o INEP divulga os dois conceitos simultaneamente, as IES têm utilizado os que mais lhes convêm, identificando-se uma preferência pelo conceito ENADE, o que provavelmente pode ser ocasionado pela sua semelhança metodológica com o Provão. A metodologia mais complexa do IDD pode estar refletindo negativamente na sua menor divulgação (BITTENCOURT, 2008, p. 261).

Com base no ENADE e após a avaliação in loco seria atribuído um conceito ao curso, porém o MEC com a publicação da Portaria Normativa nº 4, de 5 de agosto de 2008, oficializou o Conceito Preliminar de Cursos (CPC) um indicador de qualidade do curso. Sua notação segue a metodologia estabelecida pelo SINAES. Porém como o próprio nome diz é nota inicial (preliminar) que orienta a avaliação do curso in loco, destaca-se que somente após a realização da avaliação do curso que será determinado o conceito final. O CPC veio ao encontro da regulamentação contida na Portaria Normativa nº 40, de 12 de dezembro de 2007, que definia a suspensão da avaliação in loco para os cursos com conceito de curso superior a 3 e obrigatoriedade para os cursos com nota inferior (1 e 2) para a renovação do reconhecimento. No mesmo momento de lançamento do CPC foi apresentado o IGC (Índice Geral de Cursos) que serve como base para a realização da avaliação externa, o indicador de qualidade da IES é descrito nestes termos pelo INEP:

é uma média ponderada dos conceitos dos cursos de graduação e pós-graduação da instituição. Para ponderar os conceitos, utiliza-se a distribuição dos alunos da IES entre os diferentes níveis de ensino (graduação, mestrado e doutorado). O IGC será utilizado, entre outros elementos e instrumentos, como referencial orientador das comissões de avaliação institucional (INEP, 2008, p. 1).

Todavia uma série de questões vêm sendo levantadas sobre os indicadores do ENADE. Situação que coloca em xeque as diretrizes estabelecidas pela CONAES e, ainda, a própria eficácia das políticas estabelecidas no SINAES. Ressalta-se o seminário promovido pela Associação Brasileira de Mantenedores do Ensino Superior (ABMES) sobre os indicadores de qualidade do ENADE que ocorreu em Brasília no dia 9 de setembro de 2008. Neste evento os membros da ABMES tiveram a oportunidade de levantar questionamentos diretamente ao presidente do INEP que foi convidado como palestrante. Neste momento foi explicado por Reynaldo Fernandes (2008) que o ENADE no SINAES subsidia a avaliação dos cursos e das IES. Porém sua função se distingue conforme o público de interesse nos resultados da avaliação:

TABELA 4: PÚBLICO ALVO E FUNÇÃO DOS INDICADORES DO ENADE SEGUNDO O INEP

INDICADOR	PÚBLICO	FUNÇÃO
ENADE	EXTERNO	guiar estudantes e o mercado na escolha do curso de melhor qualidade
IDD	INTERNO	fazer gestores, professores e alunos refletirem sobre a qualidade da formação
CPC	ESTADO	definir a qualidade mínima para a regulação dos cursos

FONTE: Elaborado pelo próprio autor com base em FERNANDES (2008).

Fernandes (2008) defende que o ENADE é um indicador de resultado, pois só classifica; o IDD é um indicador de valor adicionado, tem fins formativos, compara os estudantes iguais por instituição e área. Ambos possuem instrumentos rígidos e são normatizados, porém o CPC é um indicador que se diferencia dos outros dois por duas características: 1) o instrumento é flexível, trata-se da visita in loco; 2) o conceito não é normatizado, pois são critérios observados pelo avaliador na IES. O CPC pretende ser um indicador de critério, ou seja, para notas iguais ou superiores a três atende ao requisito para o funcionamento e serão considerados cursos de excelência os que obtiverem notas cinco. Já os cursos com notas inferiores não atenderam ao critério de qualidade e precisam de intervenção, assim sendo o CPC é indicador de qualidade com fim regulatório (FERNANDES, 2008). Resultando numa concepção muito distinta da elaborada pelo CEA na proposta do SINAES.Ponderando sobre as vantagens e desvantagens do CPC, aponta-se um grande ponto positivo no seu instrumento, pois nada substitui a percepção do avaliador in loco; nenhum indicador estatístico é capaz de mensurar ou perceber algumas qualidades. Porém o antigo método para a operacionalização da avaliação apresentava dois sérios problemas: o primeiro diz respeito à falta de homogeneização dos resultados da avaliação in loco, pois depende da percepção de cada avaliador que não está explícito; o segundo trata-se do grande universo a ser avaliado não compatível com a estrutura do INEP.

Estes são os dois problemas que justificaram a criação do CPC, garantindo a operacionalização e orientação do processo de realização da avaliação in loco. Os cursos que obtiveram notas satisfatórias ganharam o direito de abrir mão da visita, não manifestando o interesse pela a avaliação in loco a nota do CPC se torna definitiva. A prioridade foi dirigida para os cursos que indicavam sinais de deficiências, ou seja, os cursos com notas inferiores a 3 são obrigados a passar pelo processo de avaliação in loco para a verificação da qualidade e lançamento da nota definitiva para o indicador. Este procedimento viabilizou a execução da avaliação, pois o número de IES teve uma redução significativa. Cita-se como exemplo a indicação dos CPC de 2208 cursos calculados pelo ENADE 2007, em que aproximadamente 25% dos cursos possuem qualidade duvidosa, ou seja, somente508 cursos serão avaliados in loco. Com o CPC também foi possível garantir uma melhor homogeneização dos resultados do processo de avaliação in loco, pois uma análise da discrepância entre os resultados preliminar e final podem ser observados e identificados, garantindo um nível melhor de detalhamento do processo avaliativo e evitando um procedimento complacente por parte do avaliador. A obtenção do CPC é alcançada por meio da junção de três variáveis: 1) insumos – peso de 30%; 1 ENADE – 40% e IDD – 30% (INEP, 2008).

Especificamente a variável insumos refere-se as informações sobre a infra-estrutura e as instalações físicas, os recursos didático-pedagógicos e o corpo docente oferecidos pelo curso. Estas informações são coletadas pelos questionários e cadastros respondidos pelos alunos e coordenadores de curso durante o ENADE, estando composta da seguinte maneira na nota técnica do INEP:

TABELA 5: COMPOSIÇÃO DA VARIÁVEL INSUMO

INSUMOS (30%)	PESO
Infra-estrutura e instalações físicas - os equipamentos disponíveis são suficientes para o número de estudantes (aulas práticas)	10,2%
Recursos didático-pedagógicos - os planos de ensino contêm todos os seguintes aspectos: objetivos; procedimentos de ensino e avaliação; conteúdos e bibliografia da disciplina.	27,2%
Corpo docente - percentual de professores (no mínimo) doutores no curso (38,9%)	62,7%
Corpo docente - percentual de professores que cumprem regime parcial ou integral (não horista) no curso (23,8%)

FONTE: INEP, 2008

O principal problema do CPC é que se tornou um indicador de qualidade regulatório, pois determina ou não o funcionamento do curso, mesmo que sua composição tenha sido realizada de maneira arbitrária. Não existe uma razão plausível na determinação das porcentagens peso das variáveis. Outro fator para se contestar é o motivo da consideração quase que exclusiva no aluno (seu desempenho e sua opinião chegam a pesar 80% da nota, os 20% restante do peso correspondem ao corpo docente do curso). Esta situação regulatória está em desacordo com o SINAES. Destaca-se que o artigo 2º da Lei nº 10.861 descreve:

O SINAES, ao promover a avaliação de instituições, de cursos e de desempenho dos estudantes, deverá assegurar:

I - avaliação institucional, interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos;

II - o caráter público de todos os procedimentos, dados e resultados dos processos avaliativos;

III - o respeito à identidade e à diversidade de instituições e de cursos;

IV - a participação do corpo discente, docente e técnico-administrativo das instituições de educação superior, e da sociedade civil, por meio de suas representações.

Parágrafo único. Os resultados da avaliação referida no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação.

A aplicação da política de avaliação da qualidade educacional vem tomando o ENADE como único referencial para o processo de regulação e supervisão da educação superior, esquecendo-se da sua característica principal que é de possuir um caráter sistêmico. A implantação da política desconsidera a visão estrutural da avaliação e implanta três avaliações distintas, de curso, da IES e, principalmente, a dos alunos. Por isso parece oportuno e necessário destacar as diretrizes da CONAES quando ressalta as finalidades essenciais da avaliação no SINAES:

o SINAES recupera também as finalidades essenciais da avaliação:

Ultrapassa a simples preocupação com desempenhos ou rendimentos estudantis, buscando os significados mais amplos da formação profissional.

Explicita a responsabilidade social da educação superior, especialmente quanto ao avanço da ciência, à formação da cidadania e ao aprofundamento dos valores democráticos.

Supera meras verificações e mensurações, destacando os significados das atividades institucionais, não apenas do ponto de vista acadêmico, mas também quanto aos impactos sociais, econômicos, culturais e políticos.

Aprofunda a idéia da responsabilidade social no desenvolvimento da IES, operando como processo de construção, com participação acadêmica e social, e não como instrumento de checagem e cobrança individual.

Valoriza a solidariedade e a cooperação e não a competitividade e o sucesso individual (CONAES, 2004, p. 8).

Assim sendo pode ser observada certa discrepância existente entre “o ser” e “o deve ser” da política pública executada pelo Estado. Tomando como partida a política de avaliação proposta pelo CEA, a Lei do SINAES e as diretrizes do CONAES e comparando com a efetiva realização é possível perceber os caminhos incertos das políticas públicas de avaliação no sentido de efetiva realização do escopo de melhoria da qualidade da educação superior no Brasil.

TABELA 6: CRONOLOGIA DA IMPLANTAÇÃO DA POLÍTICA DO SINAES (2003-2011)

DATA	PROPOSTAS, LEIS E DOCUMENTOS LEGAIS
2003	cria-se a CEA (Portarias nº 11 de 28 de abril e nº 19 de 27 de maio) e divulga-se a proposta do SINAES
2004	institui-se o SINAES (Lei nº 10.861 de 14 de abril) e a CONAES (Decreto de 28 de maio - sem número) divulgam-se os procedimentos do SINAES (Portaria nº 2.051, de 9 de julho) divulga-se o procedimento para realização do ENADE (Portaria nº 107, de 22 de julho) divulga-se o documento Diretrizes para a Avaliação das Instituições de Educação Superior elaborado pela CONAES (de 26 de agosto) divulga-se o documento Orientações Gerais para o Roteiro de auto-avaliação das IES elaborado pelo INEP e destinado a CPA
2005	divulga-se o primeiro calendário para a avaliação da IES (Resolução CONAES nº 1 de 11 de janeiro) divulga-se o procedimento para organização e execução das avaliações externas (Portaria nº 31 de 17 de fevereiro) suspende-se o recebimento de solicitação de credenciamento de universidades ao sistema (Portaria nº 2.261 de 19 de junho)
2006	aprova-se e divulga-se o Instrumento para Avaliação dos Cursos de Graduação do SINAES (Portaria MEC nº 563 de 21 de fevereiro) aprova-se e divulga-se o procedimento para Avaliação Externa da IES: diretrizes e instrumento do SINAES (Portaria MEC nº 300 de 30 de janeiro) descreve-se as funções de regulação, supervisão e avaliação das IES e cursos (Decreto Federal nº 5.773 de 9 de maio) reorganizam-se as IES determinam-se os critérios e exigências para os Centros Universitários (Decreto nº 5.786 de 24 de maio)
2007	divulga-se um novo calendário para a realização das avaliações (Portaria normativa nº 1 de 10 de janeiro) descrevem-se os procedimentos de regulação e avaliação da EAD (Portaria normativa nº 2 de 10 de janeiro)
2008	divulga-se o instrumento de avaliação exclusivo para autorização de cursos de graduação de medicina (aprovado pela Portaria nº 474 de 14 de abril) divulga-se o CPC e IGC (Portaria Normativa nº 4 de 5 de agosto) alteram-se as dimensões e pesos da avaliação externa das IES (Portaria nº 1.264 de 17 de outubro)
2009	oficializa-se os resultados do IGC-2007, do Conceito ENADE-2007 e do CPC-2007 (Portaria nº 296, de 17 de novembro)
2010	oficializa-se os resultados do IGC-2008, do Conceito ENADE-2008 e do CPC-2008 (Portaria Inep nº 27, de 20 de Janeiro) aprova-se o extrato para o instrumento de avaliação para reconhecimento dos cursos de graduação em Direito, Pedagogia, Medicina, Tecnologia, Bacharelados e Licenciaturas assim como Bacharelados e Licenciatura, na modalidade de educação a distância no âmbito do SINAES designa-se a Comissão de Revisão dos Instrumentos de Avaliação dos Cursos de Graduação e IES, para operacionalização do SINAES e Comissão de Acompanhamento das Capacitações de Avaliadores do BASIs nos Instrumentos de Avaliação dos Cursos de Graduação e IES, na operacionalização do SINAES (Portaria nº 386-387, de 27 de setembro)
2011	emite-se uma Medida Cautelar para a redução de vagas de Cursos de Direito - bacharelado - de IES com resultados insatisfatórios no CPC referente ao ciclo 2007-2009 (Despacho do Ministro em 1º de junho)

FONTE: Elaborado pelo próprio autor.

---

ANÁLISE DOS RESULTADOS DA AVALIAÇÃO EXAME DA OAB E DO ENADE

Quanto à metodologia da avaliação do Exame da OAB, é importante destacar que é diferente da política pública de avaliação da eficiência educacional proposta pelo ENADE (e que ocorre a cada triênio). O Exame daOAB acontece três vezes por ano e só pode ser realizado por estudantes concluintes ou bacharéis formados mediante a inscrição prévia no concurso e identificação da origem institucional do egresso. O procedimento segue em duas fases distintas: a primeira etapa da avaliação é classificatória, o inscrito realiza um teste com cem questões de múltipla escolha com quatro alternativas. Os conteúdos da prova dizem respeito a dez grandes áreas do Direito; para ser aprovado neste estágio o candidato precisa responder corretamente no mínimo 50% das perguntas postas. A segunda fase do exame é escrita, trata-se de uma prova técnico-profissional conforme a área específica de atuação que o inscrito optou no momento da sua inscrição.

No ano de 2003, quando ainda o exame era realizado pelas seccionais a média de aprovação era de 50%; em 2006 caiu para 30% de aprovação (destaca-se São Paulo com apenas 10% de aprovados e o maior número de cursos de direito). Ressalta-se que a tendência é desse número sofrer uma queda maior, pois a maioria dos cursos existentes ainda não concluiu sua primeira turma de egressos.

Evidentemente que este tipo de avaliação possui várias imperfeições (destaca-se que a área Jurídica ainda debate a própria constitucionalidade do Exame da OAB). Seu histórico é conturbado, pois já foi fraudado e cancelado; ademais, os testes já tiveram inúmeras questões anuladas e contestadas por conta de erros na execução do gabarito e correção das questões discursivas. Interessante que os recursos e impugnações acarretam na alteração do posicionamento das IES no ranking geral das IES, que muitas vezes se distinguem nos décimos da porcentagem (FLORES, 2006. p.90-91).Desde 2008 o Exame da OAB vem sendo realizado no âmbito nacional com freqüência de três edições ao ano. No quadro abaixo estão relacionados os resultados disponibilizados do Exame da OAB realizados no âmbito nacional:4

TABELA 7: DISPONIBILIZAÇÃO DO RESULTADOS DO EXAME DA OAB

EDIÇÃO	RELATÓRIOS DISPONÍVEIS
1_2008	Desempenho das IES Desempenho das Seccionais (Estados)
2_2008	Desempenho das IES Desempenho das Seccionais (Estados) Desempenho das IES com 20 (ou mais) examinados inscritos Estatísticas por Área Estatísticas por Faculdade/Universidade Estatísticas por Faculdade/Universidade e Sexo Estatísticas por Faixa etária Resultado Geral
3_2008	Desempenho das IES Desempenho das Seccionais (Estados)
1_2009	Percentual de acertos por área/IES Desempenho das IES
2_2009	Desempenho das Seccionais.
3_2009	Desempenho de IES por estado.
1_2010	Percentual de acertos por área/Instituição de Ensino Superior (IES)
2_2010	Informações ainda não divulgadas
3_2010	Desempenho das IES
1_2011	Desempenho das IES

Tendo em vista a participação das IES pode ser realizado um comparativo das quatro primeiras e das duas últimas edições do exame. Observa-se: o número de IES participantes; o número de IES que não apresentam nenhum candidato aprovado; e a média de aprovação geral do exame. As demais edições não estão relacionadas pela impossibilidade de levantamento dos dados nos relatórios disponibilizados pela OAB. Todavia importante ressaltar a possibilidade de outros estudos a partir dos resultados apresentados nos relatórios relacionados acima. Cita-se o exemplo dos Relatórios que apresentam o desempenho dos alunos do curso no exame conforme as dez áreas do Direto. Uma análise comparativa possibilita realizar um diagnóstico detalhado do desempenho dos alunos.

GRÁFICO 1: NÚMERO DE IES QUE APRESENTARAM INSCRITOS NO EXAME DA OAB

Atualmente o Brasil possui 1240 cursos; e cerca de 50% dos cursos de Direito do mundo estão no Brasil. Destaca-se que muitos cursos não participam do exame pois ainda não possuem bacharéis formados e por isso nunca foram avaliados pelo Exame da OAB. Tratando-se do ENADE o número de cursos participantes da avaliação foi de 811 em 2006 e 968 em 2009. Observa-se que existe um número relevante de IES que não teve nenhum aluno aprovado no Exame da OAB. Estes números ficam mais evidentes na 3ª edição do exame de 2008 e 3º de 2010. Cabe uma consideração a respeito das IES públicas e privadas pois especificamente nestas duas edições mais de 20% das IES privadas não conseguiram aprovar nenhum candidato. Nas instituições públicas 14% dos egressos não foram aprovados. E ainda, no tocante à porcentagem média de aprovação é demasiadamente notável a distinção entre as IES públicas e a privadas.

GRÁFICO 2: NÚMERO DE IES QUE NÃO APROVAM NENHUM CANDIDATO NO EXAME

Para efeitos comparativos analisou-se isoladamente o desempenho das IES que não aprovaram nenhum candidato no 1º Exame da OAB em de 2011. Percebe-se que das 27 IES avaliadas 67% eram reincidentes neste tipo de resultado. Comparando este mesmo grupo com os resultados do ENADE 2009 percebe-se que 78% das IES não possuem conceito definido pelo MEC a respeito das suas condições de ensino. Os 22% restantes distribuem-se 15% com conceito 3 aceitável e ausente de avaliação in loco e 7% com conceito 2 abaixo do aceitável e avaliação in loco compulsória.

Importante destacar que atualmente ocorre uma série de dificuldades no processo de operacionalização do SINAES. Em termos de efetividade somente o eixo que avalia os alunos obteve resultados satisfatórios.Até o momento é a avaliação do ENADE que propicia o cálculo do CPC. Em termos de regulação este é o indicador que define a qualidade mínima para o funcionamento dos cursos. Possui a finalidade de fazer os gestores, professores e alunos refletirem a qualidade do curso e serve para guiar os estudantes para a escolha do curso com melhor qualidade no mercado.

A seguinte tabela compara os resultados da avaliação de 948 IES pelo ENADE 2009 com as médias de aprovação das 709 IES que realizaram o Exame da OAB 2011 por unidade federativa.

TABELA 8: COMPARATIVO DOS RESULTADOS DO ENADE 2009 E DO EXAME DA OAB 2011

	ENADE 2009		Exame da Oab 1_2011
UF	Nº de cursos avaliados	% de IES com conceito satisfatório	Nº de cursos avaliados	% de aprovação
AC	3	34%	3	14%
AL	14	21%	11	13%
AM	9	55%	9	12%
AP	6	50%	9	14%
BA	53	30%	38	17%
CE	16	81%	15	14%
DF	18	39%	16	19%
ES	32	34%	27	14%
GO	37	27%	27	11%
MA	16	34%	13	15%
MG	129	50%	98	16%
MS	21	71%	14	15%
MT	24	29%	23	13%
PA	16	75%	11	13%
PB	16	56%	14	17%
PE	27	48%	25	15%
PI	21	38%	18	17%
PR	81	63%	60	12%
RJ	65	65%	36	15%
RN	13	39%	10	19%
RO	11	64%	9	14%
RR	4	75%	3	24%
RS	72	70%	33	18%
SC	54	57%	28	14%
SE	9	23%	4	24%
SP	170	62%	144	11%
TO	11	18%	11	13%

FONTE: elaborado pelo próprio autor.

Ao confrontar o ENADE e o Exame da OAB percebe-se algumas incongruências do sistema de avaliação. É o caso do Ceará que possui um índice de aprovação mediano porém é o Estado que possui mais Cursos qualificados. Sergipe possui o maior índice de aprovação na OAB, mas segundo o MEC 77% das IES estão sem conceitos ou o conceito é insatisfatório e precisam ser avaliadas in loco. E ainda São Paulo que possui o maior número de cursos de Direito, baixo índice de aprovação no Exame da OAB e alta porcentagem de IES com conceito satisfatório no ENADE.

---

CONSIDERAÇÕES

O Exame da OAB tende a surtir mais efeitos que o ENADE por diferentes motivos; um deles é a sua freqüência de execução, que é maior. A disponibilização dos resultados desta avaliação está em forma de ranqueamento nacional dos cursos de bacharelado. Ele é estruturado com base no percentual de inscritos aprovados na primeira e segunda fase do exame, apresentando as médias regionais e a média nacional, assim como um detalhamento do desempenho de cada IES nas dez áreas contempladas pelo teste na 1º fase. Importante destacar que o órgão de classe demonstra preocupação em aperfeiçoar o instrumento de avaliação. Assim motivado o Conselho Federal da OAB retirou a autonomia das seccionais estaduais padronizando nacionalmente o Exame.

Diferentes práticas da OAB têm influenciado o rumo da política pública para a educação da área jurídica; exemplos: 1) envio de pareceres negativos à abertura de novos cursos de Direito realizado por comissões de ensino jurídico; 2) recomendação dos cursos mediante a emissão do selo “OAB Recomenda”; e 3) publicização de denúncias de IES com qualidade duvidosa; nestes casos toma-se como base o baixo desempenho dos inscritos no Exame da OAB, assim como a ausência de aprovação dos bacharéis em direito no provimento das vagas em concursos públicos, em especial para a magistratura e para o Ministério Público. O aumento de reprovações é diretamente proporcional ao aumento de número de candidatos.

Todavia a atuação por parte do organismo de classe não possui poder regulatório na matéria. A competência normativa em matéria de ensino superior é o Poder Público representado pelo MEC. Nos atos de autorização e reconhecimento de cursos e IES a OAB restringe-se a emitir pareceres (em geral negativos) elaborados por suas comissões de ensino jurídico e encaminhados para o Conselho Nacional de Educação (BITTAR, 2006, p.194-200). A OAB defende a observação obrigatória do critério de necessidade social para a abertura de novos cursos de graduação em Direito.5 Todavia a regulamentação se orienta a partir de regras de mercado; com dispositivos flexíveis de controle toma-se a política de avaliação dos cursos e IES como parâmetro para a manutenção do credenciamento no sistema.

---

REFERÊNCIAS

BARREYRO, G. B.; ROTHEN, J. C. “SINAES” contraditórios: considerações sobre a elaboração e implantação do Sistema Nacional de Avaliação da Educação Superior, Educação e Sociedade, Campinas, v. 27, n. 96 – Especial, p. 955-977, out. 2006.

BARROSO, J. O Estado, a educação e a regulação das políticas públicas. Educação e Sociedade, Campinas, v. 26, n. 92 – Especial, p. 725-751, out. 2004

BITTENCOURT, H. R.; et al. Uma análise da relação entre os conceitos Enade e IDD. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 40, p. 247-262, maio/ago. 2008.

CONAES. Diretrizes para a avaliação das instituições de educação superior. Brasília: INEP, 2004. Disponível em: <www.inep.gov.br/download/superior/2005/avaliacao_institicional/avaliacao_institucional_externa_8102005.pdf.> Aceso em: 15 nov. 2007.

DOTTA, A. G.; GABARDO, E. Mecanismos de avaliação da eficiência do serviço público de educação no Brasil. In: XXV Simpósio Brasileiro e II Congresso Ibero-americano de Política e Administração da Educação. São Paulo: ANPAE, 2011.

FEITOSA NETO, I. J. O ensino jurídico brasileiro: uma análise dos discursos do MEC e da OAB. Recife: do Autor, 2007. 184p.

FERNANDES, R. INEP/MEC – INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. As questões polêmicas da avaliação externa – o Enade, o IDD e o conceito preliminar dos cursos de graduação. AMBES – Associação Brasileira de Mantenedoras de Ensino Superior. Brasília, 9 set. 2008. Vídeo disponível em: <https://www.veredasonline.com/evento-on/abmes/aovivo/abmes-09-09-parte1.wmv>. Acesso em 18 out. 2008.

FLORES, P. R. Thompson. O Estado atual do Ensino Jurídico e o papel do Exame da Ordem. In: OAB Ensino Jurídico – O futuro da Universidade e os Cursos de Direito: novos caminhos para a formação profissional. Brasília: OAB Conselho Federal, 2006. p.87-[96].

GISI, M. L. Políticas públicas, educação e cidadania. In: ZAINKO, M. A. S.; GISI, M. L. (Orgs.). Políticas e gestão da educação superior. Curitiba: Champagnat, 2003. p. 91-103. (coleção educação, gestão e política).

INEP. Cálculo do índice geral de cursos: nota técnica. Disponível em: <https://www.inep.gov.br/download/igc/NOTA_TECNICA.pdf>. Acesso em: 12 nov. 2008.

INEP. Resumo técnico: ENADE 2004. Brasília: INEP, 2004b.

INEP. Roteiro de Auto-avaliação Institucional: Orientações Gerais. Brasília: INEP/MEC, 2004.

JACKSON, M. J. SINAES: a proposta de avaliação da Educação Superior. Disponível em:<www.ufpe.br/cpa/documentos/entrevista.doc>. Acesso em: 23 de ago. 2006.

ROTHEN, J. C. Ponto e Contraponto na Avaliação Institucional: análise dos documentos de implantação do SINAES. In: REIS JÚNIOR, J. dos; OLIVEIRA, J. F.; MANCEBO, D. Reforma universitária: dimensões e perspectivas. Campinas: Alínea, 2006.

SANTOS, A. L. L. dos. Ensino Jurídico: uma abordagem político-educacional. Campinas: Edicamp, 2002. 368p.

VERHINE, R. E.; DANTAS, L. M. V. Avaliação da Educação Superior no Brasil: do Provão ao ENADE. [S.l.:s.n.], 2005. 48 p. Disponível em: <https://www.isp.ufba.br/avalia%C3%A7%C3%A3o%20da%20Ed%20Superior%20do%20Provao%20ao%20ENADE.pdf>. Acesso em: 14 jul. 2008.

---

Notas

1 Cf. Ref: RE 603.583/RS (STF). Inconstitucionalidade do artigo 8º, § 1º, da Lei nº 8.906/94 e dos Provimentos nº 81/96 e 109/05 do Conselho Federal da OAB.

2 Ressalta-se que as IES classificadas pela organização acadêmica universitária continuam seguindo os termos da Resolução da CES nº 2, de 07 de abril de 1998, que considera os indicadores de produção intelectual institucionalizada para fins de credenciamento e recredenciamento.

3 Neste mesmo sentido algumas IES do setor privado “prometem pagar prêmio que varia de R$300 a R$600 aos alunos que participarem do ENADE se as instituições obtiverem boa nota no exame” (Folha de São Paulo. Caderno: Cotidiano. São Paulo, sexta-feira, 09 de novembro de 2007).

4 A publicização dos resultados da avaliação: OAB. Exame de Ordem. Disponível em: <https://www.oab.org.br/exameOrdem.asp>. Acesso em: 25 dez. 2010.

5 Os parâmetros utilizados pela Comissão de Ensino Jurídico da OAB encontram-se na Instrução Normativa nº 1/1997, possui aspectos relacionados com questões demográficas e possibilidade de inserção no mercado profissional desconsiderados pelo MEC.

---

Abstract: The research explores the field of assessment policies of higher education in Brazil. Displays the process of implementing the System of Higher Education Assessment (SINAES) and creation of quality indicators for undergraduate courses, especially ENADE (National Survey of Student Performance), IDD (Indicator Difference between Observed and Expected Performances) and CPC (Concept Preliminary Course). Expose the chronology of the key documents governing the evaluation policy from 2003 until 2011. Developed focusing on the analysis of results related to bachelor degree in law. Describes the process of nationalization of the Examination of OAB and its associated procedure for presentation of results. It concludes with an analysis of evaluations in ENADE 2009 and Examination of OAB in 2011.

Keywords: Policy Assessment of Higher Education, Law Courses, Quality Education, Law Education.