Resumo: A pesquisa explora o campo das políticas de avaliação da educação superior no Brasil. Apresenta o processo de implantação do Sistema de Avaliação da Educação Superior (SINAES) e de criação dos indicadores de qualidade para os cursos de graduação, notadamente ENADE (Exame Nacional de Desempenho dos Estudantes), IDD (Indicador de Diferença entre os Desempenhos Observados e Esperados) e CPC (Conceito Preliminar do Curso). Expõea cronologia dos principais documentos que regulam a política de avaliação entre 2003 até 2011. Desenvolve focando na análise dos resultados referente aos cursos de bacharelado em Direito. Descreve o processo de nacionalização do Exame da OAB e seu respectivo procedimento de apresentação dos resultados. Conclui com uma análisecomparativa entre os resultados das avaliações realizadas no ENADE 2009 e no Exame da OAB de 2011.
Palavras-chave: Política de Avaliação da Educação Superior; Cursos de Bacharelado em Direito; Qualidade da Educação; Educação Jurídica.
INTRODUÇÃO
É recorrente a afirmação de que a educação superior está em crise e, particularmente os cursos superiores ou de graduação. Devido aos resultados insatisfatórios que vêm sendo obtidos nos Exames da Ordem dos Advogados do Brasil (OAB) e ENADE é comum a afirmação genérica de que os cursos de direto possuem baixa qualidade. Constatação em geral decorrente de um “senso comum” que acarreta na condenação geral dos cursos jurídicos no Brasil. De fato, parte-se de uma análise baseada em premissas reais como: 1) a existência de um número exagerado faculdades de direto e alunos matriculados no Brasil; 2) a presença considerável de bacharéis egressos das IES que não conseguem ser aprovados no Exame da OAB; e 3) a falta de competência e responsabilidade no exercício profissional por parcela dos egressos.
Por isso é comum perceber este tipo de generalização superficial, baseada em uma conclusão questionável quanto à metodologia de ensino empregada (que passa a ser a “culpada” por vários dos males identificados). Nesta seara é que surgem as perguntas: será que as metodologias realmente não estão adequadas ao contexto de melhoria da qualidade da formação jurídica? O cerne do problema reside na questão das metodologias de ensino? Quais mecanismos práticos as IES podem tomar para que consigam promover a melhoria da qualidade dos cursos de bacharelado em direito? Em que sentido uma adequada avaliação pode auxiliar no processo de auto-compreensão pedagógica dos cursos?
Neste contexto, o artigo pretende investigar os dois distintos procedimentos de avaliação aplicados para reconhecer a qualidade dos estudantes, cursos e IES de bacharelado em direito no Brasil. Possui o objetivo descrever e comparar o ENADE e o Exame da OAB. Objetiva-se deste modo analisar a concepção político-pedagógica das duas avaliações e os seus desdobramentos práticos para a docência, a gestão dos cursos e das IES, sempre se tendo em vista o ideal de incrementação da educação.
O primeiro tipo de avaliação eleito para o estudo é apenas uma parte dos três eixos da política pública de avaliação. Está inserido no SINAES que é composto por: 1) Avaliação das IES; 2) Avaliação dos Cursos; e 3) o ENADE. Dos três eixos propostos pela política o ENADE é o que se encontra em um processo mais desenvolvido, pois já realizaram duas edições; em 2006 que foi plenamente divulgada e mais recentemente, em 2009, com a publicização dos resultados em 2010. Esta avaliação tem sua base original na proposta do CEA denominada de PAIDEIA. Porém é possível perceber que diversos princípios da proposta base foram alterados na implementação da política de avaliação.
O ENADE acontece em ciclos de três anos e os alunos são selecionados por amostragem considerando os estudantes ingressantes e concluintes de cada IES. Está operacionalizado por meio de quatro instrumentos de coleta de dados: 1) prova; 2) questionário de impressões sobre a prova; 3) questionário socioeconômico; 4) questionário aplicado aos coordenadores de curso. O questionário de impressão tem por objetivo verificar o posicionamento do estudante em relação à prova (formato, tamanho, nível de dificuldade, questões, etc.). O questionário socioeconômico visa compor um perfil dos estudantes avaliados e o questionário do coordenador busca colher informações a respeito da prova, do PPC e as condições gerais do curso. O ENADE tem como objetivo:
aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, às suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e às suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento, contribuindo assim para a avaliação dos cursos de graduação (INEP, 2004, p. 9).
O outro procedimento eleito para pesquisa é bastante polêmico, pois ainda hoje se discute a sua constitucionalidade.1 O Exame da OAB é um instrumento bastante simples de avaliação que se caracteriza como um concurso para a admissão dos bacharéis em direito ao organismo de classe dos advogados. É obrigatório para todos que desejam exercer o ofício na área jurídica. Quanto à metodologia da prova é importante destacar que, diferente do ENADE, acontece três vezes por ano e só pode ser realizado por estudantes concluintes ou bacharéis formados mediante a inscrição prévia no concurso e identificação da origem institucional do egresso.
O Exame da OAB foi criado em 1963, mas era opcional. Em 1972 se dispensou inteiramente a realização do exame, pois se inseriu o estágio de prática forense e organização judiciária no currículo obrigatório de todos os cursos de direito. Somente com o novo Estatuto da OAB, Lei nº 8906/94, e com a regulamentação do exame em 1996 após a aprovação da LDBN - Lei nº 9394/96, foi que a classe conseguiu implantar definitivamente seu modelo de avaliação na política educacional brasileira.
Porém a listagem das IES recomendados pela comissão de ensino jurídico da OAB Federal começou a ser editada em 2001, tomando-se como base a porcentagem de aprovação dos bacharéis no exame. Foram determinados períodos de três anos avaliativos e nova listagem foi editada em 2004 e novamente em 2007, ano em que a metodologia do exame recebeu reforma. Em 2008 o exame deixou de ser realizado pelas seccionais estaduais e passou a ser executado no nível nacional. Amparados pelo critério trienal uma nova lista de recomendação deverá sair em 2010.
Por certo as duas políticas para a avaliação dos cursos de bacharelado tomadas para estudo se encontram em um cenário demasiadamente controvertido e por isso problemático. O SINAES é a política pública de avaliação da educação superior no Estado brasileiro, mas está sendo implantada desde 2004 e ainda não está completa. Estavam previstos três tipos de avaliações distintas: o ENADE e as duas avaliações in loco; somente de uma análise global seria emitido um parecer da CONAES a respeito da qualidade dos cursos e IES. Apesar de previsto em calendário planejado as avaliações in loco se inviabilizaram devido ao grande volume de cursos (mais de 22 mil) e de IES (mais de 2 mil).
A CONCEPÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR
No ano de 2003 uma Comissão Especial de Avaliação da Educação Superior (CEA) foi criada pelo MEC com o objetivo de analisar, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação para educação superior, e simultaneamente, elaborar uma revisão crítica nos instrumentos, metodologias e critérios adotados e, por fim, no prazo de 120 dias para elaborar uma proposta para alteração do sistema da Avaliação da Educação Superior (ROTHEN, 2006, p. 113).
A CEA apresentou publicamente a síntese da proposta para o SINAES em 2 de setembro de 2003, posteriormente divulgado pelo INEP no documento intitulado: Sistema Nacional de Avaliação da Educação Superior – da concepção à regulamentação. Resumidamente:
A ênfase da concepção avaliativa exposta está na preocupação com a tomada de consciência sobre a instituição, conseguida pela participação coletiva em todo o processo, o que lhe outorga caráter formativo e de aperfeiçoamento individual e institucional. O processo estaria centrado na auto-avaliação, realizada no interior das instituições, com subcomissões internas que avaliariam os diferentes cursos. Outros dados para a avaliação seriam advindos de um exame do Processo de Avaliação Integrada do Desenvolvimento Educacional e da Inovação da Área (PAIDEIA), aplicado a uma amostra de alunos de segundo e do último ano das instituições, com o intuito de analisar os processos educativos em cada área de conhecimento, além de informações estatísticas coletadas regularmente pelo MEC. A auto-avaliação seria completada com um momento de avaliação externa realizada por membros da comunidade acadêmica e científica, por meio de visitas in loco, com o objetivo de contrastar as informações provindas do relatório de auto-avaliação institucional. O relatório final, derivado das variadas instâncias, seria remetido ao órgão encarregado da avaliação, criado para tal fim: a Comissão Nacional de Avaliação da Educação Superior (BARREYRO; ROTHEN, 2006, p. 960-961).
Oficialmente o Sistema Nacional de Avaliação da Educação Superior(SINAES)foi instituído pela Lei nº 10.861, de 14 de abril de 2004, e tem seus procedimentos avaliativos regulamentados mediante a Portaria MEC nº 2.051, de 9 de julho de 2004, já na gestão do ministro da educação Tarso Genro.A Lei o documento oficial que institui a política pública para a avaliação da qualidade educação superior no Brasil, o artigo 1º desta norma expõe como finalidades do SINAES:
a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional (Lei nº 10.861, 2004, artigo1º).
Segundo Jackson (2005), o SINAES se diferencia dos outros programas por criar:
uma nova concepção de avaliação da educação superior calcada em outra lógica, integrante de um conjunto de políticas públicas, voltados para a expansão do sistema, pela democratização do acesso de forma que a qualificação do mesmo se integre a um processo mais amplo de revalorização da educação superior. Contextualiza a educação superior ao mundo atual em que entre as finalidades da construção do saber se insere a intervenção social no sentido de reduzir as assimetrias sociais, propiciando condições para a construção de novas pontes de inclusão social. Portanto, o SINAES amplia suas dimensões, objetos, procedimentos, integrando os vários instrumentos de avaliação (alguns deles já existentes mas adequados à nova lógica) e propondo outros, como o PAIDEIA. Como tal, incorpora aos processos avaliativos todos os atores sociais, as dimensões sociais e todas as instâncias da educação superior. Busca assegurar, as dimensões externas e internas, particular e global, somativo e formativo e os diversos objetos e objetivos da avaliação. Trata-se de um Sistema e não mais de procedimentos isolados de avaliação.
A composição do SINAES está alinhada em três eixos avaliativos: a instituição, o curso e o desempenho dos estudantes; é operacionalizado pelos procedimentos de 1) Avaliação das Instituições de Educação Superior (AVALIES), 2) Avaliação dos Cursos de Graduação (denominada por ACG ou in loco) e a 3) Avaliação do Desempenho dos Estudantes (ENADE, em substituição a proposta do PAIDEIA).
Para a coordenação e supervisão de todo o sistema foi instituído um órgão colegiado vinculado ao gabinete do ministro da educação e cultura; trata-se da Comissão Nacional de Avaliação da Educação Superior (CONAES). Sua composição está determinada na referida Lei (artigo 7º) e se apresenta com 13 membros representantes dos seguintes segmentos: um do INEP; um da CAPES; três do MEC, sendo um obrigatoriamente do órgão responsável pela regulação e supervisão da educação superior; um do corpo discente das IES; um do corpo docente das IES; um do corpo técnico-administrativo das IES; cinco membros indicados pelo ministro da educação escolhidos entre cidadãos.
Ainda em 2004, fundamentado nos estudos do CEA, a CONAES divulga o documento base do SINAES, intitulado Diretrizes para a Avaliação das Instituições de Educação Superior. Estava destinado a todos os interessados pela avaliação da educação superior, mas principalmente ao INEP e as CPA, os dois agentes que junto com a CONAES integram os órgãos avaliativos no SINAES. Suas atribuições são explicitadas no documento nos seguintes termos:
As atribuições da CONAES incluem: coordenar o processo de avaliação articulado e coerente em âmbito nacional e, definindo seus respectivos prazos, garantir a integração e coerência dos instrumentos e práticas da avaliação; estabelecer diretrizes para o recrutamento e capacitação de avaliadores; analisar os relatórios de avaliação consolidados pelo INEP e, a partir deles, elaborar pareceres conclusivos, encaminhando-os às instâncias competentes; integrar os instrumentos de avaliação e de informação; promover seminários, debates e reuniões nas áreas de sua competência; estimular a formação de pessoal para as práticas de avaliação da educação superior; assegurar a qualidade e a coerência do SINAES, promovendo o seu aperfeiçoamento permanente; oferecer subsídios ao Ministério da Educação para a formulação de políticas de educação superior de curto e longo prazo.
O INEP é o órgão responsável pela operacionalização dos processos coordenados pela CONAES, cabendo-lhe implementar as deliberações e proposições no âmbito da avaliação da educação superior, bem como produzir relatórios pertinentes para o parecer conclusivo a ser emitido pela CONAES que os encaminhará aos órgãos competentes.
Cada uma das CPA é também parte integrante do SINAES, estabelecendo um elo entre seu projeto específico de avaliação e o conjunto do sistema de educação superior do País. Estas comissões, no desempenho de suas atribuições, serão responsáveis pela “condução dos processos de avaliação internos da instituição, de sistematização e de prestação das informações solicitadas pelo INEP” [Lei nº 1.0861, art. 11]. Daí decorre o papel crucial das CPA na elaboração e desenvolvimento de uma proposta de auto-avaliação, em consonância com a comunidade acadêmica e os conselhos superiores da instituição (CONAES, 2004, p. 18).
A CONAES (2004, p. 5) define o documento base como aquele que “sistematiza a concepção, os princípios e as dimensões da avaliação postulados pelo SINAES e define as diretrizes para a sua implementação”. Ou seja:
As características fundamentais da nova proposta são: a avaliação institucional como centro do processo avaliativo, a integração de diversos instrumentos com base em uma concepção global e o respeito à identidade e à diversidade institucionais. Tais características possibilitam levar em conta a realidade e a missão de cada IES, ressalvando o que há de comum e universal na educação superior e as especificidades das áreas do conhecimento (CONAES, 2004, p. 5).
O objetivo central do processo avaliativo é promover a realização autônoma do projeto institucional, de modo a garantir a qualidade acadêmica no ensino, na pesquisa, na extensão, na gestão e no cumprimento de sua pertinência e responsabilidade social (CONAES, 2004, p. 10).
No entanto, e apesar desta ênfase na autonomia, o Estado não se ausentou da responsabilidade regulatória imposta pela Constituição Federal de 1988 e reafirmada pela nova LDB. Assim sendo a CONAES salienta:
A avaliação se esgota quando os efeitos regulatórios são assumidos pelo Poder Público, em decorrência dos resultados da avaliação. Daí a importância de destacar três momentos desse processo:
A regulação, como atributo próprio do Poder Público, que precede o processo de avaliação nas etapas iniciais da autorização e do credenciamento dos cursos.
O processo de avaliação que se realiza autonomamente pela instituição de forma integrada e segundo suas diferentes modalidades.
A regulação novamente, uma vez concluída a avaliação (após emissão de pareceres da CONAES), quando são aplicados os efeitos regulatórios – previstos em lei – decorrentes da avaliação (CONAES, 2004, p. 10-11)
O componente central do SINAES é a avaliação institucional, realizada em dois momentos: 1) auto-avaliação realizada pela CPA e 2) avaliação externa realizada pelas comissões designadas. Porém na AVALIES também serão considerados os resultados da ACG e do ENADE, assim como o Censo da Educação Superior, Cadastro Nacional da Educação Superior e informações da avaliação da CAPES. Os resultados das avaliações serão expressos numa escala padrão de 5 níveis; os níveis 4 e 5 são considerados de altos desempenho, os níveis 1 e 2 são baixos e o nível 3 é o mínimo aceitável. Ressalta-se que é com base nestes resultados que será realizada a análise para concessão de credenciamento ou recredenciamento à IES;2 do mesmo modo ocorrerá com os cursos de graduação para autorização, reconhecimento ou renovação do reconhecimento (Portaria MEC nº 2.051, 2004, artigo 32).
A CONAES apresentou as datas para a realização do processo avaliativo no documento das Diretrizes para a Avaliação das Instituições de Educação Superior. Porém não foi seguido e um novo cronograma veio na Resolução nº 1, de 11 de janeiro de 2005, determinando-se um ciclo de avaliação em quatro etapas: 1) agosto de 2004 até maio de 2006 a finalização da auto-avaliação e a entrega dos relatórios; 2) junho de 2006 até setembro de 2006 a realização das avaliações externas; 3) maio de 2006 até dezembro de 2006 a consolidação dos relatórios do INEP para o CONAES; por fim, 4) agosto de 2006 até maio de 2007 a apresentação do parecer final da avaliação. Contudo, a efetiva realização do ciclo avaliativo das IES ainda não se concretizou.
O INEP, seguindo as instruções do CONAES, publicou em 2004 as Orientações Gerais para o Roteiro da Auto-avaliação das Instituições, com o objetivo de auxiliar as CPA no processo de avaliação interna. Porém somente em 2006, mediante a Portaria nº 300, de 30 de janeiro, e a Portaria nº 563, de 21 de fevereiro, é que foram divulgados os procedimentos de avaliação externa (Avaliação Externa de Instituições de Educação Superior: Diretrizes e Instrumento)e ACG (Avaliação de Cursos de Graduação: Instrumento).
As avaliações são realizadas por uma comissão de especialistas in loco, capacitadas e designadas pelo INEP sob orientação da CONAES. A avaliação é realizada em todos os tipos de cursos (bacharelado, licenciatura e tecnologia) e modalidades (presenciais e a distância) por um único instrumento, cumprindo com o objetivo identificar as condições de ensino oferecidas pela IES aos estudantes. As categorias avaliadas no ACG são as seguintes:
TABELA 1: CATEGORIAS DA AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO NO SINAES
CATEGORIA 1: Organização didático-pedagógica – PESO 40
1.1 Administração acadêmica: coordenação do curso
1.2 Administração acadêmica: colegiado de curso
1.3 Projeto Pedagógico do Curso – PPC: concepção do curso
1.4 Projeto Pedagógico do Curso – PPC: currículo
1.5 Projeto Pedagógico do Curso – PPC: avaliação
1.6 Atividades acadêmicas articuladas à formação: prática profissional e/ou estágio
1.7 Atividades acadêmicas articuladas à formação: trabalho de conclusão de curso (TCC)
1.8 Atividades acadêmicas articuladas à formação: atividades complementares
1.9 ENADE
CATEGORIA 2: Corpo docente, corpo discente e corpo técnico-administrativo – PESO 35
2.1 Corpo docente: perfil docente
2.2 Corpo docente: atuação nas atividades acadêmicas
2.3 Corpo discente: atenção aos discentes
2.4 Corpo técnico-administrativo: atuação no âmbito do curso
CATEGORIA 3: Instalações físicas – PESO 25
3.1 Biblioteca: adequação
3.2 Instalações especiais e laboratórios cenários/ambientes/laboratórios para a formação geral/básica/...
3.3 Instalações especiais e laboratórios específicos:cenários/ambientes/laboratórios para a formação profissionalizante/específica
3.4 Instalações especiais e laboratórios específicos: cenários/ambientes/laboratórios para a prática profissional e prestação de serviços à comunidade
FONTE: INEP, 2004.
Mais recentemente, algumas alterações vêm sendo implementadas no SINAES, como por exemplo a emissão de um instrumento de avaliação exclusivo para os cursos de graduação em medicina, autorizado mediante a Portaria nº 474 de 14 de abril de 2008. E ainda, tratando-se especificamente da avaliação externa das IES, o MEC emitiu uma Portaria (nº 1.264, de 17 de outubro de 2008) alterando o que foi previamente acordado no documento Avaliação Externa de Instituições de Educação Superior: Diretrizes e Instrumento. As modificações realizadas no instrumento de avaliação externa trazem novas dimensões avaliativas e redistribuem os respectivos pesos para cada área. A seguinte tabela explicita os critérios atuais:
TABELA 2: DIMENSÕES E PESOS DA AVALIAÇÃO EXTERNA DAS IES NO SINAES
DIMENSÕES DE AVALIAÇÃO |
PESOS |
1. A missão e o plano de desenvolvimento institucional |
5 |
2. A política para o ensino, a pesquisa, a pós-graduação, a extensão e as respectivas normas de operacionalização, incluídos os procedimentos para estímulo à produção acadêmica, para as bolsas de pesquisa, de monitoria e demais modalidades |
35 |
3. A responsabilidade social da instituição, considerada especialmente no que se refere à sua contribuição em relação à inclusão social, ao desenvolvimento econômico e social, à defesa do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural |
5 |
4. A comunicação com a sociedade |
5 |
5. As políticas de pessoal, de carreiras do corpo docente e corpo técnico-administrativo, seu aperfeiçoamento, seu desenvolvimento profissional e suas condições de trabalho |
20 |
6. Organização e gestão da instituição, especialmente o funcionamento e representatividade dos colegiados, sua independência e autonomia na relação com a mantenedora, e a participação dos segmentos da comunidade universitária nos processos decisórios |
5 |
7. Infra-estrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos de informação e comunicação |
10 |
8. Planejamento e avaliação, especialmente em relação aos processos, resultados e eficácia da auto-avaliação institucional |
5 |
9. Políticas de atendimento aos estudantes |
5 |
10. Sustentabilidade financeira, tendo em vista o significado social da continuidade dos compromissos na oferta da educação superior |
5 |
FONTE: Portaria nº 1.264, de 17 de outubro de 2008.
O ENADE é a parte do SINAES que se encontra em um processo mais desenvolvido, pois desde 2004 vem sendo aplicado. O Exame da OAB acontece pelo menos uma vez a cada três anos para cursos de graduação recomendados pela CONAES e aprovados pelo MEC. Os alunos são selecionados por amostragem considerando os ingressantes e concluintes. Está operacionalizado por meio de quatro instrumentos de coleta de dados: 1) prova; 2) questionário de impressões sobre a prova; 3) questionário socioeconômico; 4) questionário aplicado aos coordenadores de curso. E tem como objetivo:
aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, às suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e às suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento, contribuindo assim para a avaliação dos cursos de graduação (INEP, 2004b, p. 9)
O questionário de impressão tem por objetivo verificar o posicionamento do estudante em relação a prova (formato, tamanho, nível de dificuldade, questões, etc.). O questionário socioeconômico visa compor um perfil dos estudantes avaliados e o questionário do coordenador busca colher informações a respeito da prova, do PPC e as condições gerais do curso. O ENADE tem sua base na proposta do CEA denominada de PAIDEIA.
