1. Avaliação Quadrienal
Uma das principais funções da CAPES é realizar a Avaliação do Sistema Nacional de Pós-Graduação (SNPG), que afere a qualidade dos programas de pós-graduação (PPGs) do país, atribuindo a cada um deles uma nota em uma escala de 1 a 7.
Este processo é formalmente chamado de Avaliação Quadrienal de Permanência, pois afere o desempenho de cada programa dentro de um período de quatro anos, para determinar se ele tem a qualidade mínima para continuar integrando o SNPG.
Além disso, as notas de cada Programa servem como referência para a distribuição de bolsas e recursos de fomento, bem como para orientar a CAPES na formulação de políticas públicas.
Até 2012, essa avaliação era feita em triênios. Desde então, por força da Resolução CAPES 5/2014, ela se tornou quadrienal. A primeira quadrienal envolveu os anos 2013-2016 e a segunda abrangeu os anos 2027-2020. Chegamos agora ao final da terceira quadrienal (2021-2024), que será realizada com base nos relatórios apresentados por cada Programa, no início de 2025.
A coleta dos dados é feita por meio da Plataforma Sucupira, na qual os programas apresentam relatórios anuais de suas atividades, chamados de Coleta CAPES. Ao final do período, o Programa apresenta também um relatório minucioso, que descreve a evolução de sua estrutura, contabiliza os resultados alcançados e identifica os elementos mais importantes de sua produção.
Embora o formato geral da avaliação seja padronizado para as 50 áreas de avaliação abrangidas pelo Sistema Naciona de Pós-Graduação, cada uma dessas áreas define uma ficha de avaliação específica, que orienta a elaboração dos relatórios de atividades apresentados pelos programas.
O Direito tem uma área própria, que disponibiliza na internet uma série de informações relevantes, tais como:
- Documento de área: relatório que faz um diagnóstico geral da pós-graduação em direito, a partir da análise dos dados obtidos na avaliação quadrienal anterior, analisa as suas perspectivas de futuro e estabelece orientações para o desenvolvimento da área no período subsequente de avaliação;
- Ficha de avaliação: instrumento utilizado como base para a avaliação quadrienal, apresentando os critérios utilizados para mensurar a qualidade dos Programas;
- Relatório do Seminário de Meio Termo: no terceiro ano da quadrienal, a CAPES realiza o Seminário de Meio Termo, em que é feito um relatório preliminar sobre o estado dos PPGs e são feitas orientações gerais acerca do processo de avaliação.
- Relatório da Avaliação Quadrienal: consolidação dos dados produzidos na quadrienal, expondo os seus resultados em contraste com os processos anteriores de avaliação.
2. Significado das notas
Conforme a Portaria CAPES 122/2021, a avaliação é feita com a atribuição de uma nota de 1 a 7, que corresponde aos seguintes conceitos:
- Nota 1: Insuficiente.
- Nota 2: Fraco.
- Nota 3: Regular.
- Nota 4: Bom.
- Nota 5: Muito Bom. Até este patamar, a nota do Programa é definida por uma média dos conceitos obtidos em cada quesito de avaliação, segundo os pesos definidos na ficha de avaliação. Ainda que vários dos itens avaliados sejam qualitativos, a sua avaliação envolve a atribuição de uma determinada nota, que é usada para o cálculo da nota geral do Programa.
- Nota 6: Para chegar à nota 6, não basta alcançar os patamares definidos como ótimos na ficha de avaliação. Essa nota não exige apenas conceitos altos em todos os itens avaliados, mas também envolve o reconhecimento, pelos avaliadores, de que o impacto social de um determinado PPG o diferencia qualitativamente da média dos demais programas de nota 5.
- Nota 7: A passagem para a nota 7 também envolve uma avaliação qualitativa e comparativa, que leva em conta especialmente o destaque do PPG quanto aos indicadores de inserção e impacto internacional do programa.
3. Quesitos e conceitos
3.1 Quesitos
A avaliação se concentra em 3 quesitos básicos, que são subdivididos em itens mais específicos (Resolução CAPES 5/2014).
- 1: Programa
- 2: Formação
- 3: Impacto
3.2 Conceitos
Cada um dos quesitos e itens é avaliado em uma métrica consistente em conceitos:
- Insuficiente (I)
- Fraco (F)
- Regular (R)
- Bom (B)
- Muito Bom (MB)
- Não Aplicável (NA)
3.3 Dos conceitos às notas
Quanto mais alta a Nota do programa, mais estritas são as exigências em termos de conceitos recebidos. Como padrão, os programas iniciam com Nota 3 (Regular) e caem ou sobem em função da evolução de sua avaliação.
Para subir para 4, é necessário um conceito Bom no Quesito 2 e uma combinação de no mínimo de Bom e Regular nos quesitos 1 e 2.
Para subir para 5, o programa precisa ter um Muito Bom no quesito Formação (que é majoritariamente composto pela produção docente e discente) e uma combinação de Muito Bom e Bom nos demais quesitos.
Já para alcançar a Nota 6, o programa precisa ter um curso de doutorado, receber Muito Bom nos 3 quesitos e somente pode ter conceito Bom em 2 dos 12 itens que são avaliados na combinação de todos os quesitos.
Por fim, para ser alçado ao 7, o programa precisa ter conceito Muito Bom em todos os itens de cada um dos quesitos avaliados. Assim, qualquer fragilidade do Programa inviabiliza alcançar ou manter a nota máxima, ainda que existam elementos qualitativos que diferenciem qualitativamente o PPG.
3.4 Tabela com os quesitos e itens
4. Composição dos Quesitos
Quesito 2: Formação
Iniciaremos pelo segundo quesito porque ele é o critério básico para a avaliação, na medida em que estabelece o teto da nota do programa. Independentemente o seu conceito nos quesitos Programa e Impacto, a nota do programa não pode ser maior que o conceito recebido no quesito Formação.
Um conceito regular em Formação impede que o Programa avance além da nota 3, avaliação típica dos cursos que estão no início de sua trajetória. Assim, o desafio primordial de cursos recentes é alcançar um conceito Bom no quesito Formação, para poder avançar para a nota 4, que já viabiliza iniciar o processo de abertura de um curso de doutorado.
O conceito desse quesito é definido pela combinação das notas conferidas aos seguintes itens, cada qual com um peso específico definido pela Comissão de Área.
- item 2.1: qualidade e adequação das teses, dissertações ou equivalente em relação às áreas de concentração e linhas de pesquisa do programa (20%);
- item 2.2: qualidade da produção intelectual de discentes e egressos (20%);
- item 2.3: destino, atuação e avaliação dos egressos do programa em relação à formação recebida (10%);
- item 2.4: qualidade das atividades de pesquisa e da produção intelectual do corpo docente do programa (30%); e
- item 2.5: qualidade e envolvimento do corpo docente em relação às atividades de formação no programa (20%).
Nota-se, portanto, que 70% do quesito formação corresponde a uma avaliação da produção discente (40%) e docente (30%).
Quesitos 1 e 3: Programa e Impacto
Esses dois quesitos complementam a definição da nota, nos termos do art. 27 da Resolução CAPES 5/2014.
Mesmo que a nota recebida no Quesito Formação seja mais alta, se ele receber um conceito menor tanto no Quesito 1 quanto no 3, a nota será correspondente a esse conceito mais baixo.
Por exemplo, um PPG que receba Bom em Formação tem a possibilidade de alcançar nota 4, mesmo sendo avaliado como regular em um dos outros quesitos. Porém, se ele receber um conceito regular tanto em Programa como em Impacto, sua nota será 3.
O quesito Programa envolve os seguintes pontos:
- item 1.1: articulação, aderência e atualização das áreas de concentração, linhas de pesquisa, projetos em andamento e estrutura curricular, bem como a infraestrutura disponível, em relação aos objetivos, missão e modalidade do programa (40%);
- item 1.2: perfil do corpo docente, e sua compatibilidade e adequação à Proposta do Programa (40%);
- item 1.3: planejamento estratégico do programa, considerando também articulações com o planejamento estratégico da instituição, com vistas à gestão do seu desenvolvimento futuro, adequação e melhorias da infraestrutura e melhor formação de seus alunos, vinculada à produção intelectual - bibliográfica, técnica e/ou artística (10%); e
- item 1.4: processos, procedimentos e resultados da autoavaliação do programa, com foco na formação discente e na produção intelectual (10%).
Já o quesito Impacto envolve os seguintes elementos:
- item 3.1: impacto e caráter inovador da produção intelectual em função da natureza do programa (35%);
- item 3.2: impacto econômico, social e cultural do programa (35%); e
- item 3.3: internacionalização, inserção (local, regional, nacional) e visibilidade do programa (30%).
5. Coleta CAPES
Para manter atualizado o monitoramento dos programas e permitir que eles estabeleçam políticas adequadas para a busca de notas mais altas, a CAPES promove uma atualização anual das informações.
No início de cada ano (tipicamente, no começo do segundo trimestre), os PPGs precisam apresentar para a CAPES os dados do programa (produção, docentes, turmas, etc.) relativos ao ano anterior. Essa apresentação é feita mediante um relatório chamado Coleta CAPES, que é enviado por meio da atualização das informações do programa no banco de dados da Plataforma Sucupira.
O preenchimento do Coleta CAPES exige um esforço de todos os envolvidos na comunidade acadêmica, tendo em vista que cumpre a cada pessoa lançar adequadamente os dados de suas atividades e produções no Currículo Lattes, e cabe às secretarias e coordenações importar esses dados e inseri-los adequadamente na Plataforma Sucupira.
Tal lançamento envolve não apenas a descrição minuciosa de cada produto, mas também uma classificação de cada obra bibliográfica e trabalho técnico, mostrando a sua vinculação aos projetos de pesquisa de cada PPG.
A necessidade de mostrar a aderência da produção aos projetos de pesquisa faz com que uma das tarefas fundamentais do Programa seja estabelecer um conjunto abrangente e sistemático de projetos, capazes de acomodar toda a produção relevante.
Além disso, considerando o rigor dos critérios de avaliação, você entenderá porque todo Programa insta recorrentemente seus estudantes, docentes e egressos a manter atualizadas as informações publicamente disponíveis no Currículo Lattes, fundamentais para o devido preenchimento do Coleta.
Mesmo que exista uma funcionalidade que importa os dados do Lattes dos docentes para o Sucupira, deve-se ter em mente que os critérios de classificação exigidos pela Plataforma Sucupira são bem mais complexos que aqueles contidos no Currículo Lattes. Além disso, enquanto o Lattes é meramente declaratório (pois cada pesquisador se limita a indicar a sua produção), o Sucupira tipicamente exige a inserção de arquivos que comprovem a existência dos produtos técnicos e bibliográficos. Por fim, uma parcela relevante da avaliação depende de dados sobre a produção de discentes e de egressos, que não podem ser diretamente importados do currículo Lattes.
A soma desses fatores caz com que a incorporação dos dados de produção no Coleta CAPES envolve a classificação de cada um dos elementos de produção, segundo os parâmetros e exigências definidos na Plataforma Sucupira, o que faz com que o preenchimento do Coleta seja uma das etapas mais delicadas e laboriosas dos trabalhos das coordenações dos cursos e de suas secretarias.
Se você observar a imagem inicial desse post, entenderá os motivos pelos quais a contagem regressiva nela contida é acompanhada dia a dia pelas pessoas envolvidas na gestão dos PPGs, que normalmente travam uma luta contra o tempo para coletar e lançar todos os dados necessários à obtenção de uma avaliação adequada.