A avaliação quadrienal realizada pela CAPES envolve 3 quesitos:
- Programa,
- Formação e
- Impacto.
O quesito Formação é o mais importante porque ele representa o teto da avaliação do Programa: a nota do PPG nunca pode ser superior àquela correspondente ao seu conceito de Formação, composto majoritariamente (70%) pela produção intelectual de seus docentes, discentes e egressos.
Quanto a esta produção, um ponto que parece desafiar o senso comum da comunidade acadêmica é a produção discente ter peso maior que a produção docente, para fins de avaliação.
No quesito Formação, há uma divisão igualitária entre a avaliação de discentes e egressos (50%) e docentes (50%).
Analisando o conteúdo desses pontos, percebemos que a soma dos pesos dos itens 2.1 e 2.2 (40%), que mensuram a produção de discentes e egressos, é maior que a do item 2.4 (30%), que contabiliza a produção dos docentes.
A relevância particular de cada um desses elementos se torna mais clara quando desdobramos os itens nos subitens que o compõem:
Essa tabela mostra que, individualmente, o elemento mais relevante para o quesito Formação é a qualidade das dissertações (2.1.1), que são medidas por meio da análise individualizada de 5 produtos, escolhidos e indicados pelo Programa.
O volume da produção global de discentes e egressos (2.2.1) conta o dobro da produção global dos docentes permanentes (2.4.1), que tem um peso relativamente pequeno (20%) dentro do item. Isso significa que, provavelmente, se o PPG tiver uma boa nota na produção qualificada (que contabiliza 1 produto por ano de atividade, para cada docente permanente), a produção global dos docentes terá pouca relevância para o cálculo do conceito de Formação.
Já a produção global de discentes, repercute diretamente no conceito do item 2.2, do qual ele compõe 60%. Essa combinação de parâmetros faz com que seja vital para os programas profissionais a identificação minuciosa da produção discente, bem como da produção dos egressos, que precisam ser devidamente monitorados ao longo de 5 anos.
Outro ponto relevante é que a existência de um conjunto relativamente grande de autores, na população total de discentes e de egressos, tem um impacto próximo ao da produção global. Por esse motivo, a existência de uma proporção alta de discentes e docentes com produção intelectual lançada na Plataforma Sucupira é mais importante do que a contabilização de um número reduzido de publicações altamente qualificadas.
Um programa que consegue garantir que todos os discentes tenham ao menos uma publicação no quadriênio (o que pode envolver trabalhos técnicos e não apenas bibliográficos) tende a alcançar uma boa nota no subitem 2.2.2, o que pode contribuir decisivamente para um conceito superior no quesito Formação.
Esse motivo faz com que seja vital para os programas a manutenção de um monitoramento criterioso dos egressos. Além disso, tal acompanhamento é importante para viabilizar a indicação, no último ano do quadriênio, da ocupação efetiva dos titulados (item 2.3.1), que representa 90% do conceito do item 2.3. Já a avaliação qualitativa dos egressos tem um peso muito pequeno, ainda que seja um indicador interessante de relevância do curso (item 2.3.2).
Diversamente do que ocorre quanto a discentes e egressos, o mais importante para os docentes é que cada professor permanente tenha ao menos um produto de grande valor, por ano de atuação, para ser indicado como produção qualificada. Docentes que têm muitos produtos que agregam menos valor (como palestras, capítulos de livro, organização de coletânea e boa parte da produção técnica) contribuem significativamente para a nota global, mas podem terminar gerando uma redução da média da produção qualificada (que só contabiliza até 4 produtos por docente).
Por esse motivo, é mais estratégico que cada docente concentre seus esforços na elaboração de um produto anual de grande relevância (livros e artigos do estrato superior do Qualis). Além disso, um docente que não tenha ao menos 4 produtos medianos para serem contabilizados pode gerar um grande impacto na média. Um docente sem nenhuma produção provavelmente terá impacto negativo mais intenso na produção qualificada que o impacto positivo de um docente com produção excepcional.
Tendo em vista este panorama, percebe-se a necessidade de que os PPGs tenham uma política adequada de publicação, na qual é necessário garantir:
- Publicação qualificada mínima de um produto anual de alta pontuação, para os docentes permanentes;
- Acompanhamento efetivo dos egressos, para incorporar a sua produção ao relatório, dando preferência à identificação da produção de ex-alunos que não tenham publicações previamente identificadas;
- Fomento à publicação dos discentes, especialmente de trabalhos técnicos, que possam garantir a contabilização de todos os estudantes na categoria de discentes-autores, além de fortalecer o impacto social do programa.
