Marcos Barbosa de Oliveira é professor da Faculdade de Educação da Universidade de São Paulo (FE-USP)
Um dos focos centrais no debate sobre a avaliação na Universidade é a distinção entre o quantitativo e o qualitativo. Na disputa, confrontam-se, de um lado, os partidários das avaliações quantitativas, defendidas como mais objetivas, infensas às distorções decorrentes de relações de clientelismo e compadrio, e consequentemente mais adequadas ao espírito da meritocracia. De outro lado, os que veem a qualidade como valor essencial das criações da mente humana, não só acadêmicas, mas também artísticas. Ninguém diria, por exemplo, que um país A é duas vezes melhor em pintura que o país B, em virtude de A produzir o dobro de quadros que B, sem levar em conta a qualidade das obras.
No discurso de ambas as partes em disputa, entretanto, adota-se implicitamente o pressuposto de que a distinção entre os dois tipos de avaliação é simples, e evidente para todos, dispensando explicações ou análise. Um exame mais detido revela uma relação bem mais complexa, cuja análise remete, como veremos, a questões tradicionais da Filosofia – questões ontológicas e epistemológicas.
Em qualquer enunciado quantitativo, há referência a uma qualidade. “Essa abóbora pesa 3 quilos” refere-se à qualidade peso da abóbora (que além dessa tem, é claro, outras qualidades, como o volume, a densidade, a cor etc.). As avaliações qualitativas também se referem a uma qualidade – no contexto que nos interessa, a qualidade acadêmica. A diferença entre as modalidades, portanto, não consiste em que as avaliações quantitativas dizem respeito apenas a quantidades.
Numa segunda tentativa, pode-se pensar que apenas as avaliações quantitativas, e não as qualitativas, se expressam em números. Mas, de novo, a ideia não se sustenta. Consideremos, por exemplo, um caso típico de avaliação qualitativa, o da avaliação de redações na escola, em concursos, exames vestibulares e congêneres. O resultado completo de uma avaliação desse tipo deve ser expresso na forma de um parecer, em que se indicam as virtudes, defeitos etc. do trabalho. O procedimento usual, no entanto, é o que consiste em apresentar o resultado de modo radicalmente sumário, por meio de um único número – a nota –, tomada como a medida da qualidade da redação. Embora limitadas por seu caráter sumário, as avaliações expressas em notas têm óbvias e importantes vantagens do ponto de vista operacional – que constituem, na verdade, as razões para sua adoção. De qualquer modo, parece nada haver de absurdo ou essencialmente inaceitável em se resumir o saldo das virtudes menos os defeitos de uma redação numa nota. (Algumas modalidades de avaliação qualitativa expressam os resultados não por meio de números, mas de letras, ou “conceitos” [A, B, C etc.], refinados ou não por sobrescritos [A+, A– etc.], ou então por adjetivos [péssimo, ruim, mediano, bom, ótimo]. Diferentemente dos números, tais alternativas não têm conotações quantitativas, porém do ponto de vista operacional essa diferença não é relevante.)
Generalizando, pode-se afirmar que avaliações qualitativas podem ser expressas em números, não sendo essa, portanto, uma característica que as diferencie das avaliações quantitativas.
A terceira tentativa conduz à análise que propomos. Ela diz respeito à natureza de cada modalidade de avaliação, no seguinte sentido. A qualidade acadêmica é uma entidade complexa, composta de muitas outras qualidades. Consideremos, por exemplo, uma pesquisa, relatada num artigo. Sua qualidade acadêmica é função de sua originalidade, relevância, coerência, solidez argumentativa etc. Esse mix de qualidades, além do mais, não é uniforme: varia em sua composição, e no peso atribuído a cada uma, de domínio para domínio, no mundo acadêmico. A adequação empírica – isto é, a boa relação entre as afirmações teóricas e as evidências empíricas –, crucialmente importante nas ciências naturais e sociais, de maneira geral não é um critério que se aplique no domínio das humanidades. Nestas, por outro lado, leva-se em conta a qualidade literária do texto, pouquíssimo valorizada nas ciências naturais.
A qualidade acadêmica, bem como suas qualidades componentes, em cada contexto, são valores – diferentemente das qualidades medidas pelas avaliações quantitativas, que, por si só, são factuais, axiologicamente neutras.
Essas duas características da qualidade acadêmica fazem com que ela seja vaga, e essa vagueza abre espaço para a subjetividade, no sentido de que diferentes avaliadores podem chegar a resultados diferentes. As qualidades que são objeto das avaliações quantitativas, em contraste, são nítidas, no sentido de que não causam divergências entre os resultados a que chegam diferentes avaliadores. Podem inclusive ser realizadas por sistemas computacionais – como, p. ex., o número de artigos publicados por um pesquisador.
A subjetividade das avaliações qualitativas não é completa, como a de um gosto que não se discute: elas envolvem a objetividade como um princípio regulador, um ideal que se procura atingir. Uma avaliação qualitativa se faz com base em critérios, implícitos ou, com maior frequência, explicitamente estipulados. Tais critérios correspondem às qualidades componentes da qualidade acadêmica; o objetivo da estipulação é tornar tão precisa quanto possível sua caracterização ou, em outras palavras, reduzir sua vagueza. A norma para o avaliador é a de que ele deve se pautar apenas pelos critérios estabelecidos, procurando evitar a influência de fatores espúrios – como interesses pessoais, preconceitos de raça, gênero ou religião etc. – que desviam o processo do caminho da objetividade. Toda essa maneira de conceber as avaliações qualitativas tem como pressuposto a existência na realidade – e não apenas na mente do avaliador – das qualidades em jogo. O problema da vagueza da qualidade acadêmica, que dá margem a divergências nos resultados de diferentes avaliadores, situa-se na esfera não da ontologia, mas da epistemologia.
Outra característica importante das novas formas de avaliação é a de que muitas delas consistem em processos complexos, formados por várias etapas, podendo a natureza de cada uma ser quantitativa ou qualitativa. Considere-se, por exemplo, o número de artigos publicados (NA). À primeira vista, NA parece ter uma natureza puramente quantitativa. Um exame mais detido, entretanto, traz à tona o sistema de revisão por pares – em que os pareceristas, com base em avaliações qualitativas, recomendam ou desrecomendam a publicação dos artigos. A determinação de NA envolve, portanto, uma etapa essencialmente quantitativa – a contagem de artigos – mas também uma etapa preliminar qualitativa, que delimita o conjunto de artigos a serem contados. Num plano mais geral, a implicação do exemplo é a de que a distinção quantitativo/qualitativo na avaliação não constitui uma dicotomia, mas sim uma questão de grau.
Este texto é um prolegômeno a uma série de pequenos ensaios que planejo escrever a respeito da avaliação na academia. Os temas a serem abordados incluem, entre outros, o papel das citações na avaliação de artigos, as formas tradicionais de avaliação (especialmente defesas de dissertações e teses, concursos de livre-docência), avaliações expressas em números enquanto medições, a cientometria, os rankings universitários. A ideia é a de que, embora fazendo parte de um conjunto, cada ensaio possa ser lido de forma independente.
Uma última observação: não encontrei na literatura análise alguma da distinção quantitativo/qualitativo semelhante a esta. Se alguém souber de alguma, agradeceria a indicação. (Meu e-mail: Este endereço de email está sendo protegido de spambots. Você precisa do JavaScript ativado para vê-lo.)
