Canvas: apelidos no fim do alfabeto recebem notas mais baixas

Se o seu apelido começa por uma das últimas letras do alfabeto inglês, poderá estar em desvantagem. Como se já não bastasse ter de esperar pela sua vez nas chamadas, poderá também ter maior probabilidade de receber classificações mais baixas e comentários negativos nos trabalhos.

Esta é a conclusão de uma equipa da Universidade do Michigan, que analisou mais de 30 milhões de registos de estudantes relativos a avaliações submetidas e classificadas através do sistema de gestão da aprendizagem (LMS) Canvas.

Viés sequencial na classificação no Canvas

Os investigadores verificaram que este viés sequencial se manifesta em toda a universidade, independentemente da disciplina. No entanto, é mais acentuado nas ciências sociais e nas humanidades, afetando menos áreas como engenharia, ciência e medicina. Isto poderá dever-se ao facto de os trabalhos em ciências sociais permitirem mais interpretação e serem, por isso, mais difíceis de avaliar, ao contrário dos de engenharia, ciência ou medicina, que tendem a ter respostas mais concretas e específicas.

Embora o fenómeno esteja associado à ordenação alfabética devido às definições predefinidas do Canvas, o estudo revela um padrão claro: a qualidade da classificação diminui à medida que os avaliadores avançam pelos trabalhos.

Os estudantes avaliados mais cedo por terem apelidos começados por A, B, C, D ou E receberam classificações 0.3 pontos mais elevadas, num total possível de 100 pontos, do que aquelas que obtiveram quando a ordem de classificação foi aleatorizada.

Por sua vez, os alunos cujos apelidos começam entre U e Z receberam classificações 0.3 pontos mais baixas quando a correção foi feita por ordem alfabética do que quando a sequência foi aleatória.

A ordem revelou-se relevante mesmo fora do contexto alfabético. Os primeiros dez trabalhos classificados receberam, habitualmente, cerca de 3.5 pontos por 100 a mais do que os avaliados entre a 50.ª e a 60.ª posições.

Entre o pequeno grupo de avaliadores que corrigiu por ordem alfabética inversa, de Z a A, o viés associado à inicial do apelido inverteu-se quase exatamente. Isto significa que os estudantes com apelidos entre A e E ficaram em pior situação do que os seus colegas com apelidos entre U e Z.

Fadiga dos avaliadores e carga de trabalho

Antes de culpar os professores, os investigadores salientam que a fadiga dos avaliadores é um fator essencial neste fenómeno. Não é surpreendente que um avaliador fique exausto e um pouco mais brusco perto do fim do período de correção: em muitos lugares do mundo, os académicos trabalham em excesso, são mal remunerados e não têm segurança no emprego.

"Suspeitamos que a fadiga é um dos principais fatores que impulsionam este efeito, porque, quando se trabalha em algo durante muito tempo, fica-se cansado, começa-se a perder a atenção e as capacidades cognitivas diminuem", afirma a cientista social computacional Jiaxin Pei.

Wang e os seus colegas sugerem que as instituições de ensino poderão ter de contratar avaliadores adicionais para reduzir a carga de trabalho dos funcionários e validar as classificações de forma cruzada, diminuindo os possíveis efeitos da fadiga dos avaliadores.

Comentários, reclamações e qualidade da classificação

Não era evidente que as notas mais baixas correspondessem necessariamente a uma pior qualidade de classificação. Por isso, a equipa analisou os comentários dos avaliadores, bem como as perguntas apresentadas pelos estudantes após a avaliação e os pedidos de reapreciação, para excluir a hipótese de os avaliadores simplesmente se tornarem melhores a detetar erros ao longo da correção.

Concluíram que os comentários dos avaliadores tendiam a ser mais negativos e menos educados quando o trabalho era corrigido mais tarde. Além disso, os resultados desses trabalhos tinham maior probabilidade de ser contestados.

"Isto indica diretamente que a qualidade da classificação é, de facto, inferior para os trabalhos avaliados mais tarde e para estudantes com apelidos mais próximos do fim do alfabeto", escrevem os autores.

O Canvas é o LMS mais utilizado a nível mundial e a ordem alfabética é a sua configuração predefinida para organizar os trabalhos dos estudantes para classificação. Segundo os investigadores, a solução mais simples para combater o viés sequencial seria tornar a ordenação aleatória na configuração predefinida.

"A conceção do sistema do LMS transforma o viés individual na classificação numa disparidade generalizada contra os estudantes com apelidos no fim do alfabeto", escrevem os investigadores.

Este documento de trabalho ainda não foi publicado, mas está sob revisão pela Management Science.