Graças ao INEP, que liberou as notas do ENEM antes do esperado, milhões de pessoas ganharam um assunto a mais para discutir com a família nas festas de Natal e Ano Novo. Se você pretende participar dessas discussões com alguma ideia além de “odeio o governo e tudo que faz parte dele”, talvez este post ajude. Ele é um pouco longo, mas, como o seu público alvo é formado por pessoas que fizeram a prova do ENEM, isso não deve ser um problema.
A primeira polêmica diz respeito à TRI, ou Teoria de Resposta ao Item, que inclui o conhecido sistema Anti Chutation Tabajara (se você entendeu essa referência, aposto que não é seu primeiro ENEM...). A TRI é um modelo estatístico complexo que, em teoria, ajuda a garantir a justiça da prova, aumenta a qualidade dos dados analisados após o resultado do teste e permitiria até mesmo aplicar provas diferentes e obter resultados justos. Li vários textos a respeito da TRI e, embora nenhum mostre todas as variáveis usadas pelo INEP, é possível ter uma ideia razoável de como o sistema funciona.
De forma extremamente simplificada, o que acontece é o seguinte:
As questões são divididas em fáceis, médias e difíceis. Para se chegar a essa classificação, são feitos testes prévios com alunos do Ensino Médio (daí uma brecha para vazamentos, aliás). Ou seja, a questão mais difícil não é aquela em que VOCÊ teve mais dificuldade, mas sim aquela em que a MÉDIA dos alunos penou um pouco mais. É possível discutir a validade do método, claro, mas o fato é que a distinção não é arbitrária. O ENEM costuma fazer testes com 50 mil alunos.
A nota máxima não é 10 (ou 1000, na escala do ENEM), mas sim um valor baseado no desempenho médio dos candidatos. Vou usar aqui um exemplo prático, comparando com provas que você já fez na escola: se um dia seu professor deu uma prova muito fácil e todos acertaram todas as questões, a classe toda tirou 10, foi uma festa geral e seus pais ficaram muito orgulhosos. Se, no entanto, você tem um pensamento crítico mais apurado, pode ter percebido que essa nota 10 não significa muita coisa, pois até o Joãozinho, que dormiu o bimestre inteiro, conseguiu gabaritar a prova. Ou seja, nesse caso a nota é muito mais um indicador da facilidade da prova do que da capacidade de cada aluno.
Com a TRI é possível, claro, que todos tenham a mesma nota (embora eu desconfie muito que isso um dia vá acontecer com 4 milhões de alunos). O que muda é o valor absoluto atribuído nesse caso. Se, por exemplo, há dez questões e todos os alunos acertaram todas, a nota de cada aluno não será 10, mas 5 (que significa “exatamente dentro da média”). Já se há 10 questões (vamos considerar aqui que todas têm o mesmo peso e que a sala tem 10 estudantes) e um aluno acerta todas, enquanto todos os outros acertam 8, estes últimos devem ter nota 4,39 e o que gabaritou deve ter 5,49, por exemplo. Os números dependem dos parâmetros exatos; aqui eu dei só exemplos aproximados.
No ENEM 2011, por exemplo, as notas mínimas e máximas foram as seguintes:
O que isso quer dizer? Há várias informações que podemos tirar dessa tabela (e, analisando tabelas, você já treina para o próximo ENEM, se tiver ido mal no de 2011). Uma delas é que a prova de Matemática foi a mais difícil e a de Ciências Humanas foi a mais fácil (para a média dos candidatos, obviamente). Outra conclusão é a de que, em Linguagens, houve a menor diferença entre os candidatos com notas mais altas e os que tiveram as pontuações mais baixas (ou seja, provavelmente um número muito grande de pessoas teve as mesmas notas).
Portanto, não escreva nas redes sociais “como eh que eu errei so duas questão e tirei so 750 sacanage as que eu errei valia cada 125 ponto?!?!?!?!? #morrahaddad”. Também não faz sentido reclamar porque você acertou mais questões em Ciências Humanas e ainda assim sua nota foi mais baixa que em Matemática.
Existe um mecanismo antichute, cujos detalhes não são divulgados, mas que leva em conta a probabilidade de um candidato acertar as questões difíceis. Por exemplo, se um candidato acertou a questão fictícia 12 “qual é o volume da pirâmide abaixo?”, mas errou a questão fictícia 47 “qual é a área do triângulo abaixo?”, é bem provável que ele tenha acertado a 12 no chute. Nesse caso, o aluno terá sua nota da questão 12 diminuída (não zerada, de acordo com o INEP). Vamos dizer que a questão 12 vale 3 pontos (já que é uma questão difícil) para quem acertar a 47, mas vale apenas 2,5 pontos para quem errou a 47. Dessa forma, os alunos que chutaram a resposta tendem a ter uma nota mais baixa do que aqueles que sabiam. Mas ainda vale mais a pena chutar do que deixar a questão em branco.
Antes que alguém reclame: sim, eu sei que é perfeitamente possível que o aluno tenha errado ao passar o gabarito, ou que tenha se confundido, ou que estivesse cansado na hora de fazer a questão mais fácil, ou até que tenha estudado em um cursinho que só ensina a resolver questões difíceis. Porém, o que eu quero fazer aqui é explicar, não justificar. Não se tem acesso ao modelo exato que o INEP usa, mas sabemos que é algo nesse sentido. Acredito que o erro maior dos organizadores nesse caso não é nem aplicar um mecanismo antichute, mas sim deixar de explicá-lo em detalhes. Quando as regras do jogo não são claras, sempre parece que alguém está roubando.
Resumindo: suas notas nas questões do ENEM provavelmente fazem sentido, mesmo que você tenha gabaritado uma área e não tenha tirado 1000. “Quer dizer que eu não posso falar mal do governo por causa do ENEM? Vai ser um fim de ano muito chato...”. Não se desespere, jovem padawan: ainda não falamos da redação, esta sim um terreno fértil para reclamações justificadas (e, se a sua não for justificada, coloque no meio das outras disfarçadamente que ninguém vai perceber...).
Ao contrário das questões, a redação do ENEM recebe uma pontuação tradicional, de 0 a 1000. Portanto, nada de TRI, antichute nem pesos diferentes. Curiosamente, porém, é na correção de textos que há a maior injustiça da prova.
Charge ligeiramente exagerada sobre a correção de redações do ENEM
Quem acompanha as provas de vestibulares há algum tempo (no meu caso, há doze anos) percebe reclamações sobre as notas, eventualmente. No entanto, somando todas as reclamações que eu já ouvi sobre a Unicamp, a Fuvest e todas as provas feitas pela Vunesp, o número não chega nem perto das ouvidas após cada uma das edições do ENEM. Essas reclamações não são apenas de alunos que tiraram notas baixas, mas até, muito curiosamente, de alunos que tiveram um resultado melhor do que o esperado.
Se você ligou para o 0800 do INEP, deve estar cansado de saber como funciona a correção do ENEM, mas vou explicar aqui para o caso de você não ter perdido seu tempo com esse telefone: há dois corretores para cada redação. As notas dadas por um não são conhecidas pelo outro. Se houver uma discrepância de mais de 300 pontos, a redação é corrigida por um terceiro corretor, cuja nota substitui as outras. Até aí, nada absurdo: é o mesmo processo usado em várias provas sérias pelo Brasil. Não vou comentar cada um dos cinco critérios usados para pontuar os textos, mas você encontra um link para eles no final do post.
O verdadeiro problema é uma falta de qualidade dos profissionais, que se dá pelo próprio gigantismo do ENEM. Este ano, quase 4 milhões de pessoas prestaram o exame (para se ter uma ideia, o número de candidatos na Unicamp é de cerca de 50 mil e na Fuvest é próximo de 150 mil), o que exigiria, para a correção dos textos, um número enorme de corretores (calculo algo em torno de 10 mil; de acordo com informações do UOL, foram 3.190 corretores e 160 supervisores, lendo em média 3,3 mil redações em cerca de um mês). As exigências são muito baixas: formação em Letras e no mínimo dois anos de experiência na função. Imagino que a “função” seja a de corretor de textos, o que é um tanto vago, já que a maioria das escolas não tem um profissional específico para isso e delega a tarefa ao professor de Língua Portuguesa. E, como qualquer um que já trabalhou alguns anos na área sabe, a correção de redações na escola é um processo bastante subjetivo e evitado pela maioria dos professores, já que leva um tempo longo e não remunera adequadamente o profissional. Aliás, já falei sobre isso num de meus primeiros posts: http://temqueportitulo.blogspot.com/2011/11/de-onde-vem-as-lendas-de-redacao-parte_1170.html
A dificuldade não se resume, no entanto, à ausência de bons profissionais de Redação no Brasil. Há também o pagamento baixo, que leva os melhores corretores a não se interessar pelo trabalho, e a falta de treinamento. De acordo com reportagem do jornal Estado de S.P., de 25 de fevereiro de 2010, (http://www.estadao.com.br/noticias/impresso,centro-atrasa-pagamento-de-corretor-do-enem,515876,0.htm) muitos corretores tiveram um treinamento de apenas 3 horas antes de começar o trabalho e outros nunca tiveram um curso presencial de correção, apenas orientações passadas online por supervisores. O valor pago em 2009 foi de 1 real por redação e o número de textos a corrigir por dia (entre 100 e 200) impossibilitava uma leitura mais atenta. Mas o que mais me chamou a atenção nessa reportagem foi uma fala de Luiz Mário Couto, coordenador de provas da Cespe: "São todos professores de língua portuguesa, não cabe a nós ensiná-los como corrigir”. Ora, essa declaração parece ignorar completamente o estado da educação no Brasil. Ser professor de português não significa que a pessoa saiba atribuir notas a um texto, muito menos que um dia tenha sido preparada para isso. Muito mais importante, os critérios específicos de cada prova têm sim que ser ensinados, mesmo para corretores experientes. Caso contrário, um corretor que costuma trabalhar na Fuvest, por exemplo, terá um grau de exigência muito maior do que um professor que corrige redações de alunos do primeiro grau em uma escola pública.
O que concluímos até aqui, caro leitor? Concluímos que, no ENEM, o principal fator que determina a pontuação de um texto é a personalidade do corretor. Como há muitos profissionais com pouca formação e quase nenhum treinamento específico, é natural que as notas sejam atribuídas a partir de critérios subjetivos. Um deles, aliás, é incentivado pelo próprio INEP: o respeito aos direitos humanos. Esse critério (que não existe em nenhuma prova séria) abre uma brecha gigantesca para que os corretores levem em conta seus próprios valores na hora da correção. Por exemplo, se um candidato escreve um texto que defende a preservação da Amazônia (esse tema cai no ENEM a cada 3 anos, aproximadamente), mesmo que para isso várias comunidades percam o seu sustento, um corretor pode considerar que o texto desrespeitou os direitos humanos e, dessa forma, sua nota será mais baixa. Outro corretor, no entanto, pode acreditar que a preservação ambiental é muito importante para que o maior dos direitos humanos, a vida, seja respeitado. Esse outro profissional daria uma nota alta à redação nesse critério.
É verdade que há dois corretores e que, se as notas dadas forem muito discrepantes, haverá uma terceira correção. Mas esse método não funciona se houver um baixo nível de exigência por parte dos organizadores da prova. Dessa forma, a probabilidade de uma redação qualquer ser corrigida por dois profissionais pouco preparados é muito alta. E é bastante provável que esses corretores levem em conta não os critérios que provam a qualidade do texto, mas sim seu gosto subjetivo. Se ambos tiverem uma opinião parecida (o que é sempre possível), a prova não será mandada para a terceira correção. Também pode acontecer de um corretor querer evitar que seus textos vão para uma terceira correção, pois um excesso de redações com discrepância pode levá-lo a não conseguir o trabalho no ano seguinte. Qual seria a melhor forma de garantir isso sem muito esforço? Basta dar 500 a todos os textos, porque dessa forma só haverá discrepância se o outro corretor der notas acima de 800 ou abaixo de 200, o que são casos bem mais raros. Se quiser garantir mesmo, o corretor pode ler rapidamente cada texto e dar nota 600 ou 700 para os que parecerem minimamente adequados e 300 ou 400 para os que estiverem com muitos problemas de gramática. Ou seja, a correção de redações do ENEM é muito mais aleatória do que deveria.
Portanto, se quiser criticar o ENEM, não gaste sua energia reclamando das notas difíceis de calcular por causa da TRI. A correção da redação é muito mais problemática e injusta e merece um volume de críticas bem maior.
(Atualizado em 27/11: graças à leitura do site enemurgente.com, percebi um detalhe que tinha deixado passar: a fórmula do TRI faz com que nenhum matéria tenha pontuação 1000 e leva em conta o desvio padrão. No entanto, a redação pode chegar à pontuação máxima (com alguma sorte) e ignora totalmente a dificuldade do tema e o desempenho dos demais candidatos. Dessa forma, temos dois critérios muito diferentes compondo uma média, o que faz com que o exame seja ainda menos preciso do que parece!)
(Atualizado em 27/11: graças à leitura do site enemurgente.com, percebi um detalhe que tinha deixado passar: a fórmula do TRI faz com que nenhum matéria tenha pontuação 1000 e leva em conta o desvio padrão. No entanto, a redação pode chegar à pontuação máxima (com alguma sorte) e ignora totalmente a dificuldade do tema e o desempenho dos demais candidatos. Dessa forma, temos dois critérios muito diferentes compondo uma média, o que faz com que o exame seja ainda menos preciso do que parece!)
É isso por enquanto. Tenho algumas sugestões sobre esse assunto, mas, como isto não é uma redação do ENEM, a proposta não é obrigatória e eu vou deixar para outro post. Aceito sugestões nos comentários também e prometo comentá-las assim que possível. Até a próxima e boas festas.
Alguns link úteis para quem quiser se aprofundar:
Site do movimento ENEM URGENTE, com mais detalhes sobre o TRI e uma proposta de mobilização contra o atual modelo do ENEM:
http://www.enemurgente.com/
Declaração de um corretor a um blog da revista Veja:
http://veja.abril.com.br/blog/reinaldo/geral/um-relato-que-denuncia-que-o-enem-de-haddad-e-irresponsavel-e-fonte-de-injustica-o-aluno-depende-do-arbitrio-de-quem-corrige-a-prova-nao-da-sua-competencia/
Site do movimento ENEM URGENTE, com mais detalhes sobre o TRI e uma proposta de mobilização contra o atual modelo do ENEM:
http://www.enemurgente.com/
Declaração de um corretor a um blog da revista Veja:
http://veja.abril.com.br/blog/reinaldo/geral/um-relato-que-denuncia-que-o-enem-de-haddad-e-irresponsavel-e-fonte-de-injustica-o-aluno-depende-do-arbitrio-de-quem-corrige-a-prova-nao-da-sua-competencia/
Respostas para várias dúvidas sobre o ENEM:
Texto explicando o funcionamento da TRI:
Critérios de correção da redação ENEM:
