A audiência está marcada na sede do MPF em Uberlândia (MG), onde foi aberto um inquérito civil público para apurar se o fato de as duas aplicações do Enem 2016 terem números muito diferentes de candidatos influenciou no resultado final, e se isso prejudicou os alunos da segunda aplicação.

O evento, que é aberto ao público, será às 14h no Auditório da Procuradoria da República, localizado na Rua São Paulo, nº 35, no Bairro Tibery. O G1 entrou em contato com o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) para saber se o instituto enviará representante para audiência e aguarda retorno.

Em 2016, por causa das ocupações estudantis, o exame foi aplicado duas vezes: a primeira em 5 e 6 de novembro, com a participação de 5,8 milhões de alunos, e a segunda em 3 e 4 de dezembro, em que fizeram as provas menos de 170 mil candidatos.

O procurador da República Leonardo Andrade Macedo, responsável pela investigação, explicou que o laudo pericial é complexo e extenso.

"Em síntese, o perito identificou algumas inconsistências no Enem e apresentou sugestões de aperfeiçoamento. Por isso, entendemos importante convocar a audiência pública para que o perito tenha a oportunidade de esclarecer eventuais dúvidas. A audiência também permitirá obter contribuições para subsidiar a atuação do MPF nesse caso", disse.

Resultado da perícia

A perícia foi realizada por Tufi Machado Soares, que é professor do Departamento de Estatística e do Programa de Doutorado e Mestrado em Educação, e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora (UFJF).

O perito, que atuou como membro do conselho científico do Enem e é especialista em Teoria da Resposta ao Item (TRI), metodologia usada no exame, teve acesso a informações sigilosas no Inep e produziu um laudo com 207 páginas.

Neste documento, enviado à reportagem pelo MPF em julho deste ano, o perito relata fragilidades no processo de pontuação das medidas do Enem que poderiam prejudicar a comparabilidade dos resultados produzidos para duas provas diferentes.

No laudo, os pontos de fragilidade encontrados, por ordem de importância, foram:

• Número de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem;
• Tamanho das amostras de calibração em alguns pré-testes;
• Precisão com que os resultados do Enem são reportados ao público;
• Ausência de informações para o público sobre a qualidade dos testes e das medidas.

Sobre a perícia, o Inep explicou em nota ao G1 que conta com a consultoria de diversos especialistas de destacada atuação em análise estatística e psicométrica de avaliações e exames em larga escala e tem total segurança quanto à metodologia que, desde 2009, é adotada no Enem - reconhecida nos âmbitos nacional e internacional.

"Vale registrar que, independentemente do seu conteúdo, o referido laudo representa uma opinião isolada", informou o instituto em nota enviada em julho.

Normalmente, o adiamento do Enem ocorre todos os anos, mas afeta apenas alguns milhares de estudantes, por motivos externos que impedem a aplicação do exame, como queda de energia no local de provas. Nesses casos, os candidatos ganham o direito de participar de uma nova aplicação durante a semana. É a mesma prova para pessoas privadas de liberdade, por isso a aplicação é conhecida como Enem PPL.

Em 2016, porém, a onda de ocupações estudantis em escolas públicas em 23 estados e no Distrito Federal fez o Ministério da Educação adiar a aplicação do Enem para mais de 270 mil candidatos, o que inviabilizaria uma segunda aplicação durante a semana. Por isso, o Enem 2016 teve três aplicações. Na época, o Ministério da Educação (MEC) assegurou que haveria isonomia nas avaliações dos candidatos, independentemente do momento em que fizessem as provas.

Apesar do grande número de candidatos afetados pelo adiamento, o total deles representou menos de 5% dos mais de 8 milhões de inscritos. Na primeira aplicação, pouco menos de 6 milhões de candidatos fizeram as provas, com uma abstenção de 30%. Já na segunda aplicação, do Enem adiado, a abstenção subiu para 40%.

A investigação do MPF sobre o Enem 2016 teve início após a divulgação dos resultados das provas em janeiro de 2017. Na ocasião, estudantes de todo país procuraram o Ministério Público relatando inconformismo com as notas resultantes da primeira e da segunda aplicações do exame. Eles haviam feito a segunda aplicação da prova.

De acordo com o MPF, uma análise das notas dos candidatos que fizeram a reclamação mostrou grande diferença, quando os resultados eram comparados com os de candidatos da primeira aplicação. O procurador Leonardo Macedo explicou que alunos que fizeram a primeira prova tiveram notas maiores. Ele alega que o motivo suspeito é a metodologia da TRI.

"Nessa TRI, é considerado o número de candidatos. É necessário levar em conta as diferenças do percentual de 'treineiros' participantes de cada aplicação, na maior abstenção da segunda aplicação em relação à primeira e no tipo de candidato participante dos locais das provas da segunda aplicação", explicou o MPF na ação.

• 3 de outubro de 2016: Uma onda de ocupações estudantis em escolas e universidades começou no Paraná e se espalhou pelo Brasil. Os estudantes protestavam contra uma série de medidas, principalmente a reforma do ensino médio e a PEC 241. O Enem 2016 estava marcado para os dias 5 e 6 de novembro, e parte dessas escolas ocupadas seria usada pelo governo federal como locais de provas.
• 19 de outubro de 2016: Um levantamento do MEC afirmou que ocupações em 181 escolas do Brasil comprometiam o Enem para 95 mil alunos.
• 27 de outubro de 2016: Um levantamento divulgado pela União Brasileira dos Estudantes Secundaristas (Ubes) mostra que havia 1.154 ocupações em escolas, institutos e universidades estaduais, federais e municipais em pelo menos 21 estados e no Distrito Federal.
• 4 de novembro de 2016: Na véspera da primeira aplicação do Enem 2016, o MEC anunciou o adiamento do exame em 364 locais de prova. Segundo o governo, esses alunos fariam o exame nos dias 3 e 4 de dezembro.
• 5 e 6 de novembro de 2016: A primeira aplicação do Enem 2016 é realizada com abstenção de cerca de 30%. Cerca de 5,8 milhões de pessoas fizeram essas provas.
• 3 e 4 de dezembro de 2016: O Inep realiza a segunda aplicação do Enem. No total, 277.657 pessoas estavam inscritas para essas provas (273.524 porque foram afetadas pelas ocupações e 4.133 porque, em seus locais de prova, houve algum imprevisto que impediu a aplicação do Enem). A abstenção dessa aplicação foi de cerca de 40%, o que quer dizer que o universo de estudantes que realizou estas provas foi de cerca de 166 mil.
• 18 de janeiro de 2017: O Inep divulga os resultados do Enem 2016. Porém, estudantes que fizeram a segunda aplicação reclamaram que não tiveram acesso à nota. No dia seguinte, o Inep afirmou que um erro técnico fez com que o resultado de 20 mil candidatos ainda não tivesse sido inserido no sistema.
• Janeiro de 2017: Procurado por diversos candidatos da segunda aplicação do Enem, que se sentiram prejudicados por notas que eles consideraram mais baixas que a de candidatos da primeira aplicação, o Ministério Público Federal começou a investigar a suspeita de que a discrepância no número total de estudantes fazendo cada versão da prova pudesse ter prejudicado o grupo menos numeroso. De acordo com a ação civil pública protocolada em dezembro, o MPF passou meses em contato com o Inep e o MEC para avaliar a denúncia. Segundo o MPF, o Inep considera que a isonomia do exame não foi ferida pela existência de duas aplicações do Enem em 2016.
• Setembro de 2017: Ainda de acordo com o Ministério Público Federal, o Inep aceitou conceder a um especialista na metodologia da Teoria de Resposta ao Item o acesso aos dados sigilosos dos desempenhos dos estudantes para realizar uma perícia e verificar se de fato o número total de candidatos afetou o resultado deles no exame. A ação afirma, porém, que o perito viajou até Brasília para realizar a perícia, mas foi barrado pelo Inep.
• 7 dezembro de 2017: Sem conseguir acesso aos dados para realizar a perícia, o Ministério Público Federal ingressou na Justiça com uma ação civil pública para solicitar o acesso, e com outra ação na qual denuncia diretoras do Inep por improbidade administrativa. O motivo da segunda ação é o desperdício de dinheiro público com a viagem realizada pelo perito até Brasília. A Justiça julgou o processo extinto, pois o MPF não conseguiu demonstrar nenhum indício de má-fé na hipótese sob análise.
• 15 de dezembro de 2017: O Inep afimou em nota que não negou o acesso aos dados sigilosos para uma perícia solicitada pelo MPF sobre os resultados da edição 2016 do Exame Nacional do Ensino Médio. Segundo o Inep, o perito não apresentou as identificações necessárias para que pudesse ter acesso aos dados.
• Entre 5 e 9 de fevereiro de 2018: A perícia contratada pelo MPF foi realizada em dados sigilosos do Inep.
• Julho de 2018: A perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira analisou avaliações do Exame Nacional do Ensino Médio 2016 constatou fragilidades no processo de pontuação das medidas da prova.