domingo, 22 de março de 2015

Desempenho dos Estudantes da América Latina e da Ásia no PISA

Explicar o que faz com que os estudantes de um determinado país sejam bem avaliados em exames internacionais e os de outros sejam mal avaliados não é uma tarefa fácil nem simples, pelo contrário, exige um esforço de coleta e análise de dados significativo de forma a permitir ao pesquisador avaliar diversos fatores que podem determinar o desempenho dos estudantes. É possível que um país gaste muito com educação, porém o gasto não é bem canalizado para permitir o melhor aprendizado dos alunos, uma escola de ouro sem bons professores dificilmente formará bons alunos. Também é possível que questões culturais bem como outros fatores que não dependem da escola tenham papel significativo no desempenho do aluno. Um estudante em uma boa escola com bons professores pode ter seu desempenho prejudicado por uma família ou uma vizinhança abusiva ou por um meio cultural que desestimule os estudos. São muitos aspectos de forma que não é pretensão deste post esgotar ou mesmo fazer uma abordagem científica do tema. A ideia do post é tão somente argumentar que com a renda per capita que tem o Brasil poderia ter um sistema educacional que permitisse a nossos estudantes um melhor desempenho nos testes internacionais. Dito de outra forma nossa pobreza não é desculpa para nossos resultados ruins.

Para apresentar meu argumento peguei a nota de cada país no programa internacional de avaliação de alunos (PISA) de 2012 e comparei com o PIB per capita de 2011. Escolhi 2011 porque é o último ano da Penn World Table PWT), reproduzi as contas com dados do FMI para 2012 e os resultados foram os mesmos, como a PWT permitiu usar mais países escolhi não usar os dados do FMI. O PISA é composto por três provas: leitura, ciências e matemática, para a análise usei a média das três provas (link aqui). Consegui dados para 65 países, após cruzar com a PWT e retirar outliers fiquei com 61 países.

Dos 61 países sete (Albânia, Argentina, Colômbia, Indonésia, Jordânia, Peru e Tunísia) ficaram com média inferior à do Brasil, destes apenas a Argentina tem PIB per capita maior do que o brasileiro. Por outro lado China, Tailândia e Vietnam conseguiram médias maiores do a do Brasil mesmo tendo PIB per capita inferior ao brasileiro. Até aqui não há muito a concluir. Porém alguma conclusão começa a ser esboçada quando observamos que dos 15 países com melhores notas (o quarto superior) sete estão na Ásia (China, Hong Kong, Japão, Coreia, Cingapura, Taiwan e Vietnam) e que dos quinze países com a piores notas (o quarto inferior) oito são latino americanos (Argentina, Brasil, Chile, Colômbia, Costa Rica, México, Peru e Uruguai). Difícil não pensar que existe algo no sistema de ensino da Ásia que faz com que os alunos de países pobres e ricos se saiam bem e que existe algo no sistema de ensino da América Latina que faz com os alunos apresentem desempenho baixo.

A figura abaixo ilustra o ponto. Na figura estão marcados o PIB per capita e a média do PISA nos 61 países da amostra, os países da América Latina estão em destaque. Repare que todos ficam abaixo da linha de regressão (para os curiosos o p-value foi 9.82e-09 e o R2 foi 0.43). A linha de regressão mostra o quando devia ser a nota de cada país para cada valor do PIB per capita. O significado disto é que se usarmos apenas o PIB per capita para explicar o desempenho dos estudantes (espero ter deixado claro no primeiro parágrafo as limitações do exercício) os países latino americanos estão com notas menores do que as que deviam.





A próxima figura repete a anterior porém destaca os países do leste da Ásia excluindo a Jordânia que é parte do Oriente Médio e o Cazaquistão que é uma antiga república soviética. Repare que com exceção da Malásia todos os países estão na linha ou acima da linha. Vietnam e China são particularmente impressionantes no sentido que mesmo com PIB per capita muito baixo conseguem excelente desempenho nos exames do PISA. A última figura destaca apenas o Brasil.








Insisto mais uma vez que os resultados do post devem ser vistos como uma provocação ou quando muito como uma exploração preliminar. Neste sentido que concluo que existe alguma diferença entre os sistemas de ensino da América Latina e da Ásia que faz com que estudantes asiáticos tenham melhor desempenho no PISA quando comparados aos estudantes latino americanos mesmo quando se leva em conta o PIB per capita dos países. Embarcando no clima de provocação e fazendo uma pequena homenagem ao pessoal do Instituto Liberal doCentro Oeste (ILCO) que andou sendo criticado pelo crime supremo de questionar a obra de um intelectual respeitado vou chamar este efeito que diferencia os estudantes da Ásia dos estudantes da América Latina em geral e do Brasil em particular de Efeito Paulo Freire. Assim, além de homenagear o ILCO, também faço uma reverência ao “maior intelectual da América Latina” e patrono da educação brasileira.



9 comentários:

  1. Bom artigo, mas coloque o valor de p sem ser como " 9.82e-09 "

    ResponderExcluir
  2. Bom artigo.
    Mas situar a Jordânia como ex-república da URSS (em vez de colocá-la em seu devido lugar: Oriente Médio), mostra bem o nível da educação brasileira, no caso específico, em Geografia e História...

    ResponderExcluir
    Respostas
    1. A frase é:
      "A próxima figura repete a anterior porém destaca os países do leste da Ásia excluindo o Oriente Médio e as antigas repúblicas soviéticas (especificamente Jordânia e Cazaquistão)."

      A mesma frase faz referência a países do Oriente Médio e as antigas repúblicas soviéticas, no parenteses disse quais. Não pensei que fosse ser preciso explicar qual é qual. É como se eu tivesse escrito que "retirei da amostra clubes do Rio e clubes de São Paulo (especificamente Vasco e Palmeiras)" e alguém questionasse se eu penso que o Vasco é um time de São Paulo...

      Na realidade o problema da frase é que a palavra "leste" não deveria estar lá, reescrevi a frase esqueci de tirar o leste (afinal nem o Oriente Médio nem as repúblicas soviéticas fazem parte do leste da Ásia), mas o resto não tem nenhum problema.

      Talvez seja o caso que antes de geografia e história, ou mesmo português, matemática e ciência nossas escolas (ou seriam nossas famílias?) devam ensinar perguntar antes de atirar.

      Excluir
    2. Então, parece-me que a frase escorreita seria: "...os países da Ásia, excluindo o Oriente Médio e as antigas repúblicas soviéticas, Jordânia e Cazaquistão, respectivamente."
      De qualquer forma, desculpe-me pela tentativa de ironia que, de fato, acabou saindo como uma agressividade gratuita.

      Excluir
    3. A frase ficou ruim, é fato, vou editar para que fique mais clara. No mais tudo em paz. Abraço.

      Excluir
  3. Olá Ellery,

    Em 1o lugar, quero dizer que embora seja meu 1o comentário aqui, eu estou sempre na área, principalmente agora que o sr anda escrevendo bons pósts. E eu li dois livros tem sua participação: Great Depressions of the 20th century e Desenvolvimento Econômico, que são justamente as minhas áreas de interesse.

    Pelo que pude observar de outros países, acho que a educação brasileira apresenta alguns problemas graves que explicam o baixo desempenho em exames internacionais:

    -estudante brasileiro costuma estudar somente para a prova, "na véspera da prova" e só faz o mínimo que o professor pede. Se você faz isso em um curso universitário nos EUA, por exemplo, você está frito. Digo isso por experiência própria.

    -excesso de matérias: pow se nego não consegue nem aprender português e matemática, como vai aprender matérias mais complexas

    -falta de leitura: infelizmente, somos um povo que lê muito pouco e aqui os pais têm culpa. Estamos criando uma geração de semi analfabetos funcionais.

    Isso sem mencionar a doutrinação ideológica que você cita. Lembrei desse ótimo artigo escrito pelo Gustavo Ioschpe http://veja.abril.com.br/noticia/educacao/estamos-acabando-com-o-pais

    Desculpa se pareço pessimista demais, mas aí fica difícil querer mudar o país desse jeito.

    ResponderExcluir
    Respostas
    1. Não precisa se desculpar, é difícil não ser pessimista no Brasil. Seja bem vindo, espero que os posts melhorem sempre.

      Excluir
  4. Roberto,
    para dicas sobre eficiência na aprendizagem, sugiro "Make it Stick" (Peter C. Brown) e acompanhar o trabalho de Dr. Barbara Oakley, elogiada recentemente por Steven Pinker,
    um abraço,
    Lizia

    ResponderExcluir
  5. Oi Roberto,
    todo sábado eu agora chego o seu blog!
    Dicas sobre ensino: "Make it Stick" (Peter C. Brown) e acompanhar o trabalho de Dr. Barbara Oakley, recentemente elogiada por Steven Pinker,
    Um abraço,
    Lizia

    ResponderExcluir