O Erro do IPEA

Novamente a pesquisa do IPEA a respeito da violência contra a mulher ganha atenção de todos, desta vez pelo reconhecimento oficial de que a pesquisa estava errada. No post abaixo comentei a pesquisa, em um dado momento falei explicitamente que descartava erros de tabulação e tentei apontar possíveis problemas metodológicos na pesquisa. Não fui o único a descartar erros de tabulação, praticamente todas as críticas que eu li falavam de problemas metodológicos que englobavam questionamentos sobre a adequação da amostra, a estrutura do questionário, a forma das perguntas e até mesmo a expressões usadas nas perguntas. Creio que não passou pela cabeça de ninguém o erro de tabulação. Por quê?
Porque o IPEA é um instituto em que confiamos, não se espera este tipo de erro de uma instituição com os qaudros, os serviços prestados e a reputação do IPEA. Lembro de que a preocupação em evitar erros que comprometessem a imagem da casa era uma constante nos tempos em que fui dos quadros da casa. Antes de publicar um resultado era preciso passar por discussões com o pessoal da casa onde eram feitas críticas, muitas vezes duras, ao trabalho de pesquisa. Dependendo do trabalho era preciso fazer seminários internos e/ou receber parecer externo. Duas histórias minhas podem ajudar o leitor a entender como o IPEA funcionava.
A primeira aconteceu creio que no final da década de 1990 quando eu comecei a escrever sobre previdência no Boletim de Finanças Públicas que era editado pelo setor onde eu trabalhava. O responsável por acompanhar previdência foi para o Ministério da Previdência e eu fui escolhido para assumir a função. Antes de sair ele me passou o trabalho e ainda tivemos tempo de trocar impressões sobre o modelo e os dados que alimentavam o modelo. Fiz algumas modificações simples e levei o resultado da previsão de déficit da previdência para o Francisco Pereira, coordenador da área de finanças públicas em Brasília e meu chefe. Ele olhou os números disse que estavam ruins e era preciso refazer a previsão, claro que protestei, as mudanças que eu tinha feito eram poucas e não eram determinantes do número que eu estava apresentando, até porque levei os dois números, com a mudança e sem a mudança, e nenhum dos dois foi aprovado. Com toda paciência do mundo (talvez nem tanta, mas felizmente sou daqueles tipos em que o efeito do tempo nas memórias é apagar as partes ruins e reforçar as boas) ele me explicou que existiam especificidades nos números da previdência que nenhum modelo pegava e que uma previsão do IPEA não podia destoar muito do número final, desta forma o número que ia para o Boletim não era necessariamente o número gerado pelo modelo. Depois de uma aula sobre os detalhes da previdência chegamos, na realidade ele chegou, ao número que acabou sendo divulgado. Esperei até o número oficial sair para ver se o número previsto pelo modelo seria mais próximo da realidade do que o a previsão que foi publicada, não foi. O valor publicado de fato foi mais próximo do número verdadeiro. Deste episódio tirei duas lições: (i) fazer previsões é mais trabalhoso que elaborar e rodar um modelo, e (ii) números divulgados pelo IPEA não saem da cabeça de nenhum pesquisador, são responsabilidade de um grupo.
O segundo episódio foi mais na frente e de natureza diferente. Na época meu chefe era o Eustáquio Reis. Eu queria pesquisar sobre ciclos reais, ele queira que eu ficasse na área de previdência e havia uma demanda institucional para que eu trabalhasse com modelos de equilíbrio geral computável. Como sempre tive grande admiração pelo Eustáquio fui conversar com ele a respeito desta questão aberto a seguir qualquer que fosse a conclusão da conversa (aqui novamente se aplica o nem tanto e a memória das coisas boas). Acabamos por ter uma longa conversa sobre a natureza do trabalho de um pesquisador do IPEA, até hoje guardo comigo as palavras do Eustáquio me dizendo que não queria um pesquisador com "insights", queria alguém que dominasse um tema. O trabalho do pesquisador seria conhecer o máximo possível sobre o tema de sua pesquisa, ler tudo, conversar com as pessoas envolvidas no tema, participar de fóruns e tudo o mais que criasse este conhecimento sólido sobre a questão. Menos do que alguém com muitas publicações o IPEA precisava de alguém com domínio do tema de forma que este pesquisador pudesse intervir em debates sobre o tema a qualquer hora que fosse necessário.
Estas duas histórias montam o perfil do que seria o pesquisador do IPEA. Alguém que conhece profundamente um tema e que discute internamente os números que divulga até que todo o grupo a que pertence esteja convencido do número. Como é possível que uma pessoa com este perfil divulgue uma tabulação errada de um tema tão importante? Um conhecedor profundo do tema não deveria ter desconfiado da informação que 65% dos brasileiros acreditam que mulheres com pouca roupa merecem ser atacadas? Uma vez que aparecesse a desconfiança a reação natural não seria checar novamente as tabulações? Não era de se esperar que os colegas tivessem estranhado o resultado? Neste caso o correto a fazer não seria voltar para os dados? Por que nada disso aconteceu e o erro passou desapercebido?
Não sei a resposta, mas tenho uma suspeita. Se eu estiver certo então o IPEA realmente está cometendo um erro muito grave que precisa ser corrigido. Suspeito que alguns setores do IPEA estão pensando em impacto na imprensa e divulgação do instituto. O processo de amadurecimento do pesquisador e discussão interna exaustiva dos resultados é um processo lento e algumas vezes frustrante. O artigo sobre ciclos reais que não animou o IPEA até recentemente era um dos dez mais citados da RBE, não sei se ainda está nesta lista, o artigo sobre previdência que também saiu na RBE nunca chegou a fazer parte desta lista. Mas para o IPEA era mais importante ter um pesquisador com treino em simulação numérica de modelos de equilíbrio acompanhando previdência do que tentando reproduzir o ciclo econômico. Na época não gostei de ouvir isto, hoje entendo perfeitamente. Mais importante do que ter um pesquisador com citações é ter alguém que conheça profundamente o sistema de previdência. Da mesma forma, mais importante do que ter divulgação de resultados sobre violência é ter alguém ou um grupo que conheça profundamente este tema.
O IPEA não deve buscar divulgação, não que deva evitar, mas que venha como resultado natural do processo de pesquisa. Sem buscar divulgação rápida, sem tentar causar impacto e formando pesquisadores com domínio profundo de temas relevantes o IPEA construiu uma reputação sólida e virou objeto de admiração da comunidade acadêmica, do governo e do setor privado. De uns tempos para cá o IPEA vem ganhando destaque por divulgar pesquisas polêmicas, usar metodologias questionáveis ou claramente inapropriadas, forçar interpretação de resultados (ainda não vi o vídeo onde o Adolfo fala de mais um erro do IPEA, mas tenho quase certeza que sei do que se trata), e, agora, por vir a público ter de reconhecer erros infantis.
Espero estar errado na minha suspeita, mas se eu não estiver creio que o IPEA tem tudo para virar o jogo. O presidente do IPEA, Marcelo Neri, é um dos melhores economistas aplicados do Brasil, tem uma formação impecável e conhece como poucos a economia brasileira. O IPEA tem um time espetacular de dirigentes e pesquisadores que podem continuar com a honrosa tradição da casa. A reação do diretor responsável pela área já mostra a integridade da casa, em vez de desculpas esfarrapadas o diretor pediu exoneração. Uma atitude de quem não se sente diminuído pelo erro, pelo contrário, por saber que errar é humano chama para si a responsabilidade e se prepara para voltar mais forte e mais sábio para a próxima missão e o próximo erro inevitável. Da mesma forma eu não apontaria o dedo para os pesquisadores que fizeram o texto, é claro que eles erraram e devem refletir sobre o que os levou a tamanho erro, mas isto não os desqualifica para seguir adiante aprendendo e, portanto, errando.
Termino com um apelo: não deixem que o espírito de um tempo destrua o espírito do IPEA, que o tempo passe e o IPEA fique.

Postado com o Blogsy