O sinal e o ruído - por que tantas previsões falham e outras não.

Neste final de semana minha agenda é com o livro do Nate Silver “O Sinal e o Ruído - Por que Tantas Previsões Falham e Outras não.” Conforme li na EXAME trata-se de um dos melhores livros de economia lançado nos Estados Unidos em 2012 e agora aqui no Brasil. Recomendo a todos os colegas economistas que também utilizam a estatística em seus trabalhos.    

Cita a EXAME que “o tema do livro ganha peso quando se lembra das previsões de Nate Silver, estatístico do New York Times, para as eleições norte-americanas. “Não é um livro só de economia, e sim um livro sobre a ciência e arte de fazer previsões”, segundo Tony Volpon, chefe de pesquisa para mercados emergentes do Nomura.

Silver investiga como se pode distinguir sinais verdadeiros em um universo de dados confusos. Para Silver, o excesso de confiança é, geralmente, o motivo da ruína de muitas previsões – e elas poderiam melhorar com um aperfeiçoamento da incerteza.”

Nate Silver, o gênio da Estatística, acerta Obama.

Leio no UOL um texto muito bom, principalmente para os nossos colegas estatísticos. Realmente, estudar Estatística é um prazer. E com sorte, acertamos até quem será o(a) próximo(a) presidente do Brasil. 

Ele conseguiu novamente. E, não, não se trata de Barack Obama. Depois da vitória do presidente democrata, que garantiu a reeleição na noite desta terça-feira (6) ao derrotar o republicano Mitt Romney, o comentário geral foi de que quem se deu bem foi Nate Silver, o blogueiro do "The New York Times".

Silver, 34, é considerado o gênio da estatística e desta vez acertou os resultado de pelo menos 49 Estados americanos --ainda falta a apuração da Flórida, mas tudo indica que ele vai acertar por lá também.

Logo que a apuração começou, o Twitter foi tomado de internautas dizendo: "Nate Silver is getting laid tonight", algo como "Nate Silver vai ser dar bem esta noite", uma brincadeira com o fato dele ser "nerd" e estar em alta por ter acertado o final de eleição.

O método que ele criou para chegar a um resultado aproximado é considerado extremamente eficiente, pois calcula uma média de diversas pesquisas de opinião, dando diferentes pesos a elas, e considera demografia e registros de votos.

Mesmo quando ninguém botava a mão no fogo pelos candidatos e garantia que eles estavam empatados, ou quando no dia da eleição a apreensão dos dois lados era evidente porque a disputava estava muito apertada, ele acreditava na probabilidade e até apostou com o jornalista Joe Scarborough que Obama venceria.

Sua convicção dos números finais chegaram a irritar republicanos e jornalistas, que tentaram minimizar a importância do método. “Estes especialistas e seus computadores são péssimos para prever comportamento humano”, escreveu David Brooks, no "Times".

No fim, ele previu que Obama tinha mais de 90% de chance de ganhar, receberia 50,8% dos votos populares e conquistaria 332 votos dos colégios eleitorais --Washington, Oregon, Califórnia, Nevada, Colorado, New México, Minnesota, Iowa, Wisconsin, Illinois, Michigan, Ohio, Maine, New Hampshire, Nova YOrk, Massachusetts, Connecticut, Vermont, Pennsylvania, Rhode Island, New Jersey, Maryland, Delaware, Virginia, Havaí e Flórida.

Obama obteve 50% dos votos (59.725.608) contra 48% de Romney (57.098.650) e, se conquistar a Flórida, ele vai terminar com os 332 votos dos colégios eleitorais.

Na eleição de 2008, entre Obama e o republicano John McCain, Silver acertou o vencedor em 49 dos 50 Estados. Em 2010, acertou 34 dos 36 senadores eleitos.

Formado em economia pela Universidade de Chicago, Nate Silver começou a criar um modelo estatístico que calculava o rendimento de cada jogador de beisebol, seu esporte do coração. Dado o sucesso do método, resolver arriscar na política. Parece que deu certo.

Estatisticamente um dia triste.

Wilton Bussab (1940-2011) - Foi estatisticamente significante

A camiseta que Wilton de Oliveira Bussab adorava usar tinha estampada a frase: "Eu sou estatisticamente significante". Era da ABE (Associação Brasileira de Estatística), que ele ajudou a fundar e que presidiu duas vezes, nos biênios 1986-1988 e 2006-2008.

Tom, como era chamado na família, nasceu em Brotas (SP) e lá viveu até os dez anos. Seu pai teve uma fazenda na cidade, mas decidiu vendê-la e ir com a família para a capital paulista, onde trabalhou com comércio.

Na USP, Wilton se formou em matemática, em 1964. Seguiria na área de estatística, graduação que não existia na universidade quando era aluno. Ele ajudaria a criá-la.

Tornou-se professor da USP, onde concluiu o mestrado em 1971. O doutorado, defendido em 1976, ele fez em Londres, na Inglaterra.

Também deu aulas na FGV. Foi diretor acadêmico da fundação, na qual ficou por mais de 40 anos, e consultor do IBGE para o Censo.

Como lembra o filho Murilo Bussab, diretor-executivo de circulação e marketing do Grupo Folha, o pai vivia no escritório corrigindo provas, lendo ou escrevendo livros (publicou vários) e fazendo programas para cálculos.

Em casa, como enfeite, tinha uma máquina de perfurar cartões usada nos primeiros computadores da USP _os furinhos eram lidos e traduzidos para números.

Wilton, segundo conta a família, era sério, mas sereno; firme em suas posições, mas educado. Apesar de estatístico, escrevia poemas.

Deu aulas até um câncer fazê-lo parar. Morreu na segunda, aos 71. Deixa viúva, dois filhos e quatro netos.

CALCULANDO A BUSCA NO GOOGLE

JOSÉ LUIZ PASTORE MELLO, graduado e mestre pela USP, professor de matemática do colégio Santa Cruz, escreve na FOLHA interessante artigo sobre como o GOGLE ordena as buscas.

De acordo com levantamentos recentes, em outubro de 2009 a internet registrou um total de 230 milhões de sites. Nesse oceano de informação, endereços de busca como Google, Yahoo e AltaVista necessitam ordenar os sites de acordo com a sua importância.

Por exemplo, se você digitar no Google a palavra "folha", o primeiro site listado será a Folha Online, e isso não se deve a uma predileção do Google pela Folha Online, mas sim ao fato de que o site é classificado com alto PageRank ou PR, um índice que mede o grau de "importância" da página. O PR é uma medida do número de links direcionados para uma determinada página. O cálculo do PR de um site é um problema essencialmente matemático, como veremos a seguir.

Imaginemos uma web com apenas três sites, A, B e C. Chamaremos de PR(A), PR(B) e PR(C) o PageRank dos sites A, B e C, respectivamente. O Google utiliza a seguinte fórmula para o cálculo do PR de um site X dessa nossa microweb de apenas três sites: PR(X)=0,15+0,85.K, onde K é a soma dos quocientes de PR dos sites que compõem a web (exceto o site X) e dispõem de link indicando X, pelo número de links indicados em cada um desses sites (links para quaisquer sites da web). Entenderemos melhor o uso dessa fórmula através de três exemplos.

No exemplo 1, para o cálculo de PR(A) temos K=0, porque nem B nem C indicam links para o site A. Nesse caso, temos PR(A)=0,15.

No mesmo exemplo 1, PR(B)=0,15+0,85.[PR(A)/1]. No cálculo de PR(B), o valor de K leva em conta apenas PR(A), porque A é o único site que indica link para B; e PR(A) está sendo dividido por 1 porque A faz uma única indicação de link na web. Finalmente, PR(C)=0,15+0,85.[PR(B)/1], por razões análogas ao caso anterior. Para determinar PR(B) e PR(C), basta resolver o sistema de equações, o que resultará PR(B)=0,2775 e PR(C)=0,385875.

Nesse caso, obtivemos PR(A)PR(B)PR(C), o que sugere uma ordenação razoável da importância dos três sites se analisarmos com atenção a configuração dessa web.

No exemplo 2 temos uma configuração de web onde A, B e C têm a mesma importância. O sistema de equações a ser resolvido é: PR(A)=0,15+0,85.[PR(C)/1], PR(B)=0,15+0,85.[PR(A)/1] e PR(C)=0,15+0,85.[PR(B)/1], cuja solução será PR(A)=PR(B)=PR(C)=1, tal qual o esperado.

No exemplo 3, as equações são as seguintes: PR(A)=0,15+0,85.[PR(B)/1], PR(B)=0,15+0,85.[PR(A)/2 +PR(C)/1] e PR(C)=0,15+0,85.[PR(A)/2], cuja solução é: PR(A) 1,1634, PR(B)1,1922 e PR(C)0,6444. O site B tem maior PR porque é apontado pelos outros dois sites, e o site A fica em segundo lugar porque é apontado por B, que é o site de maior PR.

Saindo da nossa microweb de três sites para a web real, com mais de 230 milhões de sites, o calculo do PR de um site por sistemas de equações é absolutamente intratável, mesmo se forem usados supercomputadores. Na web real, a determinação do PR de um site é feita por aproximação usando as mesmas ideias aqui apresentadas, mas através de cálculos iterativos.