As sondagens não são bolas de cristal

PAULA VICENTE

Docente Iscte

Investigadora BRU-Iscte

Da construção da amostra à interpretação dos resultados, há um vasto conjunto de decisões que contribuem para a qualidade de uma sondagem. Paula Vicente fala-nos do projeto ICS/Iscte, cuja equipa integra, e do mercado das sondagens em Portugal

O que carateriza e distingue as sondagens ICS/Iscte de outras que existem em Portugal?

Este projeto nasce de uma parceria entre a academia, representada pelo Iscte e pelo ICS, e uma empresa de media, agregando a SIC e o Expresso. Trata-se de uma parceria muito interessante, na medida em que alia a investigação académica à experiência de divulgação de sondagens, contribuindo para o rigor e qualidade do trabalho que é apresentado. Além da divulgação pelos media, o projeto tem um site próprio, o que é uma característica distintiva, no qual vamos apresentando os resultados que obtemos, mas também os procedimentos metodológicos envolvidos. O site contempla ainda um blogue, no qual publicamos artigos dos investigadores da equipa, em que se procura fazer uma reflexão sobre os resultados à luz da ciência política. Um outro aspeto diferenciador é o facto de disponibilizarmos, de forma aberta, os dados recolhidos nas sondagens, após seis meses de embargo. Isso permite que outros investigadores prossigam outras linhas de investigação a partir daqueles dados.

E em termos metodológicos?

A metodologia de uma sondagem pode obedecer a vários critérios de elaboração. Podemos prosseguir o que se encontra estabelecido nos manuais como cenários ideais – como selecionar uma amostra, como construir as perguntas… tudo isso, a “arte de bem fazer”, está documentado. Mas depois, no trabalho concreto, deparamo-nos com restrições práticas, por vezes muito fortes, que são o custo e o tempo. Se pretendermos realizar uma sondagem extremamente rigorosa, com todos os detalhes e exigências que os manuais propõem, o trabalho poderia ser demasiado demorado e dispendioso. Esses aspetos são ainda mais relevantes nas sondagens políticas, especialmente em períodos pré-eleitorais, em que há maior pressão de urgência dos resultados e até um prazo de validade dos dados mais apertado. O trabalho concreto coloca-nos obstáculos e constrangimentos, para os quais temos de delinear estratégias de resolução. Com frequência, o enquadramento de custo e tempo é que define o quadro metodológico, e não o contrário. As sondagens ICS/Iscte também acontecem em cenários com restrições de tempo e custo, mas a preocupação com o rigor metodológico – na amostragem, na conceção e aplicação dos questionários e na análise dos dados – está sempre lá. Neste ponto, a parceria que temos com a Gfk Metris é muito proveitosa, pois conseguimos juntar o melhor dos dois mundos – de um lado, o saber académico e científico e, do outro, a experiência de uma empresa com tradição e reconhecido mérito na recolha de informação.

As sondagens online poderão ser uma alternativa para contornar esses obstáculos?

De uma forma muito geral, podemos agrupar as sondagens políticas que se fazem em Portugal em torno de dois métodos de entrevista: as presenciais e as telefónicas, embora depois outros aspetos (quotas, seleção da amostra…) possam diferir de empresa para empresa. As sondagens online são pouco utilizadas, até porque têm vários problemas. Um dos mais relevantes tem a ver com a cobertura, visto que nem toda a população tem acesso à internet e a dispositivos através dos quais possa responder. Outra desvantagem é o facto de ser um método de autorresposta. O questionário chega à pessoa por vias eletrónicas, seja email ou redes sociais, por exemplo, mas ficamos completamente dependentes da boa vontade da pessoa, para que possa dispensar algum tempo nas respostas. Não há um entrevistador, que explique o estudo e que insista na importância da resposta. Tudo isso conduz potencialmente a uma taxa de respostas baixa, sendo comum haver estudos online com taxas de resposta da ordem dos 10 a 20 por cento. A amostra fica muito reduzida, enviesada, e a sua representatividade comprometida, afetando a qualidade das estimativas.

No caso das sondagens eleitorais, a recolha presencial tem uma enorme vantagem sobre as entrevistas telefónicas, que é a de permitir a simulação de voto em urna, que propicia uma resposta mais sincera, sem a revelação do sentido de voto ao entrevistador

Essas sondagens ficam mais sujeitas a manipulações, nomeadamente, através de respostas em grupo, organizadas?

É um facto. São as chamadas “amostras de voluntários”. Mas podemos minimizar esse problema, tentando controlar a seleção da amostra. É possível, por exemplo, através do envio do questionário para endereços de mail específicos. Essas sondagens exigem também muitos cuidados na divulgação, nomeadamente quanto aos limites da sua representatividade.

Na construção das amostras, seguem-se modelos padronizados, ou há margem para estabelecer novos modelos?

Há vários traços comuns à generalidade das sondagens existentes, cada um deles colocando desafios muito próprios. Desde logo, há a preocupação de obter estimativas representativas do território, no caso, Portugal. Isso faz-se através de uma estratificação geográfica, dividindo o país em regiões mais pequenas – no caso das sondagens ICS/Iscte são a NUTS II, do INE, mas há empresas que definiram as suas próprias regiões em torno de um certo número de critérios. Depois, há a variável habitat, que controla a dimensão dos agregados populacionais. Ao nível do indivíduo, trabalhamos com as variáveis de sexo, idade e nível de escolaridade. A conjugação destas três características é muito descriminante em termos do que as pessoas pensam, do que gostam, do modo como se comportam… Isso é fundamental para garantir a heterogeneidade e a variabilidade da amostra.

Não seria interessante a introdução de uma variável sobre a condição económico-financeira?

As empresas de estudos de mercado trabalham com essa variável, normalmente através da construção de indicadores de classes sociais, que envolve, por exemplo, a escolaridade, a profissão e, eventualmente, o seu nível de rendimento. Mas a informação sobre o rendimento nem sempre é fácil de recolher e acaba por se trabalhar apenas com a variável da escolaridade, que é mais fácil de medir e é muito correlacionável com o nível socioeconómico. Mais uma vez, estamos no jogo dos equilíbrios: o ideal seria podermos contar com determinada informação, mas, perante a impossibilidade ou grande dificuldade de a obter, tentamos obter informação proxy, informação que nos aproxima do que gostaríamos de ter.

Os telefones fixos continuam a ser preferidos aos telemóveis para a recolha da informação. Qual a razão?

A metodologia das sondagens com telefones fixos já tem muitos anos, já está afinada e consolidada. É, pois, natural que esta abordagem não se abandone de um momento para o outro, e que a transição para os telemóveis se vá fazendo gradualmente. O número de telefone fixo é informativo, na medida em que os primeiros dígitos nos dão a localização geográfica do lar, embora hoje em dia se coloquem desafios relacionados com a portabilidade dos números. Ora o controlo geográfico, que é um fator relevante nas sondagens, é muito difícil de fazer com os telemóveis. A principal desvantagem dos fixos tem a ver com a cobertura, visto que hoje estima-­se que cerca de 30 por cento dos lares portugueses não dispõem desse serviço, enquanto que nos telemóveis essa taxa ronda apenas os 10 por cento. Por isso, algumas empresas de sondagens estão já a utilizar processos de amostragem em que recorrem aos dois tipos de telefones, de forma a colmatar as deficiências de cada um deles. A mobilidade é outro dos constrangimentos na escolha da metodologia: é verdade que o telefone fixo, por definição, identifica um lar, mas as pessoas, ou pelo menos alguns tipos de pessoas – os que trabalham, estudam, viajam com frequência, … – estão pouco tempo em casa. Teoricamente, com o telemóvel, as pessoas estão mais contactáveis. E há ainda outros aspetos a que é necessário atender. Por exemplo, para integrar jovens nas amostras é preferível utilizar telemóveis, já que eles raramente utilizam o telefone fixo. Mas vale a pena dizer que no caso das sondagens eleitorais a recolha presencial tem uma vantagem sobre as entrevistas telefónicas (quer por fixo que por telemóvel) que é a de permitir a simulação de voto em urna: esta solução potencia uma resposta mais sincera, na medida em que não há a revelação do sentido de voto ao entrevistador.

As pessoas estão menos recetivas a participar em sondagens. Há muitas solicitações, há a confusão entre sondagens e ações de venda, a falta de tempo e até algum egoísmo

Existem dados sobre a evolução das taxas de recusa de participação em sondagens?

Nota-se um progressivo afastamento das pessoas, as empresas de sondagens experimentam essa realidade, embora não existam dados estatísticos formalmente coletados sobre essa matéria, pelo menos em Portugal. De uma forma geral – e não é um problema apenas português – as pessoas estão menos recetivas para participar em sondagens. Há muitas solicitações, há a confusão entre sondagens e ações de venda, a falta de tempo e até algum egoísmo. E claro que há temáticas em que a tendência para recusar a colaboração é elevada, como é o caso dos estudos sobre política. Não deixa de ser paradoxal, num tempo em que estamos permanentemente e fornecer informação a terceiros, muitas vezes sem nos apercebermos, seja, por exemplo, através das redes sociais, ou da simples utilização de cartões de compras, tenhamos a tendência para rejeitar um pedido direto e esclarecido de colaboração num estudo de opinião.

E como interpretar as não respostas, seja por recusa, seja mesmo por dificuldade em chegar às pessoas?

Esse é um problema que pode ser abordado de duas maneiras. Numa lógica preventiva, durante o planeamento da sondagem, podemos delinear estratégias para tentar minimizar a ocorrência de não contactos ou de muitas recusas. Por exemplo, que meio de contacto utilizar, quantas vezes insistir o contacto, em que horário fazer os contactos. A posteriori, podemos aplicar estratégias corretivas, para atenuar os efeitos na representatividade da amostra. E aí temos dois tipos de problemas: os que não responderam de todo e os que responderam parcialmente, apenas a parte do questionário. Claro que o primeiro caso é mais difícil de resolver. Por exemplo, se a amostra planeada apontava para uma distribuição equitativa por sexo, mas temos afinal algo à volta de 60/40, podemos aplicar os chamados ponderadores – um fator que altera o peso das respostas de uma determinada categoria de respondentes – para “repor” o peso de cada categoria. Obviamente que a utilização de ponderadores exige muitos cuidados e deve ser feita de forma muito criteriosa. Quando se trata de pessoas que não respondem a algumas perguntas de um questionário, podemos utilizar métodos de imputação, que são um tratamento estatístico que nos permite inferir respostas em falta a partir de respostas a outras perguntas e/ou de respostas dadas por indivíduos com características similares. Idealmente, deve ser feita uma imputação múltipla, que se baseia na construção de modelos estatísticos com toda a informação disponível, explorando associações entre variáveis. Estes modelos não são isentos de erro e só devem ser utilizados de forma controlada e parcimoniosa.

A margem de erro reflete de alguma forma a qualidade da sondagem?

O cálculo da margem de erro pressupõe a existência de determinadas condições na construção da amostragem. A fórmula geralmente utilizada pressupõe que selecionámos a amostra de forma aleatória simples. Ora isso, na verdade, não é assim, pois os processos de amostragem que se executam são maioritariamente não aleatórios, e depois há o problema dos não contactos e das recusas, que afetam também a qualidade da sondagem, mas cujos efeitos a fórmula da margem de erro não capta. A margem de erro acaba por ser um valor meramente indicativo, com pouco interesse enquanto indicador da qualidade da sondagem.

De uma forma geral, as sondagens que se fazem hoje em dia são fiáveis?

É intuitivo pensar-se que uma boa sondagem é uma sondagem que “acerta” nos resultados eleitorais. Porém, as sondagens não são bolas de cristal, não são exercícios de adivinhação. A sondagem diz-nos o que podemos estimar na população num determinado momento, e não o que vai acontecer numa data futura. A sondagem não é um método de previsão, é um método de estimação. Nós até podemos planeá-la na perfeição e – mais difícil – executá-la na perfeição, mas há algo que nunca pode ser resolvido: estamos a trabalhar com uma amostra, através da qual queremos conhecer uma população. A amostra permite uma aproximação à população, mas nunca são realidades coincidentes por isso há um risco de a sondagem não “acertar” nos resultados eleitorais, sem que isso signifique automaticamente que a sondagem foi mal feita Eu diria que uma sondagem que é planeada e executada tendo em conta critérios de rigor na amostragem, na conceção e aplicação do questionário, e na análise dos dados tem condições para ser fiável. Porém, há inevitabilidades e imponderáveis.

Mas a amostra não é representativa do universo?

Depende do que se entender por representativo. A amostra é como se fosse uma miniatura da população – os traços mais visíveis estão lá, mas o que é mais miudinho não se consegue ver. O mais difícil é em cada estudo definirmos acertadamente quais os traços relevantes da população que devem estar refletidos na amostra. Não há modelos perfeitos que nos forneçam garantias absolutas de como fazê-lo e podemos até ter respostas diferentes entre investigadores diferentes. Mas isto é ao nível do planeamento da amostragem. Depois, há que adicionar as contrariedades que inevitavelmente acontecerão na prática (caso das não respostas), e que poderão comprometer seriamente a representatividade da amostra que planeámos. Conceber e obter uma amostra representativa é um grande desafio para quem trabalha nas sondagens.

SONDAGENS ICS/ISCTE

As sondagens ICS/Iscte resultam de uma colaboração entre o Instituto de Ciências Sociais da Universidade de Lisboa, o Iscte – Instituto Universitário de Lisboa e o grupo Impresa Publishing S.A., nomeadamente através da SIC e do Expresso. Esta colaboração, iniciada em março de 2019, tem em vista a recolha, tratamento e divulgação de dados sobre as atitudes e os comportamentos políticos da população portuguesa, através da realização de estudos de opinião (sondagens) a amostras representativas da população.

Quer o ICS quer o Iscte têm uma longa tradição de colaboração em projetos nacionais e internacionais e múltiplas publicações académicas que utilizam dados resultantes deste tipo de metodologia. Por outro lado, o Expresso e a SIC têm também uma longa tradição de cobertura e tratamento jornalísticos de dados resultantes de estudos de opinião. Neste momento particularmente exigente do ponto de vista da qualidade da democracia em Portugal e na Europa, pretende-se contribuir para um melhor conhecimento do estado da opinião pública portuguesa.

A equipa responsável pela elaboração dos questionários, acompanhamento do trabalho de campo e análise dos dados é constituída por Alice Ramos, José Santana Pereira, Marina Costa Lobo, Miguel Pereira, Paula Vicente e Pedro Adão e Silva, com a coordenação de Pedro Magalhães. O trabalho de campo é executado pela GfK Metris, sob a orientação técnica da equipa do projeto.

O projeto tem um site no qual é possível aceder a análises aprofundadas e transparentes dos dados resultantes dos estudos, permitindo consulta fácil de todos os resultados. Após um período de embargo de seis meses, é possível aceder livremente aos próprios micro-dados (totalmente anonimizados), que ficarão assim disponíveis a todo o público interessado.