El domingo recién pasado, mientras hacía fila para votar, tiré un tuit haciendo mis predicciones electorales. Mi predicción fue que habría menos abstención que en las elecciones municipales, que Piñera y Guillier andarían bajo lo proyectado por las encuestas en número de votos, y que Beatriz Sánchez y José Antonio Kast darían sorpresas.

Y le acerté bastante.

— Marco Canepa (@mcanepa) November 19, 2017

¿Cómo lo supe? ¿Acaso estaba al tanto de una conspiración de todas las empresas de medición electoral para manipular las elecciones? ¿O es que adquirí repentinamente poderes de clarividencia?

Ni lo uno ni lo otro. Simplemente estaba consciente de que las encuestas electorales pueden equivocarse, especialmente en la era de internet. Y dado lo visto recientemente en otras elecciones a nivel mundial (como la de Trump), simplemente intuí que habría un error muestral importante en la votación, favorable a los candidatos fuera del establishment. Bueno… y ayudó harto también que, a diferencia de las encuestas, mi predicción no daba ningún número concreto. No soy vidente.

Cuento todo esto porque, tras el grosero error de las encuestas electorales respecto a la votación de Sebastián Piñera y Beatriz Sánchez en primera vuelta, se ha instalado la idea de que estas estaban siendo manipuladas, que el error fue intencional para influir en la elección y que, de paso, no deberíamos confiar en ninguna encuesta de nada nunca más.

Lo anterior es sumamente preocupante, porque dejar de creer en las herramientas muestrales y las estadísticas, nos lleva a quedarnos sólo con nuestros prejuicios y movernos al mundo de la post-verdad, donde nos negamos a creer nada que no vaya con nuestras creencias, y estamos dispuestos a creer cualquier cosa que las confirme.

Así que intentaré explicar en esta columna por qué las encuestas se equivocan y por qué eso está ocurriendo cada vez más seguido, sin necesidad de ninguna conspiración.

1. No se puede “validar” el futuro

Lo primero que debemos entender es que las encuestas electorales son “predictivas”. Es decir, intentan adivinar lo que pasará en el futuro, a diferencia de la mayoría de las encuestas que vemos sobre otros temas, que son “descriptivas”, es decir, se refieren al pasado o el presente (victimización, percepción, opinión).

Esto es relevante, porque cuando intentas adivinar el futuro, se vuelve mucho más difícil validar la información que recibes.

Es decir, si yo estoy midiendo, por ejemplo, tabaquismo, y mi encuesta revela que 90% de mis encuestados dicen no fumar, yo puedo luego ir a comparar eso con los datos de venta de cigarrillos y de muertes por enfermedades relacionadas al tabaco, y ver si el dato hace sentido. Si no calza, debo volver a revisar cómo levanté la información para detectar qué hice mal.

No así con las encuestas electorales, donde no tengo nada contra qué contrastar mis resultados. A lo sumo puedo mirar las otras encuestas y ver si llegan a resultados similares a los míos, pero como veremos más adelante, hay problemas que son comunes a todas y que, por lo tanto, en lugar de señalar un error, pueden reforzarlo.

2. Incomparabilidad de las elecciones

Dado que no hay mucho con qué contrastar los resultados, ver tendencias del pasado resultaba, para los expertos electorales, una forma relativamente confiable de evaluar la calidad de los datos obtenidos en sus encuestas. Las sociedades suelen cambiar de a poco, así que si la encuesta daba un resultado demasiado diferente de la tendencia histórica, había que examinar de cerca los datos para ver si eran correctos o se estaba ante un sesgo muestral.

Lo anterior era posible porque varias variables importantes se mantenían constantes en el tiempo: el voto era obligatorio, así que el número de votantes era más o menos conocido, habían dos grandes bloques políticos estables con los que la gente se sentía más o menos identificados, y la mayoría del acontecer nacional se conocía a través de cuatro o cinco canales de televisión, diarios y radios.

No ha sido así con las últimas elecciones: ahora tenemos voto voluntario, primarias, múltiples bloques y pactos electorales, menos identificación con partidos tradicionales, muchos más candidatos independientes o de partidos minoritarios, e infinitas fuentes de información a través de internet (literalmente, cada página de Facebook es un medio en sí mismo), por lo que cada elección es completamente distinta y cualquier intento de hacerlas comparables resulta extraordinariamente complejo e impreciso.

Las encuestas están recién aprendiendo a navegar en estas aguas y aún tienden a dar demasiado peso a lo que había funcionado en el pasado, por lo que la intención de voto de candidatos de bloques tradicionales tiende a estar sobre representada.

3. Las respuestas de la gente no son confiables

Haz un experimento. Pregúntale a una persona cuántos libros leerá este año. Probablemente te dirá algo en la vecindad de “uhm… unos cinco”. Acto seguido pregúntale cuántos libros leyó el año pasado. Probablemente la respuesta será “eeeh… ninguno”.

La gente es naturalmente mala prediciendo el futuro, incluso cuando se trata de sus propios actos, y el asunto se potencia cuando sienten vergüenza de responder con la verdad. En las encuestas electorales, muchas personas responden lo que creen que se espera de ellas, en lugar de lo real. Así que muchos dicen que irán a votar, aunque no tengan ninguna intención de hacerlo, o afirman que votarán por uno de los candidatos más “políticamente correctos”, cuando en realidad se sienten atraídos por otro con un discurso más polémico.

Por otro lado, un porcentaje importante de la población no ha elegido por quién votar hasta pocos días antes de la elección. De hecho, es muy probable que entre los mismos lectores de esta columna, muchos no hayan sabido ni quiénes eran los candidatos a CORE hasta estar dentro de la caseta de votación. Como es de suponer, si alguien aún no decide qué hará el día de la votación, sus respuestas serán extraordinariamente poco confiables.

Dado que las encuestas recogen lo que la gente “dice” y no lo que la gente realmente piensa, naturalmente mientras menos honestas sean las respuestas, más errados serán los resultados.

4. Voto voluntario: los “votantes sorpresa”

Desde que tenemos voto voluntario, uno de los factores más difíciles de manejar para los encuestadores, es saber quién decidirá o no ir a votar el día de la elección.

Las encuestas intentan predecir la probabilidad de que alguien vote fijándose en variables demográficas (edad), geográficas (si vive cerca o lejos de lugares de votación), sociales (los estratos sociales más bajos o con peor educación tienden a votar menos que los más altos) o con preguntas del tipo “¿usted votó en la última elección?”. Si la respuesta es “no”, entonces se presume que el encuestado tampoco lo hará en la próxima elección. Así, se establecen “votantes probables” y sus opciones electorales adquieren más importancia en la muestra.

El problema es que esta estrategia es un arma de doble filo, pues puede descarrilar por completo la predicción cuando algún candidato logra movilizar a un grupo que tradicionalmente no ha asistido a las urnas, como era el caso de los votantes rurales en EEUU para la elección de Trump, o la juventud, en el caso de Beatriz Sánchez o Jorge Sharp.

Y eso cuando los votantes siquiera responden la encuesta. Otro problema es que muchos de los votantes más descontentos con el “sistema” suelen rechazar todo tipo de encuesta o medición electoral. Esto suele no importar, porque estos grupos habitualmente tampoco van a votar, pero pueden aparecer de sorpresa el día de la elección si se sienten atraídos por un discurso disruptivo.

Me atrevo a decir que este es, por lejos, el factor más influyente en los errores de encuestas electorales recientes.

5. Sistemas obsoletos o inapropiados de muestreo

Una cosa es decir “okey, encuestemos aleatoriamente a gente de todos los perfiles” y otra cosa muy distinta es lograr hacerlo realmente.

Uno de los problemas es que, sea cual sea la herramienta que utilices para contactar a los entrevistados, estarás introduciendo un sesgo (distorsión) a la muestra. Por ejemplo, hasta el día de hoy, muchas encuestas se basan en llamadas a teléfonos fijos, pero ¿quién tiene teléfono fijo hoy en día? Ciertamente no los jóvenes veinteañeros. Así que al llamar a números fijos, se está eligiendo sin querer a personas de mayor edad.

O si en cambio me paro en una esquina a entrevistar gente, puedo estar sin quererlo sesgando la muestra hacia personas que tienen algo en común (por ejemplo, si cerca de ahí hay un polo de negocios, probablemente encuestaré más ingenieros comerciales de lo normal). Una encuesta por internet, por otro lado, deja fuera a sectores más aislados y clases sociales con menor acceso a herramientas tecnológicas. Lo anterior es inevitable. Cada método de muestreo conlleva un sesgo.

Obviamente una forma de compensarlo sería utilizar muchas formas de levantar datos o hacer la encuesta lo más grande posible (si yo entrevistara, por ejemplo, a uno de cada diez habitantes del país, sería muy difícil dejar a algún grupo relevante fuera) pero hay un problema práctico para esto: hacer encuestas toma mucho tiempo y mucha MUCHA plata. Como en el caso de las encuestas electorales la idea es ir midiendo las tendencias con frecuencia al menos mensual, y como muchas empresas hacen estas encuestas para hacerse publicidad (es decir, nadie les paga por hacerlas, sino que las financian de su bolsillo), se ven obligadas a tomar atajos para intentar reducir el costo y tiempo de hacerlas, con el consiguiente empeoramiento en la calidad de los datos.

Naturalmente, un encuestador astuto se dará cuenta de lo anterior y lo intentará compensar utilizando correcciones estadísticas a los datos que recoge; pero todo tiene un límite. Hoy en día, hay grupos enteros que están tan subrepresentados en las encuestas, que sus respuestas no hay corrección que alcance a incorporarlos. Y uno se puede equivocar por completo y corregir para el lado equivocado.

6. El ignorado margen de error

Cualquier encuesta seria entrega, junto a sus resultados, una estimación de lo que se conoce como el “margen de error” de sus resultados. Es decir, el encuestador intenta predecir y advertir por cuánto pueden fallar sus estimaciones.

El problema es que los medios de comunicación rara vez se molestan en mencionar este punto cuando publican los resultados de las encuestas, mostrando muchas veces un incremento de 2% en intención de voto de un candidato como un alza importante, cuando en realidad esto cae tranquilamente dentro del margen de error de la encuesta.

Por otro lado, el margen de error es también una estimación y como tal, igual de susceptible a equivocación. Un encuestador puede creer que su margen de error es de sólo 3 puntos porcentuales, cuando en realidad está a punto de mandarse un numerito como el que vimos en la elección recién pasada, y fallar por 12.

7. Desfase temporal

Como dijimos antes, hacer encuestas toma tiempo. Mientras más grande la encuesta, más tiempo toma recoger los datos, procesarlos, tabularlos, analizarlos y luego hacerlos públicos. Típicamente entre el momento en que se hizo la encuesta y que se dio a conocer pueden pasar una o varias semanas.

Naturalmente, si entre que se hizo la encuesta y que se publicó, ocurrió algún evento relevante que cambió repentinamente la percepción de un candidato o el ánimo de la gente (por ejemplo, el destape de un caso de corrupción o un ataque terrorista), aquello no se verá en los resultados de la encuesta.

Y sumémosle a eso el tiempo que pasa entre la última encuesta publicada y la elección misma, donde cualquier cosa puede pasar.

8. Las predicciones afectan el futuro

Uno de los problemas de hacer predicciones, es que tu propia predicción afecta el futuro que buscas predecir. ¿Por qué?

Los candidatos se adaptan según lo que ven en las encuestas. Si un candidato ve que va mal encaminado, puede enmendar su discurso o reforzar el trabajo de campo para mejorar su posición con los grupos en que aparece más débil. Un candidato que ve que no tiene ninguna posibilidad, puede darse por vencido y dejar de hacer campaña. Otro que aparece como ganador puede relajarse demasiado.

Igualmente los votantes reaccionan a las predicciones. El fenómeno “carrera ganada” puede hacer que los votantes de un candidato no se levanten a votar pues creen que su voto no es necesario (se piensa que esto pudo ocurrir con Hillary Clinton contra Trump, y también se ha escuchado como explicación al mal resultado de Piñera). Lo mismo puede ocurrir con candidatos que aparecen como claros perdedores. O quizás al revés, ver que su candidato está bajo lo esperado, los motive a levantarse a votar.

Además, la búsqueda de hacer un “voto útil” puede llevar a la gente a votar por un candidato que les gusta menos, pero que supuestamente tiene más posibilidades de ganarle a su rival (que es la explicación que da el Frente Amplio para no haber vencido a Guillier).

Es indudable que las encuestas efectivamente pueden influir en la elección, pero resultaría muy difícil tabular qué efecto será más potente. Por ello, es más razonable suponer que se trata más de un efecto secundario, que de un objetivo intencional.

¿Entonces, es imposible que haya intencionalidad en el error?

No, no digo eso. Indudablemente hay encuestas groseramente pobres metodológicamente, cuyos resultados carecen de toda validez. Y uno siempre debería desconfiar de encuestas (y cualquier otro tipo de estudio) financiadas o realizadas por grupos de interés, pues está demostrado que sus resultados suelen estar sesgados.

Pero cuando el error en la medición es transversal y todas las encuestadoras, incluso las más prestigiosas e independientes, fallaron de manera más o menos similar, se me hace difícil creer que haya habido intencionalidad.

Tomemos en cuenta que muchas encuestadoras usan sus predicciones electorales como herramienta de marketing (los medios no se resisten a publicar sus resultados, haciéndoles publicidad gratuita) y el ser capaces de acertar con mínimos márgenes de error es su argumento de venta. “Mentir” en sus pronósticos, entonces, resultaría suicida para ellas. Estarían echando a perder su propia reputación y potencialmente perdiendo importantes clientes.

Lo lógico ante un suceso así, entonces, es asumir que hay factores en el nuevo mapa electoral de Chile que simplemente aún no han sido incorporados a los modelos y metodologías tradicionalmente usados para predecir el comportamiento electoral. Suposición que se ve reforzada ante la evidencia de que esto es un fenómeno mundial, que estamos viendo repetirse cada vez más en todo tipo de elecciones y plebiscitos con resultados inesperados

¿Pero no es más seguro desconfiar de las encuestas?

Creo que ser escéptico es la postura más sana en la vida. Pero ser escéptico no significa no creer nada o asumir que todo es una conspiración. El escepticismo es exigir un alto grado de evidencia antes de aceptar algo como una verdad definitiva, pero ser igualmente exigentes para descartarlas como mentira. Es evaluar las cosas centradamente, y estar abiertos a ver evidencia que contradiga nuestras posturas, tan abiertamente como aceptamos la evidencia que la confirma.

Así que sí, no deberíamos jamás tomar una encuesta (menos una predictiva) como la verdad revelada o una representación perfecta de la realidad, porque no lo son. Pero tampoco podemos caer en el juego de creer que son "mentira", descartar de plano sus resultados porque no nos gustan y vivir creyendo que nuestros prejuicios son lo único real. 

Nadie quiere sentirse un títere y es bien sabido que a las encuestas suele dárseles uso político. Pero decir que las encuestas mienten es también un uso político, usado con muchísima frecuencia, es casi el discurso estándar del candidato que va perdiendo, y es el argumento favorito de los líderes populistas que promueven agendas y visiones del mundo que no calzan en absoluto con la realidad y, por lo tanto, jamás podrán verificarse en encuestas.

Ignoro si las encuestas electorales podrán, a futuro, enmendar el camino, o seguirán volviéndose cada vez menos confiables. Lo importante para nosotros, es entender que toda encuesta o estadística es una reducción imperfecta de la realidad. Creer ciegamente en ellas o descartarlas como falsas porque fallen, es igualmente malo. Lo razonable es tomarlas como una simple aproximación y estar atentos a sus puntos ciegos.

¿Qué más pudo haber fallado con las encuestas?