Imagen: César Mejías

6 formas en que las estadísticas pueden engañarnos

Ya lo decía Mark Twain: "Existen mentiras, malditas mentiras y estadísticas". Así es como un sencillo gráfico nos pasa gato por liebre sin que sepamos.

Por Francisco J. Lastra @efejotaele | 2016-04-11 | 11:59
Tags | estadísticas, matemáticas, engaño, gráficos, estudios

En la Era de la Información, las estadísticas reinan. Es difícil no ser convencido de cualquier cosa cuando se acompaña la idea con gráficos. Es como un piloto automático: aparece el famoso pie chart (gráfico de torta) y nuestro cerebro se desconecta, dejándonos apenas con la habilidad de agitar la cabeza con la boca cerrada (para que no se caiga la baba), de manera similar que cuando nos dicen "según un estudio..." (lectura complementaria obligatoria).

No es para menos. Un buen gráfico permite sintetizar información numérica que de otra forma se convertiría en la letra de una canción de cuna, ¡y además con coloridas formas!

Dilbert sabe de lo que hablo. Fuente: Dilbert

El problema es que a veces, detrás de un gráfico –sí, incluso nuestro querido pie chart– se comunica un mensaje que por descuido o falta ética es parcial o totalmente erróneo. Cuando decisiones como la construcción de un puente o la fabricación de una vacuna dependen de ellos, se entiende por qué no hay que tragarse toda barrita o línea que nos presenten.

Expertos en estadísticas

¿Sabías que la misma información se puede utilizar para crear dos gráficos con mensajes totalmente opuestos? Detrás de una estadística hay, sin duda, mucho más allá que figuras representativas de números, y es debido a aquello que hoy existen expertos en el "entendimiento de riesgo", estadísticos como David Spiegelhalter de la Universidad de Cambridge, que trabajan con matemáticos, psicólogos y otros profesionales para transmitir al público de forma precisa sus hallazgos.

" Los gráficos pueden ser tan manipuladores como las palabras", decía Spiegelhalter en una reciente entrevista. Por eso, ser capaces de leer, entender y evaluar estadísticas es una habilidad fundamental, y estar atentos a los trucos que pueden hacernos caer en un error o engaño, es un must.

¿Curioso por saber cómo las estadísticas (y su mensaje implícito) nos pueden mentir? Veamos algunos casos que rescatan los matemáticos Andrew Gelman y Deborah Nolan en su libro Teaching Statistics: A Bag of Tricks.

1. Inventar cifras

Según un estudio de la Universidad de Cambridge, un 53,4% de las estadísticas son inventadas. ¿Ven lo que inteligente que sueno? (y no, ese dato no era real). Inventar estadísticas es la forma más directa de engaño de la que hablaremos y es, lamentablemente, más común de lo que se pensaría, gracias al aura de "verdad" o "seriedad" que un porcentaje o un grupo de barras puede darle al mensaje que lo acompaña.

Uno de los ejemplos más recientes y notables por su impacto, y que afortunadamente fue desbaratado con rapidez, fue un tuit publicado por el candidato republicano Donald Trump, cuyo discurso no solo está plagado de concepciones polémicas ("México (...) nos manda drogas, asesinos y violadores..."), sino también de estadísticas sacadas directamente del Instituto Aplaplac.

En diciembre del año pasado, Trump retuiteó estadísticas que señalaban, entre otras cosas, que un 81% de los asesinatos de gente blanca era cometidos por gente negra.

Una rápida consulta de las cifras oficiales del FBI arrojó que el porcentaje, en realidad, asciende a un 15% y que la supuesta "fuente", la Oficina de Estadísticas Criminales de San Francisco, jamás ha existido.

Si bien Twitter, y en especial Trump, no dejan la vara muy alta en cuanto a veracidad de información se trata, no deja de ser impactante el peso que una estadística totalmente inventada de una oficina que jamás existió pudo tener en un mensaje.

La lección es clara y se aplica a todo tipo de información sensible: hay que revisar la fuente de cualquier estadística que nos presenten.

2. Cortar ejes

En el colegio nos enseñan que los ejes, tanto el "X" (horizontal) como el "Y" (vertical), parte de 0, pero esto no siempre ocurre en los gráficos. No es algo prohibido ni malo necesariamente, pero se presta para exagerar o minimizar deliberadamente comparaciones de cifras.

Existen muchas formas de alterar ejes, pero la más común es la que se aprecia en las siguientes imágenes. Nótese que se trata de exactamente los mismos datos, solo que en el primero buena parte del eje "Y" (el vertical) fue talado para hacer, suponemos, leña. Así, la diferencia entre cada barra se ve enorme, cuando al verla en el contexto total (segundo gráfico), la diferencia es mínima.

En Estados Unidos, el canal Fox News ha sido acusado constantemente de usar esta triquiñuela para hacer que sus estadísticas favorezcan a los políticos republicanos:

"Si los recortes de impuestos de Bush expiran...". La diferencia sería bastante menos impactante si el eje "Y" partiera de cero. Du'h.

Lo mismo ocurre con las secuencias de tiempo (habitualmente situadas en el eje X). El crecimiento o disminución de la delincuencia, economía, desempleo, etc. puede verse impresionante o irrelevante según qué período se tome. Habitualmente los políticos seleccionan los marcos de tiempo que mejor hacen ver su gestión.

La próxima vez que veas uno de estos gráficos ¡Asegúrate que partan de 0! O al menos, que consideren un marco de referencia suficientemente amplio para tener claro cuán relevante es la estadística.

3. Ignorar bases de referencia

Un error común es creer que las estadísticas son simplemente números. Si fuese así, podría hacer un hermoso gráfico que muestre el número de divorcios en Chile comparado con las apariciones de Samuel L. Jackson en la pantalla grande (se sorprenderían) ¿Pero tendrá algún valor?

Una estadística solo tiene sentido cuando existe una base común que contextualice y le dé valor a los números que presenta. Así, en un ejemplo más normal, si queremos demostrar una posible carencia de pedagogos, tomar el número total de profesores en Santiago y compararlo con el de Punta Arenas no tiene mucho sentido porque, dado el tamaño de Santiago, es obvio que el número será mayor. Mostrar, en cambio, el número de profesores por cada mil habitantes, sí nos permitiría visualizar de mejor forma el posible problema.

Los mapas estadísticos caen sobre todo en el error de mostrar números totales sin considerar la densidad poblacional, lo que lleva a conclusiones absurdas:

Fuente: XKCD

4. Comparaciones arbitrarias

Hablando de mapas ¿se han topado con alguno coloreado según ciertos criterios? Estos son los llamados mapas cloropléticos (como el del cómic de arriba), los que debido a su atractivo visual pueden ser muy efectivos para transmitir un mensaje equivocado.

Nolan y Gelman destacan un ejemplo rescatado de un diario estadounidense, donde se señala el número de robos y asaltos en distintas áreas de la ciudad de Berkeley:

El gráfico destaca en gris las zonas que sufrieron más de 200 asaltos y 75 robos en el último año ¿Y por qué esos números específicos? Porque les dio la gana, básicamente.

Los autores explican que este tipo de sombreado, basado en criterios totalmente aleatorios, sugieren un intento de manipulación. Lo correcto hubiese sido tomar distintos tonos de gris para diferentes niveles de delincuencia, que escalaran de forma regular.

Nótese también otro defecto de este tipo de mapas coloreados: las zonas más grandes suelen verse como más problemáticas, aunque en este caso, debería ser todo lo contrario; la misma cantidad de delitos repartidos en un área más amplia, significaría menos delitos por metro cuadrado.

5. Comparaciones engañosas

Ignorar las bases de referencia antes mencionadas, favorece la aparición de comparaciones y conclusiones mal intencionadas (o basadas en la ignorancia).

Digamos que las estadísticas nos muestran que en 10 años el número de crímenes anuales de una ciudad se "disparó" de 1.000 a 10.000. Mirando solo los números es fácil entender por qué un diario tomaría la historia de que la ciudad está "ahogada en el crimen". Y de ahí toda la histeria colectiva sobre que "antes era mejor la vida", que "ya no se puede salir a la calle", y el inevitable "hay que trabar la puerta giratoria" (que realmente no existe).

Pero detrás de todo cambio brusco suele haber una razón lógica, que no siempre tiene que ver con un cambio relevante del dato medido, sino con el modo en que está construida la estadística. En este caso, el aumento podría estar explicado, por ejemplo, por un boom de migración hacia la ciudad y el consecuente aumento de población, y evidentemente, número total de crímenes. O también se podría explicar por una ley que hoy tipifica de crimen algo que antes no lo era. O ambas.

Un error común (y muy popular en redes sociales) es comparar tarifas de hoy y hace "x" tiempo sin hacer antes algo tan lógico como ajustarlas a la inflación. Si hace 20 años las ramitas costaban $100 y hoy $500 no se debe tanto a la avaricia de Lord Ramito, si no probablemente a un reajuste del IPC. Juega un poco con la calculadora del Instituto Nacional de Estadísticas, te sorprenderá saber que la tarifa del metro, por ejemplo, apenas ha variado desde hace 10 años.

Con esto ya debería quedar claro como los Andes luego de la lluvia, que las bases de referencia son lo que le da sentido a una estadística ¡no son opcionales!

6. Otras representaciones erróneas

Como vimos en los cortes de ejes, los gráficos deben representar fielmente los números que dicen representar, es decir, hay que dejar los efectos ópticos y cualquier cosa que pueda confundir al lector. Mientras más sencillo y plano, mejor. Lamentablemente, ya sea por error, torpeza o mala intención, frecuentemente ocurren cosas como estas:

Fox News es como el amigo que decía que 2+2= 5. En este caso 9 = 8,6. El gráfico de abajo muestra cómo debería verse realmente esa estadística. Fuente: FTB

Y hablamos de "plano" literalmente, porque los efectos 3D, por muy choros que sean, facilitan malentendidos en la percepción de los valores sin siquiera intervenir los valores.

Y para mi truco final, distorsionaré este pie chart transformándolo a 3D. ¡Ahora 5 se ve casi igual que 11%!

Uno de los más frecuentes errores de diseño en gráficos, y que ocurre hasta en los diarios y revistas más prestigioso, es usar dibujos con área o volumen, para representar un dato que debería tener un solo eje. Aunque se hace con un objetivo decorativo, el lector no sabe si debe comparar sólo la altura, el área o el volumen del objeto.

Este gráfico muestra el aumento del gasto en fondos de emergencia por año. El último cubo (2015) representa casi 80 mil millones, y el antepenúltimo (2013), 22 mil millones. Es decir, es sólo casi 4 veces más plata, pero en el dibujo, el cubo pequeño cabe unas 64 veces en el grande.

Aunque parezcan muchas cosas de las que estar preocupado, en realidad se trata de tener la misma actitud que frente a un estudio: ser escéptico. En otras palabras, verificar que la fuente sea fiable (y que exista), que sus elementos tengan las proporciones correctas, y que la información que transmite (los números) sea la misma que nos dicen que transmite (su título y bajadas).

¿Qué casos de mentiras estadísticas recuerdas?