La semana pasada hablamos de cómo en el último par de décadas hemos visto una proliferación desmedida de “estudios científicos” de dudosa procedencia, tanto así que el lector común queda con la sensación de que cualquier persona puede llegar y publicar ese tipo de trabajo. La credibilidad de dichas publicaciones ha comenzado a ser cuestionada, sobre todo porque nos llenamos de estudios de cosas triviales que, para peor, se contradicen entre sí. Mientras un laboratorio dice que el huevo es peligroso y no se debe consumir más de un par a la semana (por sus niveles de colesterol), otro dice que es un alimento muy sano, recomendable para toda la familia en dosis de, al menos, uno diario. ¡Pónganse de acuerdo! ¿A quién le creemos?

Sin embargo, es importante enfatizar que no hay un solo culpable en este caos “comunicacional”. Mientras la misma comunidad científica reconoce que la presión de la academia por generar publicaciones los tiene produciendo estudios con diversos errores (en metodología, transparencia de datos y mediciones, conclusiones equívocas, etcétera),  también es importante aclarar que un estudio bien hecho puede ser, simplemente, mal explicado al mundo, y que de ahí se generen todas las confusiones. 

No sólo hay pocos científicos duros que pueden explicarnos en fácil qué descubrió con su último experimento, sino que algunas revistas que se dicen “especializadas” no siempre tienen el peso o la trayectoria como para dar a conocer ciertos temas. Las revistas que sí están debidamente acreditadas, ponen a expertos a revisar acuciosamente los artículos que van a publicar, asegurándose de que cumplen estándares mínimos (lo que comúnmente se llama “peer review” o “revisión por pares/colegas”). El problema es que hay más estudios que manos revisoras y no siempre se puede ser tan pulcro en el filtro; es decir, el peer review no es infalible y hasta Science o Nature se pueden equivocar o los estudios ya vienen “maquillados” para pasar las barreras editoriales (tal como se discute en el paper StarWars: Empirics Strike Back, recomendado por J-PAL) o simplemente se cae en ser “menos exigentes con los artículos que cuestionan la visión dominante, porque ésta última está ya muy vista”, tal como dice RealClimate.org.

Para colmo, muchos estudios que no obtienen los resultados deseados, son ocultados por sus autores o rechazados por las revistas, al punto que los estudios con resultados positivos tienen el doble de posibilidades de ser publicados, que aquellos con resultados negativos.

Por último, y no por eso menos importante, está el rol de la prensa tradicional. Ya no estamos hablando de revistas o foros especializados: hablamos de diarios y noticieros comunes, que toman las novedades científicas como una nota miscelánea. Desde sitios derechamente amarillistas y poco éticos hasta diarios grandes y consolidados, suelen reproducir información de ciencia con muy poca rigurosidad, poco análisis y sin chequear las fuentes. Me incluyo en la crítica, porque más de una vez me debe haber pasado. No hay suficientes periodistas expertos en estos temas (ni suficiente interés, muchas veces) como para que haya un colador adecuado en la prensa común, por lo que las malinterpretaciones y titulares engañosos están a la orden del día…

Ben Goldacre hizo un ágil e hilarante resumen de todas estas "distorsiones científicas" en esta genial charla TED:

El llamado usual es a mantener la distancia, a no creer a la primera, pero esta vez quiero darles consejos concretos. La información más chanta se delata de varias maneras y no se requiere un ojo tan, tan agudo. Pero sí atento.

1) “Un importante estudio de una prestigiosa universidad…”: Si el artículo parte con esta frase, déjelo hasta ahí y continúe con su vida. Alerta inmediata de charlatanería o derecha invención. Sin importar el tema que aborde, un estudio serio debe exhibir con mucha claridad quiénes están detrás (profesionales, instituciones) y, mejor aún, quién lo financia; si no existe esa info, huya.

2) “Un estudio del reconocido Dr. Nagisetty Mukunda Sudheer, concluyó que…”: Ojo aquí. Cuando no están aparejados a alguna universidad / institución o contexto macro más sólido, los nombres raros y rimbombantes están ahí con una clara misión: distraernos. Embolinarnos la perdiz, como se dice en buen chileno. Desconfíen siempre de los estudios de profesionales solitarios, sobre todo si no pueden pronunciar su apellido y están alojados sólo en su blog o sitio personal. Y hay varias opciones: o el nombre es inventado (un breve barrido en Google basta para corroborarlo) o el doctor efectivamente existe ¡Y puede que sea una eminencia! Pero no es suficiente para que sus conclusiones tengan que considerarse necesariamente una ley, sobre todo si su trabajo no ha pasado por peer review.

3) Estudio publicado en sitio de dudosa reputación: ¡Ah, la democratización de Internet! Bella y peligrosa. Recuerde que en esta era globalizada, literalmente cualquiera puede confeccionar un sitio que aloje material de diversos temas, muchas veces producto de un copy-paste poco prolijo de otras webs. Ni siquiera los sitios "bonitos" (buen diseño y navegación, etc) dan garantía. Si quiero saber los detalles de una especie en peligro de extinción, voy primero a NatGeo, no a Wikipedia, ya que sabemos que la famosa enciclopedia está llena de errores y/o datos no corroborados. El mismo criterio se debe aplicar a un estudio científico. 

4) Estudio publicado en sitio o revista científica “poco conocida”: Muy similar al punto anterior, pero con la dificultad añadida del aparente respaldo del área. Los mismas universidades han alertado sobre ciertas publicaciones de propagación científica que no cumplirían con los estándares mínimos y que justamente se prestan para dar vitrina a trabajos que no pasarían el filtro en una revista consolidada. Antes de creerle ciegamente a esa nueva revista de ciencia, cerciórese de que quienes componen el equipo editorial sean profesionales competentes y atingentes. Además, revise qué otros artículos poseen; de la cantidad/calidad se percibe el tipo de publicación que son.

5) Estudio en un artículo que no cita fuente original: Es un error lamentable y tremendamente común, que si bien a veces es ingenuo e involuntario, de todas maneras es un dato a considerar antes de tomar en serio la información que estamos leyendo. Por mucho que diga "Tres destacados científicos de la U. de XXX tras 20 años de experimentación en…" y bla bla, si no posee la fuente original al final del artículo (link o bibliografía, generalmente en inglés u otro idioma extranjero), es imposible saber si todos esos datos son ciertos.

6) Estudios con hipótesis muy excéntricas o con conclusiones… extrañas: Este es el consejo más subjetivo y sujeto a innumerables “depende”, pero téngalo igual en consideración. Aquí no queda más que apelar al sentido común (sí, el menos común de los sentidos) y de muestra, un botón: dese una vuelta por este estudio sobre el efecto de la música country en la tasa de suicidio de personas de origen caucásico o éste otro sobre la reacción de pollos ante rostros de mujeres lindas y dígame si no es para reír (o llorar).

No dudo que debe haber varias otras formas de estar mejor preparados (y más atentos) ante el bombardeo de publicaciones científicas “dudosas”, así que están invitados a compartirlas. Durante los últimos años, la masa se ha empoderado en todo orden de cosas, exigiendo mayor transparencia y calidad a las grandes marcas e instituciones. Ésta no tendría que por qué ser la excepción.

¿Qué otros consejos darías para discriminar la calidad de los "estudios" sobre los que nos informan?