Guía del consumidor de cifras

Las cifras sobre el presente y el futuro pueden ser intentos de compartir el conocimiento sobre la realidad y las tendencias, y de elevar el nivel de un debate hacia lo racional. En ese sentido son de agradecer, porque tienden a reflexiones más sensatas que cuando el punto de partida es el caso sangrante, la analogía demasiado imperfecta, o los principios inconmovibles…

 
Lamentablemente, también existe la tentación de manipular las cifras y convertirlas en proyectiles dirigidos a la línea de flotación de nuestras creencias.
 
Hay un par de dichos a recordar. El primero, que “si torturas los datos lo bastante, éstos confesarán cualquier cosa”. El segundo, que “todas las estadísticas son munición”. Nunca se emplean de forma inocente. En las discusiones modernas, políticas o comerciales, se emplean sin rigor, como coletillas para reforzar lo dicho, como si fueran tacos. Las “predicciones” son aún menos inocentes, porque el que las emplea suele tener detrás un programa, una ideología sobre el futuro. Una predicción siempre es activista.
 
Ésta es una pequeña autoguía basada en preguntas para identificar aquellos datos sospechosos de haber quedado inválidos tras demasiadas torturas.
 

1- ¿Quién lo cuenta?
 
¿No será alguien con posición o intereses presumibles? Incluso los activistas de ideologías más opuestas tienen una fe común: que el fin justifica los medios. De la fuente al teclado o micrófono puede haber importantes sesgos. Las estadísticas demasiado convenientes suelen ser sospechosas.
 
Un momento revelador fue cuando la BBC logró que en una entrevista, un líder de Greenpeace reconociera que exageraban sus predicciones, como en la afirmación de que “en 2030 ya no habrá hielo en el Ártico”, mientras defendía su derecho de usar datos exagerados para “emocionalizar los temas”. La polémica posterior sirve para comprobar que la capacidad de torsión de los datos supera la del caucho. ¿Exageró la OMS la gripe aviar por celo o para justificar su presupuesto? ¿o en realidad no hubo más problema porque se generó la alarma necesaria? Otro tanto ocurre con el famoso efecto 2000, las repetidas alertas de inminente recuperación económica o las alertas por temporal…
 
Fijarse en quien lo cuenta es la forma más intuitiva y simple para etiquetar un dato como sospechoso de sesgo. Claro que no hay que olvidar que uno mismo también tiene sesgos respecto a quien lo cuenta…
 
2- ¿Quién me lo hace llegar?
 
De forma similar, el medio por el que llega el mensaje y su sesgo habitual suele ser revelador. A falta de tiempo y datos para investigar, datos publicados en el Scientific American parecen a priori más rigurosos que los de Cuarto Milenio, o los de the Economist más ponderados que los de The Sun. Darwin hace que los medios tiendan a adoptar el sesgo que su público saben que prefiere: luego a la fuerza sesgadora del ideal se suele unir a la del presupuesto.
 
Otro fenómeno es que en el boca a boca, el dato malo tiende a desplazar al bueno, porque suele ser más dramático y atractivo, y vivimos en plena economía de la atención (un fenómeno análogo ya había sido observado por Copérnico: el dinero malo tiende a desplazar al bueno). Hay datos que por su extremismo se convierten en “memes” pese a su poca credibilidad inicial y logran la legitimación por repetición. Es conocido el caso de la no por inverosímil menos repetida cifra “150.000 casos anuales en EE.UU. de muertes por anorexia”, donde el boca a boca había transformado el número de casos en muertes, y que logró la máxima difusión al incluirse en un best-seller de la feminista Naomi Wolf. La cifra real parece estar entre 100-400 casos anuales. Naturalmente, otras estadísticas fueron adaptadas para encajar en lo que ella llamaba “un holocausto creado por los hombres”.
 
3- ¿Quién ha producido el dato?
 
La fuente, esa desconocida. En los pocos casos en que se indica, puede ser sintomático saber si es una fuente oficial, una serie regular de una empresa de consultoría que tiene un prestigio que mantener, un estudio encargado o “esponsorizado” (y en ese caso por quién), una “elaboración propia” o una producción de alguna organización de curioso nombre o conocidamente activista. Claro que para eso tiene que haber unas letritas pequeñas debajo de las gráficas que son algo así como el contraste de las sortijas. Si no, mala señal.
 
Naturalmente, en la cocina es más fácil sesgar los datos que en el comedor. El prestigio del cocinero es importante, porque no faltan los utensilios como “olvidarse” de datos conflictivos”, repetir muestreos o tratamientos “hasta que salga lo que quiero”, emplear definiciones amplias para que recojan más casos si eso interesa, hacer preguntas sesgadas, dirigirse a muestras no representativas, (¿es la fiesta que sale en el anuncio del Yogur griego de Danone representativa de los 11 millones de griegos? ¿los 10 dentistas de 9 de cada 10 dentistas se escogieron aleatoriamente?)… todo esto da para varios posts.
 
Una variante es cuando en lugar de manipular las medidas se manipula el propio fenómeno. Las medidas de audiencia son proclives a esto, como por ejemplo las de sitios de Internet.

Nadie puede asegurar que cualquier pronóstico acerca del futuro es imperfecto. Lo que a veces se olvida es que rara vez los referidos al presente tienen suficiente calidad. Varios son los problemas incluso cuando se trabaja con buenas intenciones. La mala praxis es endémica: Datos desactualizados, proyecciones mecánicas, comparar peras con manzanas…
 
Otras veces no parece haber forma de llegar al dato o de alcanzar un método que permita predecir con alguna fiabilidad. En ese caso, un “educated guess” de un experto es mejor que nada, y un buen punto de partida. Pero cuando la opinión de un gurú se utilice, conviene dejar clara su paternidad y fecha de nacimiento. Hay varios métodos que parten del consenso de expertos, intentando evitar los sesgos individuales, aunque pueden caer en el pensamiento grupal.
 
5- ¿Se interpreta correctamente?
 
El dato está ahí. Con mejor o peor fortuna ha llegado en forma de excel a los analistas, la gente lista, que se disponen a descifrar las señales a los mortales vía el word y el powerpoint. Pues en este salto de poner titulares a las gráficas también hay problemas.
 
Uno es que la especialización de las tareas hace que rara vez el que hacer el informe esté cerca de quien ha recabado los datos. Eso hace que no siempre comprenda plenamente los números que le llegan. Por eso algunos CEOs se pasan el día viajando o confían en anécdotas y experiencias personales: porque saben que los informes pierden mucha frescura (y también a veces porque se remiten al punto 2: los subordinados pueden filtrar lo que tiene repercusiones incómodas para ellos)
 
Errores clásicos son confundir causa con anticipación o con correlación. Por ejemplo, parece ser que hay evidencias del aumento constante de la población en España en los últimos años. También es evidente que en esos años ha aumentado progresivamente el número de los routers inalámbricos. Podemos hacer una gráfica que muestre una línea casi recta que relacione ambos aumentos. Por tanto, el WiFi aumenta la fecundidad de las parejas españolas.
 
De similar modo, las reglas de tres también crean sus trastornos. Dicen que para presumir de saber economía basta con saberse unas cuantas reglas de tres. Estos días podemos ver muchas predicciones que cuantifican el crecimiento de un factor como el empleo basado en otro como es la actividad económica. Factores que sin duda están relacionados, pero que no está claro que lo sean en proporción.
 
Otro error típico es sacar conclusiones de las propias definiciones. Por ejemplo, una sesuda investigación sobre estadísticas del FBI puede concluír con que los asesinos en serie son más difíciles de atrapar que el resto.
 
Las probabilidades generan su propia saga de deslices. Casualmente, la carretera más peligrosa de cada país resulta ser la más transitada.
 
Y finalmente recordar que otro buen montón de conexiones involuntariamente erróneas suelen ser un reflejo de la ideología (por ejemplo confundiendo lo deseable con lo normal), o más en general, de los modelos mentales con los que se ve el mundo (por ejemplo, si no puedes probar algo, prueba otra cosa y di que es lo mismo). Últimamente hay mucha literatura sobre los sesgos, por algo será.
 
5-¿Está expresado correctamente?
 
La forma de representar los datos puede ser tan importante como los mismos datos o las palabras que los rodean.
 
En este campo, no sabría decir si el ingenio o la torpeza humana son más peligrosos. Respecto al primero, el observador avezado rápidamente sospechará de:
- Gráficas que juegan con los recorridos de los ejes, exagerando desproporcionadamente los crecimientos
- Gráficas aún más audaces, que hasta prescinden de los anticuados ejes y alguno de los valores, representando sólo el voluntarismo.
- Gráficas sofisticadas, con colorinches, 3D y animaciones.

Enlace corto: http://bit.ly/9MukbU

PD Este post sería más útil con ejemplos y gráficas que hayan sucumbido de forma evidente a los vicios expuestos ¿algún candidato a citar? Gracias

Añado algunos enlaces interesantes de vuestros comentarios:

• http://www.malaprensa.com/ (Daryl)
  
• http://junkcharts.typepad.com
  
• http://cuatrotipos.wordpress.com/ (Ricardo Costa)
• http://www.fiapbt.net/statistics.htm (Axeloide)
  

Comments

[Publicado por: Ricardo Costa]

Hola

Muy bueno el post. Si quieres ver gráficos manipulados para deformar la realidad, me remito a los gráficos que mostraron al público nuestros "ilustres" representantes políticos en el debate previo a las elecciones generales de hace un par de años.

Te incluyo algún enlace:

http://cuatrotipos.files.wordpress.com/2008/02/zapaero-grafico.jpg

Un saludo

Ricardo Costa
Berkeley

[Publicado por: Daryl]

En www.malaprensa.com tienes una buena recopilación de todas la manipulaciones y errores descritas en este post.
Bajo la etiqueta Graficos aparecen algunos ejemplos sobre la manipulación de las gráficas pero no hay desperdicio en los casos mostrados bajo otras etiquetas.

[Publicado por: Ramiro]

me remito a dilbert... http://onionesquereality.files.wordpress.com/2009/07/data-mining.jpg

[Publicado por: Kiko Llaneras]

Muy interesante, la verdad es que hay que estar siempre en guardia. Me permito pasarte algunos ejemplos de malas prácticas con gráficas que he ido recopilando con el tiempo:

http://www.ensilicio.com/2008/03/la-grafica-manipulada-del-ultimo-anuncio-de-movistar.html

http://www.ensilicio.com/2009/11/alternativas-a-un-mal-grafico-de-tartas.html

http://www.ensilicio.com/2009/04/grafica-incorrecta-en-el-periodico-«el-pais».html

http://www.ensilicio.com/2009/03/una-grafica-incorrecta-en-el-periodico-las-provincias.html

http://www.ensilicio.com/2009/02/mas-graficas-tramposas-en-manos-de-politicos-soraya-saenz.html

Aprovecho para apoyar las recomendaciones de Malaprensa y Junkcharts.

Saludos,
Kiko

[Publicado por: rvr]

Hay que ser crítico con /toda/ la información, no solamente la numérica. Recomiendo este artículo de Carl Sagan, La carga del escepticismo.

[Publicado por: uno de tantos]

¿El primer punto 5 debería ser un 4 o simplemente es un "sesgo de orden"? ;)

¿Exactamente a qué ámbitos (seudo)profesionales se refiere en ese cuarto punto? Porque me parecen errores de niños de instituto que solo conseguirían colar a aficionados. En los campos que conozco ese tipo de meteduras de pata están debidamente controlados (en la mayoría de los casos) y el entorno empresarial que trague tales errores me parecería muy chapucero.

[Publicado por: Hosting de Colombia]

Definitivamente que buen articulo, proporciona unas estratejias claves no solo para las grandes empresas o empresarios, si no para aquello que surgen y tienen mente de negociantes.