6.9.08
El mapa de la felicidad en el Reino Unido
Unos académicos muy serios, usando una encuesta nacional de gran rigor, han hecho un mapa de la felicidad en el Reino Unido, clasificando 273 distritos, de más a menos felices. Eso contaba la BBC (y otros muchos medios) la semana pasada.
Sin embargo, a mitad de la noticia, el texto de la BBC reconocía que "los investigadores insisten en que las variaciones entre diferentes lugares no son estadísticamente significativas". Es decir, que como señala Ben Goldacre en Bad Science: "la noticia completa no tenía más base que la variabilidad por azar". Claro, con 5.000 encuestas en 273 distritos te salen menos de 20, como media, por distrito. Cuando usamos muestras tan pequeñas está garantizado que por puro azar obtendremos diferencias, incluso grandes, de las que no podemos saber si se deben al azar o si responden a diferencias reales.
Imaginen una gran bolsa con millones de canicas rojas y negras, al 50%, y que ustedes sacan de esa bolsa 273 puñados, de 20 canicas cada uno. El sentido común nos dice que muchos de esos puñados tendrán una distribución distinta a 10R-10N. Habrá muchísimos con 11-9, algunos menos con 12-8, y todavía bastantes con 13-7 y 14-6 (en las dos direcciones). El puro azar produce las diferencias.
Por esa misma razón, si sacamos los 273 puñados de 273 bolsas distintas, de las que no sabemos su contenido, y encontramos unos puñados 10R-10N, y otros 12R-8N y otros 13N-7R no podemos saber si la diferencia se debe a que los contenidos de las bolsas son diferentes, o al puro azar.
Algo parecido ha debibo suceder en este caso, ya que los investigadores dicen que las diferencias no son significativas.
Nuestra dificultad para aceptar la variabilidad natural de las cosas (y de las muestras) se interpone en muchos campos, no sólo en la sociología. En el artículo de Bad Science se enlaza a un video muy curioso de un guru del management que argumentaba que a menudo las empresas premian o castigan a trabajadores sin tener en cuenta que la variabilidad natural puede producir diferencias en resultados que no tienen nada que ver con el verdadero trabajo de los implicados.
Por otra parte, al final del artículo, se pregunta Ben Goldacre si los periodistas que han replicado la noticia alegremente tienen o no alguna culpa, o si son sólo culpables de ignorancia. La pregunta queda abierta, pero hay una pista interesante en las declaraciones de uno de los autores del estudio, Dimitris Ballas: "Traté de explicar la cuestión de la significación a los periodistas que me entrevistaron. La mayoría no quería saber."
Sin embargo, a mitad de la noticia, el texto de la BBC reconocía que "los investigadores insisten en que las variaciones entre diferentes lugares no son estadísticamente significativas". Es decir, que como señala Ben Goldacre en Bad Science: "la noticia completa no tenía más base que la variabilidad por azar". Claro, con 5.000 encuestas en 273 distritos te salen menos de 20, como media, por distrito. Cuando usamos muestras tan pequeñas está garantizado que por puro azar obtendremos diferencias, incluso grandes, de las que no podemos saber si se deben al azar o si responden a diferencias reales.
Imaginen una gran bolsa con millones de canicas rojas y negras, al 50%, y que ustedes sacan de esa bolsa 273 puñados, de 20 canicas cada uno. El sentido común nos dice que muchos de esos puñados tendrán una distribución distinta a 10R-10N. Habrá muchísimos con 11-9, algunos menos con 12-8, y todavía bastantes con 13-7 y 14-6 (en las dos direcciones). El puro azar produce las diferencias.
Por esa misma razón, si sacamos los 273 puñados de 273 bolsas distintas, de las que no sabemos su contenido, y encontramos unos puñados 10R-10N, y otros 12R-8N y otros 13N-7R no podemos saber si la diferencia se debe a que los contenidos de las bolsas son diferentes, o al puro azar.
Algo parecido ha debibo suceder en este caso, ya que los investigadores dicen que las diferencias no son significativas.
Nuestra dificultad para aceptar la variabilidad natural de las cosas (y de las muestras) se interpone en muchos campos, no sólo en la sociología. En el artículo de Bad Science se enlaza a un video muy curioso de un guru del management que argumentaba que a menudo las empresas premian o castigan a trabajadores sin tener en cuenta que la variabilidad natural puede producir diferencias en resultados que no tienen nada que ver con el verdadero trabajo de los implicados.
Por otra parte, al final del artículo, se pregunta Ben Goldacre si los periodistas que han replicado la noticia alegremente tienen o no alguna culpa, o si son sólo culpables de ignorancia. La pregunta queda abierta, pero hay una pista interesante en las declaraciones de uno de los autores del estudio, Dimitris Ballas: "Traté de explicar la cuestión de la significación a los periodistas que me entrevistaron. La mayoría no quería saber."
Etiquetas: bbc, encuestas, sociedad
