Malaprensa

Un comentario de Ferrim a una entrada anterior me ha llamado la atención sobre esta noticia del Abc: El 57% de los alumnos de la ESO ha practicado el coito. La noticia especifica que se refiere a alumnos entre 12 y 15 años de Andalucía. Algo casi idéntico aparece en Elpais.com, y en otros muchos medios.

Pero algo raro pasa: el mismo estudio fue presentado en febrero, y entonces se decía que una quinta parte de los jóvenes de ESO habían tenido relaciones sexuales con penetración (también en El Economista).

A menos que los jóvenes andaluces se hayan puesto a retozar como locos los últimos tres meses, por la cosa primaveral, y el resultado presentado ayer sea una actualización del estudio de febrero, alguien ha cometido un error muy gordo.

Por supuesto, el estudio original no está disponible online (o yo no lo he encontrado). Tampoco he podido dar con una nota de prensa. Pero en El Diario de Sevilla tal vez esté la pista para la resolución del misterio. La noticia lleva firma de un redactor, y lleva foto propia, así que parece que han ido a la rueda de prensa en cuestión y afirman que en su provincia (el estudio tenía una muestra específica para Sevilla) los jóvenes que han tenido relaciones "antes de los 16" son el 24%, lo que es compatible con el dato de febrero, al tratarse de un territorio diferente.

Además, de ellos, "más de la mitad (el 57,4%) lo hicieron con menos de 14 años". Otra vez el 57,4% pero para una cosa muy distinta. Mucha casualidad me parece.

Así que tiene pinta de que alguien (probablemente en la agencia Efe, citada por algunos de los medios que han metido la pata) se ha trastabillado con los porcentajes al hacer la nota de agencia, tal vez al vuelo, a partir de una rueda de prensa. Y el resultado es un disparate que los medios reproducen de nuevo, sin preguntarse nada. Ya se sabe que la agencia Efe es infalible.

Etiquetas: abc, efe, el país, encuestas, sentido común

Me escribe José Antonio para llamarme la atención sobre esta noticia de la edición valenciana de El País: Las mujeres salvan la media lectora. El índice de lectura valenciano supera la media nacional gracias a ellas.

El artículo tiene dos problemas. Uno más obvio (estadístico) y otro conceptual (quizá también más discutible). Empecemos por lo fácil. Como dice José Antonio el artículo no cita la ficha técnica de la encuesta lo que él piensa que es una "pésima práctica". Pues tristemente es lo más habitual. La ficha técnica y los demás datos de la encuesta los podría haber localizado el periodista sin dificultad en la página web de la consejería, como ha hecho José Antonio.

Esto le hubiera permitido hacer algo más que reproducir las declaraciones de la consejera de Cultura. O tal vez, en realidad, hacer algo menos, ya que la ficha revela que el margen de error de la encuesta es del 2,9% al 4,1% y sin embargo casi todas las diferencias entre los datos de la Comunidad Valenciana y los de España, o entre el año actual y años anteriores, son mucho menores. Es decir, que es imposible saber si los datos de Valencia son diferentes realmente de los de España, o si los datos de este año son distintos del año pasado.

Frases como "El índice valenciano de lectura (54,7%) está una décima por encima de la media española", "el índice de lectura de los valencianos, a pesar de caer en casi un punto (del 55,6% en 2007 al 54,7% el año pasado)...", o " ha crecido en una décima de punto el número de lectores frecuentes, ahora el 38,8%" muestran la ignorancia básica del periodista (y de la consejera, me imagino) sobre lo que significa una encuesta, y el concepto de margen de error.

La verdadera noticia de esta historia es el escándalo de que la Comunidad Valenciana gaste todos los años dinero en repetir una encuesta sobre este tema, cuando una quinquenal o si me apuran decenal podría valer, dado lo lentísimos que son los cambios en este terreno, como se ve en las gráficas del informe.

La segunda objeción de José Antonio es más conceptual, y tiene que ver con la cuestión de que "las mujeres leen más", lo cual es engañoso, según su opinión:

En el dato que sí es estadísticamente significativo, que las mujeres leen más que los hombres, creo que hay un error de información, no sé si achacable al periodista, al estudio o al político que da la noticia.
Me refiero a que mezclan "lectura", en general, con "lectura de libros". Es un error que yo mismo he tratado en mi propia bitácora, que se repite a menudo, y que lleva a conclusiones erróneas.
Por ejemplo, no incluye lectura de prensa, o de Internet, o de otro material, y creo que si se incluyeran otros parámetros la conclusión no sería la misma.

Tiene un punto de razón, seguramente. Pero ese error, en mi opinión, palidece en relación con el primero. No hay absolutamente nada noticioso en una encuesta que repite prácticamente los resultados de todos los años. La noticia es que semejante inutilidad de encuesta se haga.

Etiquetas: el conceto, el país, encuestas, sociedad

Casi no hay medio que no cuente hoy que en las cenas de Navidad de las empresas, la mitad de los asistentes consumen drogas (según otros, el 40% consumen cocaína): Lavanguardia.es, Elmundo.es, Abc.es, 20 Minutos... Y otros cuantos. El estudio, por cierto, no está aparentemente colgado en la página de la Consejería de Sanidad de la Generalitat de Valencia ni de la FEPAD (¿cuándo demonios se negarán los medios a difundir información de estudios si no les dan acceso a su texto completo?).

Pero es que el mismo texto de la noticia que todos reproducen desmiente el titular que la mayoría escoge: un 46% de los encuestados dice que en las cenas de Navidad "se consumen" drogas, no que ellos lo hagan.

Etiquetas: 20 minutos, abc, el mundo, encuestas, la vanguardia

Unos académicos muy serios, usando una encuesta nacional de gran rigor, han hecho un mapa de la felicidad en el Reino Unido, clasificando 273 distritos, de más a menos felices. Eso contaba la BBC (y otros muchos medios) la semana pasada.

Sin embargo, a mitad de la noticia, el texto de la BBC reconocía que "los investigadores insisten en que las variaciones entre diferentes lugares no son estadísticamente significativas". Es decir, que como señala Ben Goldacre en Bad Science: "la noticia completa no tenía más base que la variabilidad por azar". Claro, con 5.000 encuestas en 273 distritos te salen menos de 20, como media, por distrito. Cuando usamos muestras tan pequeñas está garantizado que por puro azar obtendremos diferencias, incluso grandes, de las que no podemos saber si se deben al azar o si responden a diferencias reales.

Imaginen una gran bolsa con millones de canicas rojas y negras, al 50%, y que ustedes sacan de esa bolsa 273 puñados, de 20 canicas cada uno. El sentido común nos dice que muchos de esos puñados tendrán una distribución distinta a 10R-10N. Habrá muchísimos con 11-9, algunos menos con 12-8, y todavía bastantes con 13-7 y 14-6 (en las dos direcciones). El puro azar produce las diferencias.

Por esa misma razón, si sacamos los 273 puñados de 273 bolsas distintas, de las que no sabemos su contenido, y encontramos unos puñados 10R-10N, y otros 12R-8N y otros 13N-7R no podemos saber si la diferencia se debe a que los contenidos de las bolsas son diferentes, o al puro azar.

Algo parecido ha debibo suceder en este caso, ya que los investigadores dicen que las diferencias no son significativas.

Nuestra dificultad para aceptar la variabilidad natural de las cosas (y de las muestras) se interpone en muchos campos, no sólo en la sociología. En el artículo de Bad Science se enlaza a un video muy curioso de un guru del management que argumentaba que a menudo las empresas premian o castigan a trabajadores sin tener en cuenta que la variabilidad natural puede producir diferencias en resultados que no tienen nada que ver con el verdadero trabajo de los implicados.

Por otra parte, al final del artículo, se pregunta Ben Goldacre si los periodistas que han replicado la noticia alegremente tienen o no alguna culpa, o si son sólo culpables de ignorancia. La pregunta queda abierta, pero hay una pista interesante en las declaraciones de uno de los autores del estudio, Dimitris Ballas: "Traté de explicar la cuestión de la significación a los periodistas que me entrevistaron. La mayoría no quería saber."

Etiquetas: bbc, encuestas, sociedad

Ayer Abc traía en portada la "noticia" de que "Más de un millón de mujeres han sido víctimas de malos tratos".

La noticia propiamente dicha especificaba que eran 1,2 millones las mujeres que sufrían o habían sufrido alguna vez malos tratos, es decir, el 6,3% de la población mayor de 18 años. Se trata, supuestamente, de datos provenientes de un "informe inédito -que ha sido presentado al Consejo de Ministros y al Congreso y al que ha tenido acceso ABC".

Nada se dice de cómo se ha calculado el dichoso número, pero parece implícito que procede de algún tipo de encuesta. Curiosamente, la noticia dice que es difícil diferencias si son víctimas de maltrato físico o psicológico (¿?). Preguntado al respecto, el delegado del gobierno para la Violencia de Género dice:

«Hablamos de los dos tipos -explica Lorente-. Pero, sin duda, cuando a las mujeres se las pregunta, las que más se identifican con la violencia son aquellas que sufren agresiones físicas».

Ummm. Yo no estaría tan seguro. Como ya escribí aquí hace unos años, las encuestas sobre el tema muestran más bien que muchas más mujeres reconocen malos tratos psicológicos que físicos, y las que reconocen estos últimos son muy pocas (un 0,6% en 1999).

También escribí que algunos estudios hacían una definición muy amplia de lo que era una mujer maltratada. Concretamente, el que citaba yo entonces calculaba nada menos que un 11% de mujeres maltratadas, en lo que incluía las que hubieran respondido "a veces" a preguntas como si su pareja "no valora el trabajo que realiza" o "no tiene en cuenta sus necesidades".

A falta de que aparezca el informe y me desmienta, mucho me sospecho que la cifra del 6,4% actual también estará basada en una definición amplia, que no encaja, probablemente, con lo que la gente normal piensa cuando lee sobre mujeres maltratadas. Termino con una auto-cita, si me disculpan:

Sin querer minusvalorar las situaciones desafortunadas por las que pueden pasar muchas mujeres con parejas egoístas, poco comprensivas, o machistas en general, meter en el mismo paquete a las mujeres que dicen que su marido las pega (0,6%) o las amenaza (1,1%), con aquellas que dicen que "no tiene en cuenta sus necesidades" me parece francamente poco serio.

Etiquetas: abc, encuestas, sociedad

Habrán visto ustedes estos días múltiples noticias sobre la encuesta que Coca-cola ha hecho sobre la felicidad de los españoles. Están por todas partes.

El problema es que parece que los mismos que la han hecho han entendido y contado mal algunos de sus resultados. Lo cuenta Wonkapistas con detalle.

Etiquetas: encuestas

Me ha escrito Juampa para quejarse de que una noticia de Elpais.com, que dice que "Los jugadores de videojuegos consumen menos drogas, tabaco y alcohol" incluya esta frase:

Los usuarios de videojuegos, pese a lo que se podría presuponer,
consumen por regla general menos drogas, alcohol y de tabaco que los no
jugadores. [Negritas mías]

¿Quién supone que los aficionados a los videojuegos consumen más tabaco, alcohol o drogas que los que no lo son? El periodista, desde luego, pero no se sabe si nadie más.

En Elmundo.es publican otra noticia similar y dicen esto (que me manda Eugeen):

A partir de los 35 años, el consumo declarado de éxtasis es nulo entre los videojugadores... [negrita original]
La muestra contó con más de 2.000 participantes entre los 18 y los 35 años, de los cuales el 40% eran mujeres.

Hombre, parece claro que si sólo entrevistas a gente hasta los 35 años, el consumo de éxtasis entre los mayores de 35 años sea nulo. Y el de agua (en realidad es la segunda frase la que es incorrecta: en la muestra sí había personas mayores de 35 años).

Pero no son estos dos pequeños errores los que me han llevado a escribir esta nota. Es que, a la búsqueda del origen del error sobre el límite de los 35 años he buscado el informe original (siguiendo el enlace facilitado por Elmundo.es a la Asociación de Videojugadores). Y ¿qué he encontrado? Un churro. Un churro que no debería haber salido en tantos medios.

El estudio no cumple las reglas mínimas para tener ningún valor. Se trata de una encuesta online, con muestra, probablemente, auto-seleccionada, aunque en realidad no se informa de ningún detalle sobre cómo se ha captado la muestra. Los autores, que al parecer no saben mucho de encuestas (ninguno de ellos es sociólogo o similar, por lo que parece, sino que son expertos en "tecnologías de la información"), no nos dan el margen de error de la encuesta, sino que dicen simplemente que es ±2sigma, y se quedan tan anchos (¿sabrán que sigma es un valor que deberían calcular, dado el tamaño de su muestra, suponiendo que fuera aleatoria, que seguramente no lo es (saldría 1,1%, y el margen de error ±2,2%)? ¿Y que si no es una muestra aleatoria, en realidad no pueden saber cuál es el margen de error?).

Luego el estudio compara sistemáticamente los resultados en la encuesta (sobre consumo de drogas, alcohol, tabaco) de "videojugadores" y "no videojugadores". Cuestiones cruciales que se omiten: ¿cómo se han definido esos conceptos? ¿cuántos de los 2.070 entrevistados entran en cada grupo? La segunda pregunta es esencial, porque, aún si tuviéramos una muestra aleatoria, tendríamos que calcular, para entendernos, el magen de error propio de la submuestra de videojugadores para ver si sus resultados son significativamente diferentes a los del resto (en realidad se hace lo que se llama un contraste de poblaciones, que es algo un poco más complicado).

¿Qué queremos decir cuando decimos que son "significativamente diferentes"? Que no se han producido por azar en la muestra, sino que responden a diferencias reales en la población: por puro azar, dos muestras sacadas de la misma población no son idénticas, sólo parecidas; por la misma razón, cuando extraemos dos muestras de dos poblaciones, no estamos seguros, a primera vista, de si los datos distintosreflejan diferencias reales entre las poblaciones, o si son producto del azar; pero matemáticamente se puede calcular si la diferencia entre dos muestras es lo suficientemente grande para estar seguros de que las poblaciones de las que las hemos extraído también son diferentes.

Si no sabemos si los videojugadores son 100 ó son 1.500 no tenemos ni idea, siquiera aproximada, del valor que pueden tener las diferencias encontradas entre los videojugadores y los demás. Pero los "investigadores" no parecen saber nada de esto y cuentan con la misma relevancia diferencias entre unos y otros del 1% (seguro que no significativa) y del 10% (tal vez significativa, si los videojugadores son una parte importante de la muestra). Les da lo mismo.

Y a los periodistas también, claro. Pero no debería ser así. Permítanme la autocita:

En primer lugar, siempre que fuera posible (cuando la fuente no es un distante instituto de otro país, sino una empresa o entidad cercana, que incluso convoca una rueda de prensa para contar los resultados), los periodistas podrían pedir a la fuente emisora información sobre la significación estadística de la información. A un investigador serio esta demanda no le puede resultar esotérica, ni habría de tener mayor problema en responder a ella. Si esta demanda fuera repetida y firme, por parte de los periodistas, se podría ir creando el uso, entre todos los productores habituales de información de encuestas (INE, CIS, institutos de opinión autonómicos, universidades, estudios de audiencia...), de ofrecer rutinariamente la significación estadística de las diferencias entre valores, así como los márgenes de error para las submuestras (De mi artículo en el número 7 de Cuadernos de Periodistas, pdf ).

Si hubieran seguido ese consejo, no se debería haber publicado ninguna noticia sobre las diferencias entre videojugadores y no videjugadores, porque simplemente no las sabemos.

Etiquetas: el mundo, el país, encuestas

Me cuenta Ramón (gracias) que La Razón informa sobre el fenómeno del cómito italiano Beppe Grillo (en español sería Pepito Grillo, el personaje que representaba la conciencia de Pinocho), metido a activista político, con este titular: "La mitad de los italianos votaría a Pepito Grillo". Busquen en la noticia el dato que justifica el titular. ¿Lo ven? Yo tampoco.

El origen quizá esté en esta frase que aparece al final de una noticia en Terra, basada en una nota de Efe: "el 49,2% de los italianos considera muy positiva la iniciativa del cómico [la de promover una ley para reformar el parlamento]". Vaya diferencia.

Etiquetas: bla bla bla, encuestas, la razón

Me escriben Wonka y Cararanda (gracias) para advertirme de este estupendo titular de Abc: "Uno de cada cuatro escolares acusa al profesor de maltrato".

Primera línea de la noticia:

Un 4 por ciento de escolares de entre ocho y 17 años apuntan al profesorado como responsable de causar «mobbing» entre los niños...

Total, cuatro, o uno de cada cuatro.... ¡qué más dará!

Por otra parte, la noticia entera hay que ponerla en cuarentena porque procede de uno de los llamados "Informes Cisneros", cuyos métodos son conocidos por su falta de rigor. Wonkapistas ha dedicado varias entradas a criticarlos, enlazadas aquí. Para mí la más reveladora sobre cómo definen el acoso escolar es esta.

Etiquetas: 2+2=5, abc, encuestas, sociedad

Sienes y sienes de ustedes me han escrito sobre la sorprendente coincidencia de elmundo.es y elpais.com, que se proclaman líderes de la prensa digital en España al mismo tiempo.

Ambos citan cifras de estudios de audiencia, distintos, que les dan como líderes, pero que usan métodos de medición diferentes, como han explicado en elmundo.es.

Elpais.com cita a Nielsen, que utiliza un sistema de muestreo de personas que aceptan colaborar e instalan en su ordenador un programa que mide todas sus visitas a páginas web (como los audímetros de televisión), mientras que elmundo.es cita a OJD, que no hace un muestreo de usuarios, sino que coloca en las páginas que certifica un código (un mini-programa) que le permite contar todas y cada una de las visitas. Las cifras de OJD no incluyen a elpais.com, porque este ya no participa en ese sistema de medida (para que OJD mida la audiencia de un medio hace falta su colaboración, a diferencia de Nielsen).

No me es posible tomar partido por uno u otro método. Los dos parecen tener dificultades y pegas según cuenta Mangas Verdes. Pero lo que nos recuerda todo esta historia es lo importante de averiguar, ante cualquier información "¿usted cómo lo ha medido?"

Etiquetas: el mundo, el país, encuestas

Me escribe Xesca (gracias) llamándome la atención sobre esta noticia de Abc: "El 93% de las mujeres que abortan son coaccionadas" (también en La Razón, aunque no en el titular, y ellos hablan de "presiones, amenazas o coacciones"). Ni el 30, ni el 40, ni el 60: el 93%. ¿Y nadie se ha dado cuenta hasta ahora? La noticia empieza así:

El 92,8 por ciento de las mujeres que abortan en España sufren violencia de género porque han sido "coaccionadas" para ello por sus parejas y, además, un 73 por ciento declara haberlo sido por el empresario para el que trabajaban, según datos de un estudio de la Asociación de Víctimas del Aborto (AVA).

Pues a lo mejor se han quedado cortos en el titular, porque a nada que el 93% de las parejas y el 73% de los empresarios no se solapen completamente, nos vamos a encontrar con que en España no ha habido una sola mujer que aborte por voluntad propia. Por cierto, ¿tendrán pareja (estable, quiero decir, alguien tiene que haber participado en el embarazo) el 93% de las mujeres que abortan en España? En 2005 sólo el 25% estaban casadas, y las demás se repartían entre solteras (66%), separadas (5,5%), divorciadas (2,5%) y otras. Dudo que tantas de ellas tengan una relación de pareja tan estable como para que el varón las pueda "coaccionar".

Como he dicho más arriba, los datos de la noticia vienen de un estudio de la Asociación de Víctimas del Aborto. ¿Y cómo se ha hecho ese estudio? Pues esto es lo que dice el Abc: "La muestra analiza los casos de 824 mujeres mayores de edad con antecedentes de aborto provocado encuestadas el año pasado por profesionales sanitarios de diversas instituciones." ¿Y cómo han sido seleccionadas esas mujeres? No se sabe. La página web de la asociación no da ninguna información adicional.

Dado el obvio interés de la asociación promotora del estudio en el asunto, dada la total ausencia de información sobre la metodología, y dado lo increíble de las cifras, ¿qué debe hacer un periodista pofesional? Pues publicarlo, naturalmente.

Etiquetas: abc, encuestas, la razón, sociedad

Seguro que esa es la copla con la que ustedes se quedaron después de leer y oír las noticias de hace un par de semanas sobre una encuesta que mostraba que "Más de la mitad de los españoles considera 'mediocre o poco interesante' el cine español" (Elmundo.es, algo parecido pero menos preciso en Elpais.com). La noticia salió, naturalmente, por todas partes.

Una lectora que prefiere que no cite su nombre me cuenta que tras buscar y buscar la encuesta dio con el blog El CineExín, de Pedro José Vallín (periodista de La Vanguardia) que cuenta con mucha retranca en su entrada "Basurero sociológico" que asistió a la rueda de prensa de presentación del estudio y que algunas cosas que allí se decían le sonaron raras (por ejemplo, un dato reproducido por muchos medios, que un 35% de los encuestados estaban en contra de las subvenciones ¿y el resto?). Así que, mosqueado, pidió ver el estudio completo, del cual no se les había entregado copia en la rueda de prensa. Los presentadores del estudio (catedráticos) transmitieron el mensaje de que tal cosa era innecesaria, que vaya tostón... pero accedieron a enviarlo por correo electrónico a quien lo pidiera (en realidad es un pdf de tablas y gráficos que se lee rapidito, que mi lectora obtuvo del propio Vallín y que a su vez me envía).

Así lo hicieron, y Vallín descubrió cosas interesantísimas (como por ejemplo que al 64% de la gente las subvenciones le parecen bien o muy bien). También que lo de "mediocre" tiene una interpretación complicada, derivada de una redacción muy discutible de la pregunta. Lean la entrada entera de CinExín porque no tiene desperdicio.

Lo más interesante de la historia es lo que cuenta Vallín de cómo las agencias de prensa, y luego todos los medios, se conformaron con la información sesgada que les habían dado en la rueda de prensa para componer su información. Nadie esperó a tener en sus manos el resultado completo (llegó muy tarde ese mismo día: los que lo enviaron sabían lo que se hacían). Y eso sucede ante una noticia totalmente atemporal, que lo mismo puede salir hoy que mañana. Parece que los medios son completamente incapaces de resistirse al calendario impuesto por la rueda de prensa y el despacho de agencia. Hay que contarlo hoy, aunque sea mal, aunque nos estén dando gato por liebre. ¿Por qué?

Etiquetas: el mundo, el país, encuestas

Acaba de terminarse la temporada de encuestas para las elecciones municipales y autonómicas del domingo. Este fin de semana sólo he podido ver las de El País y me desconcierta la falsa precisión con la que se hacen las predicciones de votos y escaños.

A pesar de que la ficha técnica informa de que hay un margen de error, variable según el número de entrevistas realizadas, se publican las estimaciones de voto como si fueran valores exactos, y a partir de ellos se hacen las predicciones de escaños también, la mayoría de las veces, con una precisión que simple y llanamente una encuesta no puede dar.

Veamos un ejemplo. El domingo El País publicaba una encuesta sobre la comunidad autónoma de Madrid (€), que predecía un 51% de voto para el PP, un 38,5% para el PSOE y un 8% para IU. Los resultados en diputados serían 63, 47/48 y 9/10, respectivamente (en total se eligen 120).

Pero este cálculo se basa en aplicar el sistema d'Hondt a los resultados de la encuesta ignorando por completo el margen de error, que sería, para cada uno de los resultados, ±3,1%, ±3,0% y ±1,7% (con un margen de confianza del 95%). La predicción correcta, estrictamente hablando, por tanto, es algo así como entre el 47,9% y el 54,1% para el PP, entre el 35,5% y el 41,5% para el PSOE y entre el 6,3% y el 9,7% para IU. Lo que en escaños podría ser algo así como entre 59 y 67 para el PP, entre 44 y 51 para el PSOE y entre 7 y 12 para IU.

¿Les suena muy impreciso? Lo es. Pero eso es lo que permite decir una encuesta con 1.000 encuestados, con un 95% de seguridad (y hablo sólo del aspecto matemático, claro, olvidándome de que pueda haber voto oculto y otros problemas). Podemos reducir el margen de confianza al 68% (es decir, correr un peligro del 32% de equivocarnos), y en ese caso el margen de error es más o menos la mitad: 1,6% para el PP, 1,5% para el PSOE, y 0,9 para IU. Las horquillas de escaños serían entonces aproximadamente de 61 a 65 para el PP, 46 a 50 para el PSOE, y 8 a 11 para IU. Pretender ser más precisos que eso es, en mi modesta opinión, dar simplemente gato por liebre (si quieren entender algo mejor esto del margen de error, pueden leer mi artículo del año pasado en Cuadernos de Periodistas [pdf]).

Esta objeción se repite en todas y cada una de las encuestas publicadas, aunque no todas las elecciones son tan propocionales como la de Madrid, con distrito único y 120 escaños, con lo que la traslación de las horquillas de voto a horquillas de escaños es menos llamativa. Con todo, sigo preguntándome por qué los periódicos eligen dar predicciones tan falsamente precisas. A fin de cuentas, desde el punto de vista comercial, les interesa más mantener la emoción hasta el final. Por ejemplo, en Madrid, con los resultados de esa encuesta, y aplicando bien el margen de error, hay una pequeña posibilidad de que el PP no renueve la mayoría absoluta. ¿No daría eso titulares más comerciales y vendería más periódicos?

Etiquetas: el país, elecciones, encuestas

Eso es exactamente lo que pienso yo de la noticia titulada así en Elpais.com, que ahora mismo está incluso en su portada.


El subtítulo, desmentido en el propio texto; el último párrafo, haciendo piruetas para no contradecirse. Años manteniendo junto a las encuestas la nota que dice que no son representativas, y conteniéndose de usarlas para noticias... para esto. Qué destrozo. Qué pena.

Etiquetas: el país, encuestas

En Abc titulan que La poca educación vial es la principal causa de los accidentes de tráfico, según me alerta Wonka. Y el sesudo estudio que lo demuestra es... ¡¡¡una encuesta!!!, con muestra autoseleccionada, entre usuarios de la página hoyMotor.com.

En este caso, aún peor que la torpeza de usar una muestra no representativa me parece el creer que una encuesta (incluso la más perfecta) sirve para decidir la causa de un fenómeno.

Etiquetas: abc, encuestas, sociedad, tráfico

La Razón: Un 27% de mujeres tiene relaciones con riesgo de embarazo. Falso.

El Periódico: Un estudio revela que el 21% de las mujeres mayores de 39 años practica la "marcha atrás". Lo mismo en La Vanguardia, Diario de León, ADN, 20 Minutos... Falso.

El Correo Gallego: Una de cada dos gallegas elige como anticonceptivo el anillo mensual. Falso.

Y suma y sigue.

Todos se basan en una encuesta con una muestra muy particular (de Elmundo.es):

Estos datos se desprenden del estudio "Aceptación de los nuevos métodos anticonceptivos en España", realizado por el Círculo de Estudio en Anticoncepción, en el que han colaborado más de 500 facultativos y 9.700 mujeres entre 18 y 49 años que solicitaron consejo médico sobre métodos hormonales, en los que se centra esta investigación [negritas añadidas].

Tarea en plan Bart Simpson: escribir 100 veces "las mujeres que solicitan consejo médico sobre métodos anticonceptivos hormonales no son una muestra representativa de todas las mujeres".

Cuando acaben, escribir 100 veces "los hábitos sexuales de las mujeres que solicitan consejo médico sobre métodos anticonceptivos hormonales no son representativos de los hábitos sexuales de todas las mujeres".

A ver si así funciona...

(Gracias a Athini Glaucopis por la pista)

Etiquetas: 20 minutos, adn, diario de león, el correo gallego, el mundo, el periódico, encuestas, la razón, la vanguardia, sociedad

Lean en Wonkapistas lo último en "estudios" increíbles: el 90% de las trabajadoras embarazadas sufren "acoso maternal", según La Razón y otros muchos. El 25% son despedidas. ¿Datos? ¿Muestras? ¿Métodos? No sabe, no contesta.

(Gracias a Athini Glaucopis por la pista, que también envió a Wonka)

****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: encuestas, la razón, sociedad

Bajo el glorioso titular de "El 68% de los lectores de 'elmundo.es' piensa que comprará o alquilará una casa en 2007", este periódico perpetró el pasado viernes este peaso de párrafo:

El final del 'boom' inmobiliario queda en entredicho según los resultados del debate digital de la semana en suvivienda.es. Cerca del 70% de los 801 los lectores que han contestado a la pregunta "¿Entra en sus planes comprar o alquilar una vivienda durante 2007?" apuesta por la adquisición o el arrendamiento de una casa de aquí a final de año. Sólo el 33% ha dejado claro que se mantendrá al margen del mercado y no demandará vivienda en ningún tipo de régimen [negrita original].

Los lectores de elmundo.es del titular resulta que son en realidad los de suvivienda.es (ahí es nada la diferencia)... y como el 70% de ellos va a comprar o alquilar vivienda este año... pues el boom inmobiliario va a continuar. Ya te digo.

Supongo que lo próximo será predecir el resultado de las elecciones con una encuesta hecha la plaza de Colón un sábado entre los manifestantes.
****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: el mundo, encuestas, sociedad

Lleva ya semanas a la venta, pero nunca es tarde para recomendárselo. El número 9 de Cuadernos de Periodistas (pdfs disponibles aquí) viene encabezado por un artículo de Carlos G. Reigosa, titulado "La actualidad frente al periodismo". Entre los otros contenidos está mi artículo titulado "¿Cuál era la pregunta?" (pdf), donde invito a ser cautelosos al interpretar las encuestas teniendo en cuenta ciertos elementos claves de las preguntas, que resumo así:

la claridad (¿es la pregunta comprensible? ¿es ambigua?); las asociaciones positivas o negativas (¿qué elementos contiene que pueden inducir a una respuesta? ¿se avala una idea con referencias a alguna autoridad? ¿se asocia a algún partido o personaje político?); el formato (¿se plantea la pregunta en términos de acuerdo/desacuerdo con una propuesta, o se invita a escoger entre proposiciones alternativas?); la exhaustividad (¿se han presentado todas las opciones relevantes? ¿hay omisiones llamativas?); y el contexto (¿qué otras preguntas se hicieron antes? ¿cómo han podido influir en las respuestas?).

****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: cuadernos de periodistas, encuestas

Hace unas días, en una crónica desde París sobre las encuestas preelectorales para las presidenciales francesas, el corresponsal de El País deslizaba esta perla:

Todas estas encuestas son de fiabilidad escasa. Se realizan con muestras de entre 800 y 1.200 personas en un país de 62 millones de habitantes. De entrada, entre un 13% y un 15% de los encuestados no ha querido responder y cada uno de los resultados se admite que puede oscilar tres puntos arriba o abajo.

Me encanta lo de la población de 62 millones. Se ve que nadie se lo ha explicado: señor Martí, una encuesta de 800 personas es igual de fiable para una población de 200.000 personas que de 200 millones. Pregunte a su sociólogo de guardia.

****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: el país, encuestas

Dicen hoy en Elpais.com, destacándolo en portada, que son los líderes de la prensa generalista en Internet en España, y dos lectores (gracias José y Jorge) me han escrito poniéndolo en duda.

La fuente que cita Elpais.com es el noveno estudio de usuarios de Internet (pdf, 1,5 MB) que ha hecho AIMC, la misma organización que realiza el famoso Estudio General de Medios. Ambas son encuestas, pero con una diferencia importante: el EGM está basado en una muestra representativa de la población total, mientras que en el estudio de usuarios de Internet, entre otras cosas por no tener una buena descripción de la población de referencia, es una encuesta no aleatoria en la que simplemente se colocan anuncios de la encuesta en muchas páginas que colaboran desinteresadamente (cientos de páginas han colaborado, la lista está en el propio informe) y se reciben las respuestas de aquellos que voluntariamente, al ver el anuncio, deciden pasar un rato contestando sobre sus hábitos en Internet.

El estudio de usuarios en Internet, por tanto, no cumple las condiciones de una muestra probabilística, y los propios autores lo dicen en el informe:

El sistema que se ha utilizado en este estudio, colocación de un “banner” de llamada a la encuesta en un número amplio de sitios web y, al mismo tiempo, divulgar la existencia del estudio a través de distintos medios de comunicación, no responde a los requisitos del muestro probabilístico, donde todos los individuos del colectivo bajo estudio tienen una probabilidad conocida de ser incluidos en la muestra. Las características implícitas en el diseño, que no permiten garantizar la equiprobabilidad de selección entre los individuos de la población bajo estudio, son las siguientes:

• La oportunidad de encontrar ocasionalmente el “banner” durante la navegación por la Web está limitada a los visitantes de los sitios web que han colaborado en el estudio.
• La probabilidad de exposición al “banner” es directamente proporcional a la frecuencia e intensidad en el uso de la red. No sólo porque con el mayor uso se incrementa la posibilidad de arribar a un sitio web colaborador, sino porque dentro de los visitantes a uno cualquiera de esos sitios, la probabilidad de encuentro con la encuesta es proporcional al número de visitas al mismo.
• La muestra final no es el resultado de una selección realizada desde la administración del estudio, sino que simplemente se incluye a aquellas personas que voluntariamente han aceptado y decidido colaborar (muestra autoseleccionada).

Todo esto debe entenderse, y los autores del informe deberían haberse esforzado en clarificarlo para los lectores legos, en el sentido de que no puede estimarse el margen de error de los resultados de la encuesta, y más en general que, puesto que no sabemos si los que han respondido a la encuesta son una muestra realmente representativa del total de usuarios, debemos extremar la precaución al interpretar sus resultados, que debemos tomar como una aproximación muy imprecisa a la realidad de los usuarios de Internet en España (aunque quizá la mejor de la que podamos disponer, por otra parte).

Pues bien, eso es justamente lo que no han hecho en Elpais.com ya que han tomado los datos de la encuesta como si fueran los de una muestra representativa, y así, toman el orden de la lista de páginas web recordadas por los entrevistados como fuente para su titular. Y así, como el Elpais.com aparece en quinto lugar (con un 2,1% de las menciones, que viene a ser un 9,5% de los encuestados), por encima de Elmundo.es (2,0% de las menciones, aproximadamente un 9,1% de los encuestados), se permiten titular que son líderes entre las páginas de información general.

Debido a la enorme muestra, la diferencia entre ambos periódicos estaría en el límite de ser significativa, si se tratara de una encuesta con muestra aleatoria. Pero dado el carácter de esta encuesta, con muestra autoseleccionada, es una diferencia totalmente irrelevante, por lo que el titular de Elpais.com es claramente inapropiado. Es más, por razones que se me escapan Elmundo.es no fue una de las páginas colaboradoras con el estudio (curiosamente, sí participó cope.es, a pesar de todo el bochinche sobre el EGM del año pasado), mientras que sí lo hizo Elpais.com. Bastaría esa diferencia en la posibilidad de acceso a la encuesta entre lectores habituales de uno y otro para explicar, sobradamente, las aproximadamente 200 menciones más que recibe Elpais.com.

Por otra parte, la audiencia en Internet se puede medir por procedimientos diferentes a las encuestas. Muchas páginas españolas han aceptado el control de audiencia de OJD Interactiva, que se realiza por software instalado en las páginas de los medios, y es el equivalente virtual al control de ventas de los periódicos que lleva décadas haciendo OJD. Por razones que también desconozco, Elpais.com no participa en ese estudio, que coloca a Elmundo.es como claro líder.

En fin, que ya sabemos que todos los niños quieren ser el más alto. Pero ponerse de puntillas cuando te miden no vale.

****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: el país, encuestas, sociedad

Subtítulo de Elpais.com: "La mayoría de los europeos elegiría España como primer destino para venir a trabajar, según el sondeo que publica hoy Financial Times"

Texto de la noticia:

El 17% de los encuestados eligieron a España como el país en el que preferirían trabajar, por delante de Gran Bretaña, que recibió el 15% de los votos y Francia el 11%.

Eso es una mayoría, y no lo del referendum andaluz.

Etiquetas: 2+2=5, encuestas

No se pierdan esta anotación de Wonka sobre los estudios de acoso laboral y escolar. Relean sus anotaciones previas y/o lean el trabajo de Mariano Fernández Enguita. Demoledor.

****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: encuestas, sociedad

Me escribió hace unos días Francisco (gracias) para comentarme que el Abc había hecho cosas raras en esta pieza, que hacía una larga descripción de los resultados de una encuesta del CIS, e incluía, hacia el final, esta frase:

De todos ellos, una mayoría (30%) se declaran de centro o centro-derecha, con un aumento de medio punto con respecto al barómetro anterior. Los de centro izquierda se quedan en el 28 por ciento.

Lo primero que cabe discutir es que se llame "mayoría" a un 30%. Lo segundo es que se agrupe y compare lo que se llama "centro y centro-derecha" con "centro-izquierda" (¿por qué el centro se suma a la derecha?). Lo tercero es que una diferencia de 2 puntos es prácticamente irrelevante, al tratarse de una encuesta (pdf) con un margen de error, precisamente, del 2%.

Y lo cuarto, y lo mejor, es que esos datos provienen de esta pregunta del CIS: "Cuando se habla de política se utilizan normalmente las expresiones izquierda y derecha. En esta tarjeta hay una serie de casillas que van de izquierda a derecha. ¿En qué casilla se colocaría Ud.?" (se muestra entonces a los entrevistados una tarjeta con 10 casillas numeradas, donde el uno queda en el extremo izquierdo y el 10 en el derecho). Y los resultados fueron estos:


Parece que está claro que en una escala de 1 a 10, los puntos cinco y seis son el centro-centro, no el centro y el centro-derecha. Y el 3-4 no es el centro izquierda, sino la izquierda moderada. La propia tabla lo deja ver bien claro, al poner los datos de dos en dos, y ocupar el cinco y el seis la posición central, de cinco. Para comparar el centro-izquierda y el centro-derecha necesitaríamos los datos desagregados y habría que comparar el 4-5 con el 6-7 o algo así.

Ahora bien, esto plantea un problema interesante. Seguramente el error de Abc está en parte inducido porque tendemos a pensar en el cinco como el punto medio de una escala de 10 puntos. Pero si tenemos diez valores, en realidad el cinco sería el último elemento de la primera mitad (la mitad izquierda), y el seis el primer elemento de la segunda mitad (la mitad derecha, en este caso). Curiosamente, en esta escala es imposible situarse en el centro-centro.

Además, la cuestión que yo me planteo al ver estas preguntas es si ese error no se producirá también en algunas personas encuestadas, que a pesar de ver la tarjeta, colocarán mentalmente el centro en el cinco (cuando en realidad el 5 sería ligeramente a la izquierda del centro), lo que les puede llevar luego a posicionarse más a la izquierda de lo que realmente quisieran.

De hecho, en algunas encuestas se utiliza una escala de 1 a 7, y se explica (visual u oralmente) que el 1 es la extrema izquierda, el 7 la extrema derecha, y el 4 el centro. A mí me parece claramente preferible, porque permite elegir una posición de centro-centro (imposible en el otro caso), y porque evita confusiones.

En todo caso, buscando información sobre este asunto he encontrado esta página de "Cartas al Director" del Abc, que es una mezcla entre fe de errores y ombdusman defensor del lector, sin firma, donde se comentan cartas de los lectores que se refieren precisamente a los fallos cometidos por el periódico. Los primeros párrafos hablan precisamente del error del que les acabo de hablar sobre la encuesta del CIS. No había visto nunca esta sección. ¿Alguien sabe más sobre ella?
****************************
Puedes votar por Malaprensa
en los premios 20Blogs

Etiquetas: abc, encuestas