¿Por qué creerles
a las encuestas?
Ana Cristina Covarrubias/
Rafael Giménez

Cuatro causas
Francisco Báez Rodríguez

¿Importa la opinión
de los ciudadanos?
Volga Cecilia del Riego S.

Cuando un chiste
pierde gracia
Adrián Acosta Silva

Lo reciente del campo demoscópico en México y lo cambiante de las condiciones de la competencia electoral en el país hace difícil considerar que existe un paradigma metodológico consolidado sobre los métodos y técnicas pertinentes en la investigación por encuesta. Una posición científica avalaría el respeto al pluralismo metodológico y afirmaría la necesidad de avanzar en el aprendizaje y la experimentación. Existen dos vertientes para la evaluación de la calidad del trabajo demoscópico: criterios técnico-metodológicos por un lado y, por otro, la corroboración de la adecuación de estimaciones contra resultados, no por ser las encuestas en sí mismas pronósticos, sino por ser éste el único elemento externo de validación empírica de decisiones adoptadas y porque, si bien las encuestas sólo reflejan las preferencias en un momento determinado, su objetivo es estimar distribuciones de preferencia entre el electorado de cara al acontecimiento electoral. Algunas consideraciones respecto de la experiencia acumulada en el campo serían las siguientes:

1. Universo observado y medio de aproximación al entrevistado. Lo usual para estimaciones de intención de voto del electorado es la entrevista cara a cara, no telefónica (representativa solamente para la población con teléfono). El universo de estudio regularmente son los ciudadanos con credencial de elector, aunque hay mediciones que refieren a electores considerados como probables, sin que existan procedimientos que hayan demostrado ser efectivos para decantar a los votantes de entre los electores y esté constatado que dichos procedimientos tienen escaso impacto en las estimaciones producto de encuestas próximas a comicios.

2. Método de contactación. Lo idóneo es la entrevista en domicilio. Empero, entrevistas por intercepción en calle no parecieran provocar sesgos significativos, siempre y cuando se lleven controles estrictos en campo que eviten distorsiones en la muestra o incorpore residentes en áreas distintas a las originalmente incluidas en muestra.

3. Método de muestreo para selección de áreas o puntos de entrevista. Para encuestas electorales, lo usual es un muestreo probabilístico. Entre menor es la unidad mínima de muestreo y mayor el número y dispersión de unidades en muestra, mayor precisión estadística esperable de las estimaciones. Sin embargo, a partir de un nivel mínimo de dispersión, no existe evidencia empírica de que aumente la exactitud de las estimaciones próximas a elecciones respecto de los resultados. Es de mencionarse que, además, el ordenamiento de las unidades a sortear tiene impacto en la representatividad esperable de la muestra que se obtenga, al igual que la adopción de procedimientos de selección en varias etapas y de estratificaciones, sin que exista evidencia de que ello provoque de manera genérica sesgos significativos en las estimaciones que se obtienen.

4. Método de selección y reemplazo de viviendas y entrevistados en las áreas o puntos en muestra. Lo deseable serían métodos estrictamente aleatorios con visitas reiteradas, control de ausencias y rechazos y reemplazos aleatorios.

En la práctica, se suelen adoptar procedimientos de "recorrido aleatorio" con arranque e intervalo, con o sin control de cuotas y con o sin ajuste posterior para reproducir distribuciones esperadas en variables sociodemográficas, sin que exista evidencia de que la adopción de una u otra combinación provoque un sesgo importante en las estimaciones.

5. Tamaño de la muestra. Entre mayor es la muestra, menor el error estadístico de las estimaciones a un nivel de precisión dado. Empero, para encuestas nacionales con mil o más casos, no existe evidencia de que la exactitud de una estimación próxima a elecciones respecto del resultado de los comicios se afecte significativamente por el tamaño de la muestra.

6. Trabajo de campo. La existencia de procedimientos para la supervisión directa y la verificación de la efectiva y correcta realización de entrevistas es fundamental para garantizar la calidad de la información que se recupere.

7. Estructura del cuestionario. El orden y redacción de preguntas puede introducir sesgos en las estimaciones. No existe evidencia de que la colocación de la pregunta sobre intención de voto al principio o adelante en el cuestionario provoque sesgos significativos en la estimación. El uso o no de urna y boleta tampoco tiene un impacto demostrado, aunque algunas agencias reportan que les posibilita reducir la proporción de respuestas no definidas por alguno de los contendientes.

8. Procedimientos de ajuste de las estimaciones. Un elemento facilitador de la evaluación de los resultados es transparentar los métodos de ajuste adoptados y su impacto sobre las distribuciones orginales de frecuencia observadas. Ello, no referido a la ponderación directa de los casos en muestra por probabilidades de selección por estratos o subgrupos, sino a transformaciones para la construcción de pronósticos o la adopción de criterios de ponderación no relacionados directamente con aspectos muestrales.

9. Patrocinador y responsable del estudio. El patrocinio puede dar cuenta del interés por la divulgación de determinado dato, sin que ello constituya elemento que permita presumir sesgo o falsedad. La experiencia de la agencia responsable en el campo de la investigación en general y de las encuestas electorales en particular, incluyendo el registro de la calidad de sus trabajos y la exactitud de sus estimaciones previas, que son un procedimiento de validación del know how de la empresa, de la calidad de sus procedimientos de trabajo y de lo atinado de sus decisiones técnicas, es elemento discriminador entre encuestas.

Por múltiples razones, unas de orden estrictamente estadístico y otras de orden no estadístico.

Las estadísticas:

1. La fecha de levantamiento puede diferir y hay que recordar que una encuesta refleja solamente las distribuciones de preferencias en un momento determinado. Se ha constatado que el principal factor explicativo de diferencias entre estimaciones por encuesta y resultados oficiales es la distancia en el tiempo entre medición y comicios. El cambio medio mensual estimado durante procesos de elección presidencial en México ronda en dos puntos porcentuales por mes durante las campañas, salvo la ocurrencia de fenómenos que impacten de manera significativa las distribuciones de preferencias del electorado (como el debate entre candidatos en mayo de 1994), en cuyo caso se presenta una brusca variación, cuya magnitud disminuye con el tiempo. No es posible prever de antemano qué sucesos pueden o no provocar cambios importantes en las preferencias, puesto que los eventos que tienen mayor impacto son los que sorprenden al electorado y, por ende, no se encuentran previstos en las agendas de contendientes e investigadores. Su ocurrencia solamente puede ser constatada disponiendo de estimaciones previas y una vez realizada una medición posterior.

2. Habría que confirmar que el universo es similar: no es lo mismo información referida al universo de los ciudadanos con credencial de elector que a un segmento de los mismos decantado a través de filtros que se supone contabilizan solamente votantes probables. Asimismo, debieran referir al universo de electores, no solamente al segmento que disponga de teléfono.

3. Margen de error de las estimaciones. Aunque la mayoría de las encuestas reportan un margen de error en torno a +/-3%, en realidad -de relajarse los supuestos que estrictamente impedirían hablar de error conocido cuando no se siguen procedimientos estrictamente estadísticos- su margen de error es mayor (puesto que no corresponden a muestreos aleatorios simples). Aun tomando estos márgenes, encuestas que difieran en +/-6% en la estimación de intenciones de voto para un contendiente estarán "dentro de la brecha" una de otra, lo que es decir que diferencias de hasta 12 puntos en la distancia entre dos contendientes pudieran ser adjudicables solamente al margen de error estadístico. El error estadístico se afecta por el tamaño de la muestra y las características mismas del muestreo adoptado, dado que los procedimientos para llevar a cabo la selección de las unidades mínimas en muestra tienen impacto en los resultados. Asimismo, las estrategias para la toma de muestra en las áreas seleccionadas impactan también las mediciones.

4. La comparabilidad de las estimaciones reportadas. Algunas agencias reportan las distribuciones de frecuencia directamente obtenidas, una vez aplicadas las correcciones o ponderaciones pertinentes conforme al diseño muestral adoptado. Otras agencias reportan el resultado de manipulaciones o transformaciones de estas distribuciones, a partir de modelos de asignación de indecisos o de pronósticos cuyas características no siempre se explicitan. En otros casos, se recurre a procedimientos de ponderación peculiares (en casos extremos, se ha recurrido a ponderaciones a partir de variables altamente correlacionadas con la variable a estimar). Dentro de los aspectos no estadísticos pudiera referirse:

1. Condiciones de supervisión del trabajo de campo, que pudiera derivar en la inclusión de observaciones espurias o en una deficiente recuperación de datos de los informantes.

2. Potenciales sesgos introducidos por el orden y redacción de los reactivos de un cuestionario, que no impacten la estimación de otro, sin que ello quiera decir que la formulación inmediata o posterior de la pregunta sobre intención de voto arroje estimaciones más o menos certeras, sino que puede provocar diferencias, dada la diferente contextualización y confianza del entrevistado para responder al cuestionamiento.

3. Condiciones y técnica de entrevista. Los resultados de una encuesta se impactan por el desarrollo de las propias entrevistas. Forma de presentación, imagen física, actitud, lenguaje y otros elementos del personal que aplique las entrevistas jugará un papel en ello. Los aspectos estadísticos que diferencian unas mediciones de otras y aspectos técnicos no estadísticos de control de calidad serán ciertamente similares en cualquier momento del proceso. Empero, el impacto potencial que puede tener el propio desarrollo de las entrevistas tenderá a disminuir en la medida en que "cristalice" más la decisión efectiva de voto de los ciudadanos. Está documentado en la literatura en el campo demoscópico que al arranque de campañas puede darse una recogida de datos en un ambiente de desinformación y desinterés de los ciudadanos hacia el proceso que impida recuperar preferencias producto de una reflexión previa del respondente, quien enfrenta al momento de la entrevista por vez primera el dilema de decidir un sentido para su voto futuro, siendo que en entrevistas en un momento próximo a los comicios recoge una decisión previamente reflexionada por el ciudadano. A principios de febrero, apenas algo más de la mitad de los ciudadanos podían referir el mes en que se celebrarán las próximas elecciones presidenciales y una proporción no despreciable ni siquiera supo decir que serán en este año.

De ser cierta esta hipótesis, sería esperable que las encuestas próximas a elecciones mostraran diferencias menores entre sí. Aunque ello no será necesariamente cierto, dado que en el pasado se han tenido divergencias tan altas como las que ahora estamos viendo. Basta cotejar las estimaciones de encuestas próximas a las elecciones presidenciales de 1994, que diferían en 17 puntos en la diferencia entre los dos primeros, para corroborar esto.

El patrocinio no debiera tener impacto en los resultados de las encuestas, aunque sí en la decisión de difundirlos. Empresas de investigación serias y con presencia en el mercado no aceptarían prestarse a la invención de encuestas ni a la manipulación espuria de resultados. Pero ninguna instancia partidaria difundirá voluntariamente información contraria a sus intereses. Por ello, las encuestas que difunda un partido político tenderán a serle favorables, puesto que de no serlo no serían difundidas.

Las encuestas pueden tener cualquier patrocinio lícito. Las encuestas que se difundan debieran tener idealmente el patrocinio de medios de comunicación o instituciones no directamente relacionados con el objeto de estudio o ser producto de un esfuerzo sindicado que evite un condicionamiento a su difusión derivado de intereses políticos.

No. Lo primero que se afecta, entre el segmento de la ciudadanía expuesto e interesado en los resultados de encuestas (que no es igual al universo de los ciudadanos) es la credibilidad hacia las encuestas. La tarea de los medios interesados en utilizar esta herramienta dentro de sus opciones informativas debieran preocuparse por dar al lector los datos requeridos para que pueda conocer las características básicas de la información que se publica. Los demóscopos debemos ocuparnos por acreditar en lo posible nuestro trabajo y apoyar en la formación de una cultura para la lectura de datos producto de encuestas. Empero, ello es difícil ante la inexistencia de consensos básicos en la materia, la persistencia de divisiones dentro del "gremio" y la disputa por posicionamientos en el mercado que se expresa de manera más fuerte en coyuntura de elecciones federales.

En la eventualidad de que las encuestas inmediatamente previas a las elecciones federales del próximo 2 de julio resulten claramente discrepantes, su impacto en la credibilidad del resultado pudiera ser afectado entre el segmento de ciudadanos informados al respecto. Al posible impacto contribuye la peculiar lectura de la información que se ha dado en esta coyuntura: si en 1994 lo que se resaltó fue la coincidencia en el ganador y los formadores de opinión apuntaban la gran precisión de las encuestas, a pesar de sus grandes diferencias, ahora lo que se resalta es la distancia entre el primer y el segundo lugar, lo que maximiza las diferencias en las estimaciones puntuales (un swing entre dos partidos de un punto se convierte en un cierre o ampliación de la diferencia en dos puntos) y la presencia en el espacio público de datos producto de encuestas contratadas por los propios equipos de campaña, por lo que el ataque a datos alternos atiende luego a un doble interés: la estrategia de campaña de los candidatos y la defensa del trabajo contratado.

De confirmarse las fuentes atribuibles a las discrepancias actuales en las mediciones, es esperable que existan menores divergencias entre las estimaciones próximas a los comicios. A pesar de ello, de enfrentarse un escenario de cerrada competencia entre los dos primeros lugares, no puede descartarse que coexistan encuestas que den ventaja a distintos contendientes en sus estimaciones puntuales. De darse este escenario, una actitud profesional de los responsables de las encuestas y de su difusión sería disminuir el posible error de sus estimaciones y cuidarse de advertir ventaja donde estadísticamente no sea posible determinarla con precisión.

Sin embargo, por más cuidado que tengan responsables de estudio y difusores, no puede descontarse el uso propagandístico que le darían a los datos los contendientes interesados, que pudiera eventualmente aumentar la confusión, el descrédito hacia el instrumento y la desconfianza sobre el resultado oficial. Y sería inútil apelar a la prudencia de quienes, por naturaleza, atienden a intereses políticos.

Depende de su alcance: si son nacionales, estatales, municipales, distritales. Dónde se realicen y qué tipo de población se desea observar. Si se desean datos a nivel agregado o determinadas desagregaciones. Con qué nivel de precisión y confianza se requieren los datos. La extensión del cuestionario y la complejidad de su aplicación. Si es un estudio único o forma parte de una serie de mediciones. Estos, entre muy diversos elementos que se consideran al momento de cotizar