Encuestas que
sí funcionaron
Ricardo de la Peña

Una vez que terminó el proceso electoral estamos en mejores condiciones para evaluar lo ocurrido con las encuestas preelectorales. En este artículo hago un recorrido por las encuestas del 2000 para destacar los siguientes puntos: 1) en forma privada y en élite sí se contaba con suficiente información para anticipar la derrota del PRI, mientras que la información financiada y difundida por medios oscurecía este hecho, y 2) las hipótesis que achacan a "fallas" en la realidad los problemas de medición de las encuestas deben ser descartadas.

Los encuestadores mexicanos hemos sido, a diferencia de lo que ocurre en otros países, extraordinariamente complacientes con lo que ocurre con la información de las encuestas que se publican.

Gran parte del avance técnico de las encuestas y de la construcción de su prestigio se debe al espíritu crítico con que se abordó la definición de este campo de investigación.

En México sí hay agencias encuestadoras que hacen un trabajo de calidad comparable a la de cualquier país. Pero junto al trabajo de calidad coexiste una increíble dosis de charlatanería. Lo desafortunado es que todavía no ha resultado fácil discriminar el trabajo de los encuestadores en un mercado muy revuelto por los intereses políticos.

Las elecciones constituyen una de las pocas oportunidades para contar con un parámetro para evaluar el trabajo que los encuestadores realizan a partir de sus muestras. Las elecciones del 2000 lucían como una inmejorable oportunidad para saldar controversias técnicas de las encuestas, ante la indudable calidad de la organización del IFE.

A pesar de esta gran oportunidad, algunos factores dificultan la comprensión de lo ocurrido con las encuestas.

En primer término, hay que resaltar que no todas las encuestas se equivocaron. Al final del proceso se publicaron 13 encuestas, de las cuales cinco acertaron ganador y en margen de error. En cambio ocho fallaron, tanto en predicción de ganador como en margen de error.

En segundo término, las encuestas de medios de comunicación fueron las que más "fallaron". Al inicio del proceso abrieron series nacionales Reforma, Milenio, El Universal, el Dallas Morning News en combinación con el Diario de Juárez y la agencia de noticias Reuters con su encuestador Zogby Internacional.

Las fallas de los medios de comunicación son de diversa índole unas por razones técnicas, otras por decisiones editoriales.

El caso de Reforma es crítico, pues con mucho fue la encuesta más influyente de todas. Después de las elecciones es claro que Reforma tuvo una mala temporada, con estimaciones fuera de márgenes de error en las elecciones para Presidente de la República, jefe de gobierno del DF y gobernador de Guanajuato. En el caso de la elección presidencial Reforma se equivocó además de ganador. El grupo Reforma sólo estimó con acierto la elección de gobernador de Morelos. Es muy importante esperar una explicación técnica del caso de Reforma, sobre todo porque su responsable, Alejandro Moreno, cuenta con todas las credenciales académicas que le permiten hacerlo.

El Universal, con Enrique Alduncin como encuestador, tuvo una buena serie nacional, a pesar de su cuestionada metodología de entrevistar a los ciudadanos en la calle. El Universal incluso colocó a Vicente Fox con ventaja clara sobre Labastida durante mayo, pero inexplicablemente decidió dejar de publicar encuestas durante junio. Enrique Alduncin se las arregló para seguir publicando sin El Universal, primero financiado por Amparo Espinosa y luego por Democracy Watch. Ambas encuestas acertaron a ganador y en márgenes de error. A pesar de la criticada heterodoxia de Alduncin algo tuvo que hacer bien cuando acertó repetidamente en sus estimaciones. También es pertinente insistir que en este caso el fallo vino de esa política editorial de El Universal, en materia de encuestas.

En el caso de Milenio, este diario inició su serie nacional con recursos y personal propio, bajo la conducción de quien escribe estas líneas. Dicha serie siempre ofreció escenarios muy competidos hasta que, por razones de confianza política, la dirección del periódico prefirió que AC Nielsen continuara su serie. Esa decisión ha sido muy discutida en prensa aunque el autor de este texto jamás ha recriminado a Milenio por su decisión. Esta se basó en la vinculación profesional que orgullosamente y en forma transparente ha mantenido mi empresa, ARCOP, con el Partido Acción Nacional.

Pero también es cierto que AC Nielsen falló estrepitosamente en su incursión al campo de opinión pública. En mayo su primer encuesta dio gran margen en favor de Labastida (siete puntos), cuando la evidencia indica que eso ya no estaba ocurriendo. En junio Nielsen cayó en el mismo error que Reforma o el Centro de Estudios de Opinión de la Universidad de Guadalajara, al equivocar ganador y salirse de los márgenes de error que reportaba para sus estimaciones.

El Dallas Morning News y el Diario de Juárez tuvieron como encuestador a Daniel Lund, quien manejó escenarios muy competidos, de hecho, prácticamente empatados, entre Fox y Labastida, pero que sobreestimaron sensiblemente la fuerza de Cuauhtémoc Cárdenas, lo que alejó este ejercicio del margen de error que reportaba.

Zogby causó gran revuelo por su primer encuesta en mayo, en la cual anticipaba una victoria probable de Fox, por amplio margen. Sin embargo, en su segunda y última medición, difundida el 22 de junio, Zogby-Reuters tuvieron un craso error al colocar a Labastida con ventaja de tres puntos, siguiendo una lógica que simplemente no tuvo el proceso electoral.

En una elección tan polémica lo óptimo hubiera sido que los medios de comunicación no se equivocaran sin que importara lo que pasara con las encuestas privadas.

Pero finalmente ocurrió lo inverso, los medios sí fallaron y las encuestas financiadas por agentes privados, además de las financiadas por el PAN y el PRD, en su mayoría acertaron. Esto complica el análisis de los resultados de las encuestas y, en forma más grave, compromete el prestigio de las mismas.

El PAN y el comité de campaña de Vicente Fox trabajaron fundamentalmente con dos agencias, GAUSSC y ARCOP. GAUSSC hizo pública su información hasta mayo, con una ventaja pequeña, siempre en favor de Fox.

En el caso de ARCOP se hizo pública su información que incluía una estimación final, pero se publicó como desplegado el 23 de junio, fecha límite para difundir encuestas y sus resultados y metodología fueron entregados al IFE. La estimación de ARCOP resultó una de las más precisas entre las publicadas, aunque su valor como información era restringido ante el financiamiento partidista de la encuesta y de su difusión.

Las encuestas nacionales del PRD -menos conocidas durante el proceso, pero que también circularon entre especialistas- fueron realizadas por José Barberán con precisión similar a los ejercicios del PAN. En su última estimación nacional, levantada entre el 23 y 25 de junio, Barberán obtuvo 41.3% en favor de Fox; 37.1% por Labastida; 18.9% por Cárdenas y 2.7% por otros candidatos. Lo notable es que también desde mayo el PRD sabía de la clara ventaja de Fox, lo que explicaría un poco más la estrategia que empleó su candidato contra la ventaja del panista.

Realmente el PRI parece haber sido el único partido que estuvo malinformado durante la campaña. Stanley Greenberg fue el encuestador-asesor de Labastida. Greenberg, quien que además cuenta con el triste historial de haber asesorado a los peronistas durante su derrota en Argentina y las fallas tremendas como encuestador en Nicaragua, siempre afirmó públicamente que Labastida ganaría y con amplio margen.

Recientemente Greenberg, con muy poca vergüenza profesional, se atrevió a publicar en La Jornada y en Reforma, después de los hechos, que el sí sabía que Fox ganaría y que sus encuestas no se equivocaron. Lo malo es que en la campaña del PRI nadie supo que eso pensaba Greenberg. En cambio, durante toda la campaña, reportó ventajas amplísimas de casi ¡20 puntos! en favor de Labastida, mientras que al final del periodo legal de difusión de encuestas ofreció casi cinco puntos para Labastida. Me parece totalmente repudiable que ahora Greenberg afirme como si nada que él no se equivocó.

No sería justo dejar de citar cuatro encuestas serias que acertaron ganador y en margen de error. GEA, con Ricardo de la Peña, también acusado de heterodoxia metodológica por su método de muestreo y el orden de las preguntas, financiado por un grupo privado. El segundo caso fue Edmundo Berumen que tenía tres puntos en favor de Fox, pero cuyo estudio no se podía difundir. La tercer encuesta privada exitosa fue la de Banamex, difundida también en forma restringida. Esta fue levantada por Factum, firma sólida que trabaja sólo en el sector privado. La cuarta encuesta privada fue la de Demotecnia, de María de las Heras, que en un escenario de 58% de participación ofreció diez puntos de ventaja para Fox. María de las Heras fue encuestadora de Luis Donaldo Colosio y difundió por medios extranjeros su pronóstico del cual falta conocer prácticamente todo, incluyendo su metodología y sus datos primarios.

De las encuestas privadas, cuya difusión circuló restringida, el único ejemplo negativo importante es el de BIMSA, que afirmaba que Labastida ganaría por cuatro puntos.

Una vez completo el recorrido queda por señalar por qué deben ser descartadas las "fallas" en la realidad como explicación de las "fallas" en las encuestas. En sus ediciones del 3 de julio Reforma y Milenio destacaron que las encuestas pudieron enfrentarse a un "efecto Nicaragua", en el cual los ciudadanos ocultaron sus preferencias auténticas a los encuestadores. Esto no puede ser así, pues, en todo caso, este efecto sólo aplicaría para unos encuestadores y no para todos, lo cual carece de toda lógica científica.

El segundo argumento de "fallas" en la realidad se refiere a un probable flujo masivo de "indecisos", que ya no alcanzó a ser registrado por los encuestadores. Según las encuestas de salida, casi la quinta parte de los ciudadanos decidieron por quien votarían en las dos semanas previas a la elección. Sin embargo, ni las encuestas de salida ni las que se levantaron en el periodo de veda en la difusión confirman dicha hipótesis, pues si acaso, los resultados hasta ahora disponibles muestran que no hubo flujo masivo de indecisos en favor de Fox.

En cambio, sí suenan prudentes otras líneas de investigación que pudieron afectar la precisión de las encuestas. En la elección del 2000 hubo una participación diferenciada en varios grupos demográficos: votaron más jóvenes que lo normal; votaron en alta proporción los ciudadanos con alta escolaridad; votaron más los ciudadanos del norte y centro del país que los del sur; votaron más los ciudadanos de las entidades opositoras que las de las entidades priistas.

Ante esta observación, queda por rescatar el compromiso profesional de los encuestadores profesionales. En el caso de las elecciones, los buenos encuestadores tienen la obligación de medir en forma precisa la intención de voto. Para hacerlo con corrección tenían que detectar ese tipo de patrones que podían modificar la participación de diversos grupos sociales.

Durante toda la elección fue diferenciada la intensidad con que cada grupo de ciudadanos afrontó la elección y eso era detectable por las encuestas. Si a uno lo contratan para medir intención de voto, eso es lo que se debe hacer, para lo cual hay que aplicar una serie de técnicas que permitan medir adecuadamente lo que se quería medir.

La clave para que esas decisiones tengan valor científico es que puedan ser replicables o que puedan ser desmentidas por cualquier investigador interesado.

Aquellos encuestadores que acertaron y aquellos que no lo hicieron deben someter sus decisiones técnicas a esta prueba de fuego. Hay que poner a disposición de sus pares y de cualquier interesado en la investigación científica ese tipo de decisiones técnicas, desde el diseño de la investigación, de la muestra y el cuestionario, como su uso de filtros, ponderadores y técnicas de análisis.

La puesta a disposición de este tipo de información nos alejaría de la charlatanería que tanto ha imperado en nuestro medio de encuestadores. Por lo tanto, el trabajo de ARCOP está plenamente disponible para este tipo de discusiones.

Lamentablemente las fallas de las encuestas de los medios han comprometido la credibilidad general de las encuestas preelectorales. Lo paradójico sería que, ante las fallas, ocurriera una reducción de los medios interesados en encuestar preelectoralmente, justo en el momento cuando más investigación requerirá el país.

Es fundamental que esto no ocurra. Lo ideal sería que Reforma revise sus procesos y recupere la credibilidad perdida en esta elección, y que El Universal, Milenio y otros más recuperen la confianza para financiar encuestas.

De la misma manera sería muy lamentable que los medios electrónicos sigan comisionando únicamente encuestas de salida, cuya técnica empieza a ser ampliamente dominada por varios encuestadores en México. La clave para la recuperación del campo sería la incorporación de las televisoras con encuestas preelectorales serias.

El riesgo del dominio de la información privada sobre la información pública es alto en este momento, cuando obviamente los clientes partidistas y privados están más satisfechos que los clientes públicos sobre el valor de la información de las encuestas.

Las encuestas preelectorales no fallaron en el 2000, pero debemos ser lo suficientemente claros para poder distinguir con claridad qué información tiene calidad y cuál no. Hay que evitar de una vez por todas la complacencia que tanto daño ha hecho a nuestro campo, que permite incluir en el mismo costal a encuestadores buenos con encuestadores malos