 |
el país | el mundo | dinero | columnas |
| águila y sol | gente | ciberia | medios | |
| ensayos | libros | cultura | espectáculos | |
| etcétera | ||||
|
ensayos |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Encuestas que sí funcionaron
Ricardo de la Peña
Este es el ensayo completo de Ricardo de la Peña que sólo aparecerá publicado en esta página electrónica. La versión resumida se encuentra a su disposición en la edición impresa de etcétera.
El 15 de febrero de 2000, por vez primera en la historia electoral del país, se divulgó una encuesta nacional, responsabilidad de GEA-ISA (Grupo de Economistas y Asociados e Investigaciones Sociales Aplicadas, S.C.), que detectaba correctamente una desventaja para un candidato del PRI en la carrera por la Presidencia de la República. Este resultado destaparía una "guerra de encuestas", que se prolongaría hasta el día de la elección y cuyos saldos aún son controvertidos. La aparente sorpresa que causó esta encuesta era infundada, toda vez que datos previamente disponibles en la misma serie de la que esta encuesta formara parte y en otras varias encuestas advertían ya de una contienda cerrada (1). La "guerra de las encuestas" Si bien la carrera presidencial 2000 inició con buenos augurios en el campo de las encuestas: series públicas con diverso financiamiento y un novedoso marco regulador que partía de un principio de pluralismo metodológico,(2) sin embargo las encuestas tendieron a diferir desde muy temprano respecto del ganador y del margen de ventaja que existía.(3) GEA-ISA y Milenio Diario mostraban un escenario de competencia muy cerrada, mientras que Reforma, El Universal y la serie de Greenberg-Pearson para el PRI mostraban una amplia ventaja del candidato priista (ver gráfica 1), a las que se sumaban encuestas de empresas no acreditadas públicamente, como Technomanagment y Ceprosepp (y más adelante Quantum y Fishers), que únicamente contribuían a abultar artificialmente las mediciones favorables al partido gobernante.
Ante estas divergencias y luego de la aparición de la primera encuesta que daba ventaja a Fox, las relaciones comerciales y las decisiones técnicas y de método empleadas por los demóscopos divergentes se revisaron con lupa, con miras a encontrar elementos para cuestionar y descalificar los estudios, (4) llegándose incluso a advertir los costos potenciales de equivocaciones en que incurrían y a lanzarse acusaciones a sus responsables por supuestas faltas de ética al reportar sus resultados.(5) Pocos espacios se mantienen fuera de esta corriente, abriendo sus páginas a los demóscopos cuestionados,(6) quienes ante las diferencias tenderían a considerar la pertinencia de atender potenciales efectos provocados por procesos de consolidación de preferencias y el impacto que en ello juegan los cambios en niveles de conocimiento y atención al proceso por parte de los ciudadanos consultados, así como la forma en que ello es recuperado por los demóscopos. Si una encuesta cualquiera lo que hace es captar el resultado de un ejercicio de simulación de la intención de voto de los electores, se apuntaba que la confianza lograda y el ambiente generado para que el entrevistado manifestase su decisión influirán en el resultado del ejercicio, provocando sesgos sistemáticos de cada investigador(7). Otros, más moderados, o quienes contaban solamente con información sobre encuestas difundidas a través de los medios, limitaban el ámbito de las encuestas consideradas confiables al universo que ubicaba arriba a Labastida, apoyados principalmente en los datos de Reforma (8). La crítica arreció en los dos últimos meses de campaña, al sumarse nuevas mediciones favorables a Fox, tanto de la propia GEA-ISA como de empresas que realizaban trabajo para el PAN, como Gaus-Redes. Un nuevo argumento se utilizó entonces para descalificar estas mediciones: las encuestas de medios eran consistentes y confiables, mientras que las vinculables en cualquier forma a partidos debían tomarse con reservas. (9) Como ocurrió seis años antes, la confusión creada en torno al real estado de la contienda llevaría a proponer la realización de una encuesta con intención clarificadora respecto del puntero de la contienda, que nunca se llevó a cabo. (10) El capítulo final de esta "guerra" puede ser calificado como bochornoso: mientras algunas series continuaban mostrando ventaja para Labastida, aunque más reducida, primero vino un vacío en la publicación de encuestas (11) y luego simplemente dejaron de publicarse las series que comenzaron a detectar una ventaja para Fox.(12) Así, Milenio Diario cambió caballo a mitad del río, al pasar de difundir resultados de ejercicios propios, a cargo de Rafaél Giménez (vinculado a la empresa ARCOP, encuestadora del PAN), que ya advertían una ventaja para Fox, a publicar encuestas de la empresa AC Nielsen, que mostraban una amplia ventaja para Labastida. (13) Por su parte, luego de publicar una encuesta con Fox a la cabeza, El Universal decide suspender la publicación de encuestas propias en junio. (14) En contraparte, se multiplican las encuestas de dudosa manufactura en periódicos como Excélsior, unomásuno y El Sol de México, que servían para incrementar los número de encuestas favorables al PRI, que según desplegado de este partido terminarían siendo 38 que daban ventaja a Labastida, contra ocho que lo hacían con Fox. El 2 de julio demostraría que las elecciones no se ganan por número de encuestas favorables y que las encuestas no tienen un impacto significativo en las preferencias de los electores, pudiendo en todo caso ser su reflejo, cuando están bien hechas. Al final, la diferencia entre encuestas, si bien menor que la detectada a mediados de la campaña y similar a la observada en la anterior elección presidencial, mostró una convergencia en dos bloques: uno concentrado hacia la estimación de una ventaja para Labastida de tres o cuatro puntos y el otro, menos compacto, que observaba una ventaja para Fox de entre dos y cuatro puntos. Al final, Fox triunfaría por más de seis puntos. Ante este panorama, es relevante recuperar la experiencia de una de las series que resultara exitosa en esta contienda, precisando sus características básicas, así como alcances y limitaciones y dando cuenta de los resultados más relevantes obtenidos, para finalmente efectuar un balance del ejercicio y apuntar algunas consideraciones centrales sobre el futuro de la investigación demoscópica en México. El método Desde mediados de 1998 y hasta las elecciones federales de julio de 2000 operó un proyecto sindicado (15) para el seguimiento de las preferencias ciudadanas y la construcción de escenarios electorales y de gobernabilidad en México, que realizaron de manera conjunta Grupo de Economistas y Asociados (GEA) y la empresa Investigaciones Sociales Aplicadas, S.C. (ISA). (16) Dicho proyecto consideró la realización de una serie de encuestas nacionales de opinión ciudadana específicamente orientadas a la determinación de las intenciones de voto del electorado, que son el centro de atención de este ensayo.(17) El programa de encuestas nacionales de opinión ciudadana para la construcción de los escenarios políticos 1998-2000, consideró la realización de 12 mediciones entre junio de 1998 y junio de 2000, conforme al siguiente calendario:
* Por las características particulares de este estudio, sus resultados no son estrictamente seriables. ° Esta medición incluyó otras dos encuestas de contrastación: para el cuestionario y para la muestra. # Esta encuesta consideró la duplicación de la muestra originalmente prevista para cada levantamiento.
Objetivos del programa Los objetivos generales del modelo de escenarios políticos fueron: elaborar escenarios generales de la evolución política del país en el mediano plazo que permitieran identificar las principales áreas de conflictividad y estar en condiciones de determinar su aportación a la gobernabilidad y certidumbre; actualizar periódicamente los escenarios políticos, con base en el seguimiento y el análisis cualitativo de información y evidencia empírica producto de mediciones por encuesta; y elaborar prospectivas de corto plazo para identificar conflictos políticos y agendas de los principales actores. Conforme a lo anterior, se definieron las encuestas nacionales de opinión ciudadana como un instrumento orientado no únicamente a la medición de intenciones de voto, sino a la atención de los siguientes aspectos: · Conocer el estado de la opinión pública respecto de la situación económica y política nacional y respecto de acontecimientos coyunturalmente relevantes, la percepción sobre relaciones del Estado con los actores sociales fundamentales y puntos de vista en torno a los conflictos sociales y políticas más importantes. · Identificar las opiniones de la ciudadanía respecto de la gestión presidencial en general y en los principales ámbitos de acción gubernativa; las posiciones sobre los temas centrales en la agenda legislativa y la evaluación de la labor desarrollada por las fracciones parlamentarias; y los puntos de vista en torno a la seguridad pública y al aparato de justicia, así como sobre los principales problemas en este rubro. · Detectar los medios y niveles de información de la ciudadanía respecto del proceso electoral federal del año 2000 y la presencia de partidos y candidatos entre el electorado. · Reconocer los elementos primordiales que conforman la imagen de los partidos políticos; determinar preocupaciones y demandas de la ciudadanía, así como sus posiciones en torno a los principales temas políticos y económicos que conformen la agenda de discusión pública entre los actores fundamentales. · Medir las preferencias electorales tanto por partidos como por precandidatos y candidatos a la Presidencia de la República; determinar perfiles de los votantes por las diversas opciones políticas contendientes y detectar variaciones en las preferencias y factores que las propician. · Precisar los niveles de confianza ciudadana en las instituciones electorales y en la limpieza de los comicios federales; la motivación a la participación activa en el proceso, así como las expectativas de conflictividad social y entre actores políticos fundamentales, de cara a las elecciones de 2000.
Diseño del programa de encuestas Las decisiones básicas adoptadas respecto de las características de las mediciones a realizarse tomaron en consideración la pertinencia de disponer de secciones transversales sucesivas, referidas a un mismo universo de estudio, con muestras extraídas conforme a procedimientos homogéneos y aplicando de manera reiterada reactivos relevantes, todo ello para facilitar la comparabilidad de resultados y la construcción de series de tiempo referidas tanto para los agregados nacionales como para segmentaciones de interés. El muestreo repetido a una misma población pudiera adoptar diversas características: entrevistas reiteradas a una misma población (tipo panel) o estudios de tendencia con muestras independientes. Para fines de este programa de observaciones, se decidió disponer de muestras independientes en cada sección, que permitan el análisis de tendencias, pero reteniendo las unidades primarias de muestreo, para maximizar la precisión al comparar entre las distintas encuestas sucesivas.(18) La decisión de adoptar un diseño para el estudio de tendencias mediante secciones transversales sucesivas independientes se adoptó asimismo tomando en consideración la relativamente escasa relevancia que tendría disponer de estimaciones del cambio individual en respuestas a reactivos centrales para el estudio, recordando la existencia de evidencia de una sustancial inestabilidad en las respuestas individuales, lo que fortalece el postulado de que la opinión pública es un fenómeno colectivo, afectado por factores de información y comprensión y por la ocurrencia de sucesos modificadores, pudiendo detectarse tendencias comparativamente estables en los agregados.(19) En relación con la viabilidad de determinar factores causales de variaciones en las distribuciones al nivel de los agregados, al considerar una sucesión de diversas mediciones homogéneas en cuanto a sus características metodológicas, es factible disponer de observaciones seriadas que en conjunto conformen un diseño cuasi experimental con validez interna y externa, referida respectivamente al diseño del instrumento y su operación y al método de selección de la muestra(20), donde la amplitud del espectro de cuestiones consideradas como asunto de atención favorece minimizar, sin suprimir, los riesgos de establecer relaciones espurias que respondan a estímulos relevantes no considerados. Asimismo, con miras a responder a los objetivos planteados para el programa de encuestas, dentro de la lógica del modelo de escenarios políticos 1998-2000, se diseñó un instrumento base de recuperación de información, que consideró una multiplicidad de reactivos sobre los diversos asuntos de interés para el proyecto. La disposición de un modelo básico de cuestionario para la serie de encuestas apoyó la comparabilidad de distribuciones de frecuencias que se observaron en diversas mediciones, permitiendo la construcción de series de tiempo que dieran cuenta de variaciones en las características, preferencias y opiniones de la ciudadanía. En las diversas encuestas realizadas, se buscó que los cuestionamientos guardaran similar orden e idéntica redacción y opciones de respuesta, evitando en lo posible efectos de diferencias en el diseño del instrumento que limiten la comparabilidad de las respuestas. Sin embargo, uno de los cuestionamientos fundamentales a los datos obtenidos en la serie fue precisamente el ordenamiento de las preguntas en el cuestionario, en particular la inclusión hacia el final de la entrevista de los reactivos correspondientes a la intención de voto de los entrevistados. Por ello, con miras a determinar el efecto de la posición de la pregunta sobre intención de voto en el cuestionario, en paralelo a la aplicación de la octava encuesta de la serie, a mediados de marzo de 2000, se realizó otra encuesta con un cuestionario donde se puso al principio la pregunta sobre intención de voto, aplicándose mil 200 entrevistas para esta versión alterna del cuestionario. Y para evitar la interferencia de otros factores en el experimento, las entrevistas fueron aplicadas los mismos días, por los mismos operadores, intercalando la aplicación de los cuestionarios en las mismas áreas de entrevista. Los resultados obtenidos constataron que la colocación de la pregunta sobre intención de voto impacta los niveles de definición que se obtengan: su colocación al principio del cuestionario eleva la proporción de indefinidos. Sin embargo, ello no produce cambios significativos en las estimaciones de preferencias entre candidatos. El giro medio entre ambas estimaciones es apenas de 0.7% (ver gráfica 2). Respecto al trabajo de campo, para el desarrollo de este proyecto se dispuso de un grupo relativamente estable, constituido por personal que forma parte regular de la planta de la empresa responsable del operativo, contando con experiencia en el desarrollo de trabajos similares. Además de la supervisión regular directa de las entrevistas, se efectuó una verificación selectiva de consultas con posterioridad a su aplicación. Asimismo, para posibilitar una adecuada distribución de la muestra conforme a criterios sociodemográficos, el trabajo de campo se efectuó a lo largo de cuatro jornadas, dos entre semana y dos en fin de semana, operando en horarios matutinos como vespertinos, para maximizar las posibilidades de encuentro con diferentes integrantes de las familias residentes en viviendas seleccionadas.
Es de mencionarse que el calendario de observaciones consideró la reducción de lapsos entre observaciones en el periodo próximo a la celebración de los comicios federales. Ello, en el entendido de que la fuente primordial de divergencia entre las estimaciones por encuesta de distribuciones de preferencias y resultados electorales efectivos ha sido generalmente la lejanía temporal con el momento de la votación.(21) Población objetivo del estudio La población objetivo de las encuestas nacionales de opinión ciudadana para este proyecto se definió como las personas de origen mexicano nacidas antes de julio de 1982, residentes en el territorio nacional al momento de la entrevista. En tal sentido, el universo del estudio comprende a la totalidad de la población que legal y procedimentalmente se encontraró en posibilidades de participar en los comicios federales de 2000, al contar para entonces con 18 y más años de edad.(22) Luego, el conjunto de entrevistados no corresponde estrictamente a un conjunto de ciudadanos actuales, sino a una muestra de entre quienes serían ciudadanos al momento de las elecciones federales. Igualmente, considera la restricción al territorio nacional, por lo que excluyó del universo de estudio a los ciudadanos mexicanos residentes en el extranjero, la mayoría de ellos imposibilitados de ejercer en la práctica su derecho de voto. Al definir la población bajo estudio como la totalidad de los ciudadanos mexicanos al momento de la elección residentes en el país resultaba obligado adoptar un método de aproximación mediante entrevista directa en hogares.(23) Ello, para disponer de condiciones que permitieran recurrir a procedimientos aleatorios que garantizaran la representatividad de la muestra respecto del universo.(24) Como un primer segmento relevante para el análisis de las intenciones de sufragio, se dispuso del indicador para generar, a partir de la totalidad de personas entrevistadas, la submuestra de ciudadanos con credencial de elector, universo al que refirieron los datos sobre distribución de intenciones de voto en su oportunidad.(25) Un segundo segmento relevante para el análisis de las intenciones de sufragio fue la submuestra de ciudadanos con credencial de elector que pudieran ser considerados como votantes probables. Basados en la experiencia lograda en la misma serie, el procedimiento adoptado fue la aplicación de una pregunta sobre la factibilidad del entrevistado de concurrir a votar.(26) Para fines de estimación de los "votantes probables", se consideraron entonces sólo a quienes, teniendo credencial de elector, respondieron que seguramente sí acudirían a votar, lo que constituyó un filtro aplicado a posteriori que dejó un segmento que permitía estimar una participación electoral potencial y un reparto esperable de votos, en términos absolutos y relativos. Cálculo del tamaño de la muestra El tamaño de muestra para la encuesta se determinó tomando en cuenta que se requería disponer de estimaciones a nivel nacional con un margen de precisión tolerado de 6%, a 95% de confianza. La variable relevante a estimar para los fines de la serie de encuestas nacionales es la proporción de la población con la intención manifiesta de sufragar en favor de alguno de los partidos políticos nacionales contendientes en las próximas elecciones federales. De manera acertada, Page y Shapiro (27) recuerdan que el tradicional reporte de un margen de error de +/-3%, a un nivel de confianza de 95%, para encuestas en torno a mil casos, corresponde al margen para muestreos aleatorios simples, siendo que en realidad las encuestas adoptan procedimientos de selección más complejos, por lo que un criterio de +/-6% resulta por lo general más adecuado. Lo anterior debido a que la ecuación empleada de forma convencional para el cálculo del tamaño de muestra, que parte de la proporción esperada de ocurrencia de un evento en el conjunto de la población bajo estudio, no resulta formalmente pertinente si se adopta un muestreo por conglomerados, como es el caso. De hecho, la ecuación pertinente en estos casos debe considerar el cociente de la varianza dividida por la cantidad de unidades independientes de muestreo, conforme al procedimiento que se detalla en seguida: Primer paso: estimación de la varianza de la proporción relativa de votos por partido político a nivel distrital. Conforme a los resultados de las elecciones para diputados federales de 1997, las varianzas son las siguiente:
Suponiendo la máxima varianza en la votación (correspondiente a una proporción para algún partido de p = 0.5), se tendría una estimación máxima para la varianza distrital de sc2 = 0.0276. Segundo paso: se estima el número de conglomerados requeridos para satisfacer el margen de precisión estadística deseada, conforme a la relación (28) m = sc2 / []2 (donde "m" es igual al número de conglomerados a incluir en la muestra; "sc2" es la varianza distrital máxima estimada; en este caso, 0.027625; "[]2" es el cuadrado del error estandar tolerado; de 0.000936). No se incluye corrector finito en esta estimación. Conforme a lo anterior, se requirió disponer de 30 conglomerados en muestra, para satisfacer la condición de precisión establecida. Tercer paso: se calculan los casos requeridos para cada conglomerado en muestra, conforme a la relación A=(s2/sc2)+m+1, donde "A" corresponde al número de casos en muestra por conglomerado. Sustituyendo, se tiene que el tamaño de muestra por conglomerado puede ser redondeado al valor de 40 casos y que el tamaño de muestra total requerido es luego de mil 200 casos.(29) Derivado de lo anterior, es posible estimar el efecto del diseño por conglomerados, a partir de la relación: ed = [](A – 1) = (n sc2 / m s2) - 1, que da por resultado un efecto de diseño (ed) de 3.4 y un coeficiente de correlación [] (rho) de + 0.087. Es de mencionarse que, conforme experiencias directas de estimación de propensiones al voto por partido, se considera que los diversos factores subjetivos involucrados en el cuestionamiento y verbalización de la intención de voto tienden a contraponerse, nulificando el efecto de estos errores en la estimación. De igual manera, la evidencia empírica disponible permite afirmar que si bien la propensión a manifestar una respuesta definida en favor de algún partido político no es homogénea en la población -estando afectada por diferencias socioeconómicas, informativas e ideológicas-, la distribución de las respuestas definidas tiende a ser un estimador eficiente de la distribución efectiva de sufragios por partido. Lo anterior, en el entendido de que el segmento de no definidos tiende a corresponder bien a población abstencionista, bien a votantes que se definen tardíamente, pero que se distribuyen conforme a patrones relativamente coherentes a los del resto de la población, por lo que en mediciones muy próximas a los comicios provocan un cambio marginal en las distribuciones de preferencias. Para este proyecto, se prefirió ser conservadores y considerar que se ejercita un procedimiento de exclusión(30) y no de reasignación. Entenderlo de una u otra forma no tiene impacto en las proporciones y, dado que el margen de error tolerado se estimó a partir de la relación entre la varianza y el número de unidades independientes en muestra, tampoco debe tenerlo en el nivel de precisión tolerado para las estimaciones; de igual manera, no se afecta el error tolerado para las estimaciones cuando se retiene solamente el segmento correspondiente a los "votantes probables". Es de mencionarse que en las ocasiones en que se realizaron encuestas próximas a elecciones (en octubre de 1999, antes de la elección interna del candidato del PRI; y en la segunda quincena de junio de 2000, antes de las elecciones constitucionales), se incrementó el tamaño de la muestra con miras a reducir el margen de error tolerado. Así, para la encuesta especial previa a la elección interna del candidato del PRI a la Presidencia de la República, con la intención de minimizar los márgenes de error sin incrementar sustancialmente costos de operación, se adoptó un método de muestreo doble, con un ajuste de la mitad de las unidades primarias en muestra entre ambas mediciones. Para contar con estimaciones para la población credencializada con un margen de precisión tolerado de 4.3%, a un nivel de confianza de 95%, se calculó que se requerían 30 conglomerados en cada muestra, con ajuste de la mitad de unidades primarias, partiendo de un coeficiente de correlación intraclase de 0.087, empíricamente observado, y considerando para el cálculo una relación propia para muestreo doble(31) , que establece una m = [sc2 (1 + []) / 2 (1 + [][])] / []2 (donde "m" es el número de conglomerados a incluir en muestra; "[]" es la proporción no retenida o ajustada de la muestra; y "[]" es el error estandar tolerado, en este caso 0.022). En el caso de la encuesta inmediata previa a las elecciones federales, al tomarse el doble de unidades primarias en muestra(32) se toleró un margen de error de 4.2% a un nivel de confianza de 95%. En total, se dispuso de dos mil 400 entrevistas a personas de 18 y más años de edad residentes en el territorio nacional, dos mil 287 de las cuales disponían de su credencial de elector. Diseño de la muestra Un muestreo para un estudio previo a elecciones que tenga por intención estimar las proporciones de votación esperables para cada contiendiente deberá buscar una representatividad del electorado nacional y, de considerarse pertinente, del segmento relevante para los fines de estimación debido a su propensión a participar en el proceso. Ello obliga a un muestreo probabilístico, al menos en las primeras etapas de selección, aunque en la fase de elección de vivienda y respondente pueda adoptar procedimientos relativamente más laxos.(33) El cálculo anterior del tamaño de muestra supone la adopción de un procedimiento de muestreo por conglomerados, que asuma como una primera etapa la selección de distritos electorales federales. El diseño de muestra adoptado de acuerdo con lo anterior, que parte del Listado Nominal de Electores para 1997, cuyos resultados agrupados a nivel de distrito están públicamente disponibles, es el siguiente: Primera etapa: selección de unidades primarias de muestreo, en este caso distritos electorales federales. Se seleccionaron de manera sistemática tanto distritos electorales federales como se requiere conforme al nivel de precisión establecido, con probabilidad proporcional al tamaño (ppt), tomando como medida del tamaño el número de ciudadanos inscritos en el listado nominal del distrito electoral federal para el proceso electoral 1997 (34) . Con miras a maximizar la comparabilidad de resultados y reducir las variaciones temporales en estimaciones diversas, se decidió proceder a un único ejercicio de selección de unidades primarias de muestreo, válido para el conjunto de encuestas nacionales incluidas en este programa. La retención de las unidades primarias en muestra, aun y cuando no permitía la contrastación de estimaciones producto de las diversas mediciones efectuadas a lo largo de la serie, sí posibilitaba una mayor y más precisa comparación entre las propias estimaciones, lo que era objetivo central en el proyecto.(35) Conforme al procedimiento indicado, los distritos seleccionados en muestra fueron los siguientes:
Es de mencionar que esta muestra de distritos presentaba un comportamiento electoral muy similar al total nacional, con una desviación media por partido de .0027, como se muestra en la siguiente tabla:
Al efectuar similar ejercicio respecto de elecciones federales anteriores, efectuando el ajuste correspondiente de las secciones para ubicarlas en la actual división distrital, se encontraría una diferencia media entre la votación por partidos en los distritos en muestra y el resultado nacional en 1994 de .0104 y para 1991 de .0171. Las secciones electorales en esta muestra de 30 distritos se distribuían según su carácter urbano o rural de manera similar al promedio nacional. Si a nivel nacional y conforme al Registro Nacional de Electores de 1997, 67.94% de las secciones son urbanas, en los 30 distritos en muestra 67.08% de las secciones son urbanas, lo que supuso un ligero sesgo (de 0.86%) hacia lo rural. Dado que se selecciona una cantidad similar de secciones en cada distrito, es importante mencionar que los distritos en muestra cuentan con un promedio de 28% de secciones rurales, contra 29% en el total nacional, siendo ésta la fracción de secciones rurales en muestra esperable. Como dato complementario, disponible una vez celebradas las elecciones federales de 2000, la muestra de 30 distritos electorales tomada regularmente para la serie efectivamente reprodujo el comportamiento nacional, confirmando lo atinado de decisiones de método: la diferencia entre los resultados en estos distritos y el resultado del PREP difiere en menos de medio punto para cada contendiente (36).
Empero, frente a cuestionamientos expresados respecto a la posible existencia de sesgos derivados de la muestra de distritos elegida y retenida en las diversas mediciones, en la segunda quincena de marzo se efectuó un ejercicio de contrastación de muestra, dejando constantes otros elementos como el personal y controles de campo y el instrumento de recuperación. Si los días 16 a 21 de marzo se había llevado a cabo el levantamiento regular de la octava encuesta de la serie, los días 25 a 28 de marzo se levantó otra encuesta con una muestra nacional similar a la utilizada en esta serie, pero en una selección distinta de distritos, aplicándose mil 200 entrevistas de un cuestionario donde se ubicó la pregunta sobre intención de voto por candidato inmediatamente después de los datos de identificación del entrevistado, confrontables con los resultados obtenidos en el ejercicio previo de constrastación de cuestionario. Los resultados obtenidos permitieron constatar que no existía una diferencia significativa entre ambas mediciones, por lo que se excluía la existencia de un sesgo derivado de la específica selección de distritos en muestra. De hecho, la diferencia entre ambas mediciones fue de 2.1 puntos sobre la distribución de respuestas observada y de apenas 0.9 puntos al quedarse con las intenciones definidas de voto por candidato (ver gráfica 3).
Segunda etapa: selección de las unidades secundarias de muestreo, en este caso secciones electorales. En cada una de las unidades primarias de muestreo elegidas, se seleccionaron en cada ocasión de manera aleatoria simple ocho secciones electorales. De esta forma, en total se dispuso de 240 unidades secundarias en muestra. Tercera etapa: En cada una de las unidades secundarias de muestreo seleccionadas y mediante un procedimiento de recorrido aleatorio,(37) se eligieron cinco viviendas a ser incluidas en muestra, para alcanzar el volumen de mil 200 casos en muestra requerido. En cada una de estas viviendas se selecciona a la persona que, formando parte de la población objetivo, acudía a la puerta en primer término; en el caso de no poderse efectuar la entrevista en dicha vivienda, por estar ausentes sus habitantes, no cumplir condiciones para inclusión en muestra o rechazar la entrevista, se procedió a entrevistar en la vivienda contigua. La fracción de muestreo global estuvo dada por el producto de las fracciones de muestreo calculadas en cada una de las tres etapas.(38) Al efectuar los cálculos, se estableció que esta fracción de muestreo era igual al número de casos totales en muestra entre la población total observada. Por tanto, con el procedimiento adoptado se conseguía que cualquier ciudadano en muestra tenga la misma probabilidad de ser seleccionado; es decir, este diseño de muestra es autoponderado. Luego, el factor de expansión muestral correspondiente vendrá dado como el cociente de la población total en el listado entre el número de casos en muestra, por lo que es factible una expansión simple al multiplicar las respuestas por el inverso de la fracción de muestreo (equivalente para el caso a 43 mil 507), lo que no afecta las proporciones estimadas con las que se ha de trabajar. Este criterio de expansión pudo ser aplicado para la estimación no solamente de proporciones de intención de voto por contendiente, sino para el cálculo de la votación esperada. Resultados de la serie GEA-ISA Dos momentos fueron claves para validar esta serie: la elección del candidato del PRI a la Presidencia de la República, en noviembre de 1999, y las elecciones federales del 2 de julio de 2000, por lo que vale la pena analizar por separado cada una de ellas. Elección del candidato del PRI Un procedimiento de validación de una metodología es su contrastación con evidencia empírica. En el caso de la serie de encuestas nacionales que es materia de este ensayo, un recurso preliminarmente disponible para validarla es confrontar las estimaciones de intención de voto que arrojara la medición especial previa a la elección del candidato del PRI a la Presidencia de la República contra los resultados oficiales de esta consulta. Lo anterior, reconociendo que dicha estimación pudiera involucrar efectos derivados del procedimiento de muestreo doble adoptado, por lo que resulta más preciso cotejar la muestra original seriada (primera muestra) para fines de validación de la serie. Es de mencionarse que la medición de las intenciones de voto para la consulta abierta convocada por el PRI para elegir candidato a la Presidencia de la República constituye sin lugar a dudas el mayor desafío que ha enfrentado la investigación demoscópica en México. A la fecha, se ha probado sin lugar a dudas la eficacia de las encuestas como instrumento para conocer las propensiones de voto de los mexicanos. La experiencia acumulada en la última década permite constatarlo.(39) Empero, el reto implicado por esta elección fue mayor, por tratarse de mediciones para un proceso sui géneris, sujeto a reglas especiales. El PRI no había convocado antes a una elección nacional abierta para la definición de su candidato a la Presidencia de la República. Y si el proceso en sí es novedoso, lo es más por su alcance y reglas. Si se tienen antecedentes de "elecciones primarias" en el país, lo han sido a nivel estatal y bajo el principio de pluralidad (mayoría relativa). Este proceso tuvo alcance nacional y una fórmula de asignación del único puesto en disputa mediante el conteo de triunfos por distrito. Para los demóscopos, el reto era así doblemente novedoso: disponer de diseños adecuados para una elección "primaria" nacional y atender no sólo el requerimiento de cálculo de proporciones de sufragio, sino de triunfos distritales. Frente a este reto, hubo quienes buscaron una respuesta cabal, asumiendo riesgos. Hay quienes también acotaron su respuesta a espacios menos inciertos, caminando sólo en terrenos más conocidos y firmes y soslayan la búsqueda de solución a problemas tales como el cálculo de triunfos distritales.(40) De hecho, un recuento de las encuestas difundidas (41) en esa ocasión mostraría divergencias que hace imposible su inclusión en un reporte comparativo uniforme. Por ejemplo, el Centro de Estudios de Opinión (CEO) de la Universidad de Guadalajara y el periódico El Universal, con Alduncin y Asociados, presentaron estimaciones referidas a la población credencializada, sin acotarse al universo de votantes probables, por lo que cotejar sus mediciones contra el resultado oficial sería, al menos, equívoco. Por ello, el ejercicio de comparación puede ser reducido a dos casos, en que se dispuso de información suficiente que permita precisar procedimientos utilizados y cuyas estimaciones correspondan a un segmento definido como probables votantes: la encuesta de GEA-ISA y la del periódico Reforma. Efectuando el ejercicio de comparación de la muestra doble correspondiente a la encuesta de la serie que nos ocupa contra los resultados de la consulta y cotejando dicha adeuación con la obtenida por Reforma, se tendría el siguiente resultado.(42) la encuesta GEA-ISA habría presentado una diferencia media en la estimación por aspirante de 3.8 puntos, subestimando el margen de victoria en 11 puntos; por su parte (ver gráfica 4a), la encuesta de Reforma habría errado en 4.8% promedio por aspirante, con una subestimación del margen de victoria en 8.3 puntos. La precisión de la encuesta GEA-ISA mejora de considerarse la muestra original seriada: la diferencia media entre estimación y resultado por aspirante erraría en 3.0%, siendo de seis puntos la subestimación del margen de victoria (ver gráfica 4b).
Lo anterior sustenta la confianza en que la serie de encuestas nacionales aporta estimaciones con suficiente precisión para los fines de estudio, puesto que ante el problema añadido de extraer una submuestra pertinente de votantes potenciales para la estimación de intenciones de voto, la medición se ubicó dentro de los márgenes de error esperados. Estimaciones para la elección presidencial de 2000 La presentación de los resultados de estimaciones de intención de voto para la elección presidencial de 2000 pudiera dividirse en dos grandes paquetes informativos: lo correspondiente a las preferencias electorales por partido y lo relativo a las preferencias por candidato. Respecto de las preferencias por partido, la serie observa los cambios a lo largo de dos años, entre junio de 1998 y junio de 2000, detectando los siguientes movimientos (ver gráficas 5a y 5b):
· El PRI pasaría de 28 a casi 39% de las preferencias en el periodo junio de 1998-enero de 1999, estabilizándose en torno a 35% a lo largo de 1999, para posteriormente descender a niveles de alrededor de 30 puntos en 2000. Ello significaba que, a nivel de intenciones definidas de voto, el PRI ascendería de 41 a 48% a enero de 1999, situándose próximo a 45% el resto del año, mientras que durante 2000 se ubicaría regularmente por debajo de 40%. · Los partidos que conformarían la Alianza por el Cambio mantenían una estrecha cercanía con el PRI en 1998, que se ve afectada a principios de 1999, cuando se ubican por debajo de 30%, entre cinco y nueve puntos por debajo del PRI, aunque en 2000 la Alianza por el Cambio superaría el nivel de 30% en forma sostenida, rebazando en muchos momentos al PRI. A nivel de intenciones definidas; lo anterior significa que los partidos de la Alianza por el Cambio estarían rondando niveles de entre 34 y 39% a lo largo de 1998 y 1999, rebasando la marca de 40% durante 2000, aunque con un relativo declive en junio. · En el caso de los partidos que integrarían la Alianza por México, se situarían a lo largo de los dos años bajo observación en torno a 15% de las intenciones manifiestas de voto, aunque a partir de agosto de 1999 no alcanzarían a superar la barrera de 20% de las intenciones definidas de sufragio. · A pesar del crecimiento que al final de la campaña mostraron los demás partidos, su presencia fue siempre marginal, alcanzado menos de 3% de las intenciones de voto en todo momento. En cuanto a las intenciones de voto por candidato, éstas pueden ser diferenciadas en dos momentos: antes de que se definiera la lista efectiva de contendientes y después de que ésta estuvo definida. Durante 1999 se hizo el seguimiento de las preferencias por candidatos mediante preguntas específicas que presentaban opciones únicas por partido, siendo una de ellas la que consideraba a Labastida por el PRI, Fox por el PAN y Cárdenas por el PRD, aunque aún sin atender posibles coaliciones. En dichos "careos" se observó durante 1999 una situación de práctico empate entre Labastida y Fox, que solamente se rompió en la medición más próxima posterior a la elección interna del PRI, cuando Labastida superó en tres puntos a Fox (aunque dicha brecha se eliminaba totalmente si se sumaba a Fox los respaldos expresos en favor de Jorge González Torres, del Partido Verde). La altura alcanzada durante 1999 por cada uno de los dos principales contendientes rondaba en los 40 puntos (ver gráficas 6a y 6b).
Estas distribuciones parecian mostrar desde entonces el eventual arribo a un "equilibrio duvergeriano"(43) no sólo como una propuesta teórica, sino como propensión efectiva: los dos primeros lugares, Fox y Labastida, pasaban de reunir 72% de intenciones a prácticamente 80% y mantenían una condición de empate en la disputa por la Presidencia de la República, mientras que el tercer lugar, Cárdenas, tendía a rezagarse, reduciendo su participación en más de diez puntos, por debajo del nivel de 20%. En apoyo a esta hipótesis estaba la elevada estabilidad mostrada en la serie de mediciones a lo largo de 1999, con giros implícitos del orden de tres puntos cada trimestre. En segundo lugar, era interesante constatar que la serie mostró un impacto reducido de la campaña por la candidatura del PRI en la distribución de preferencias. Lo anterior hacía suponer que se estaba ante un escenario de competencia tendencialmente bipartidista no como consecuencia de cambios en la decisión de voto entre partido en el gobierno y opciones de oposición, sino por desplazamientos en el sentido del voto al interior del segmento de votantes opositores. La hipótesis anterior, aventurada desde fines de 1999*, se vió confirmada durante los meses de campaña: un formato bipartidista, donde la disputa por la Presidencia de la República se dio efectivamente entre el candidato del partido en el gobierno y el candidato opositor que logró concentrar mayor respaldo desde el arranque. Es en este marco de "equilibrio duvergeriano" que la serie GEA-ISA detecta un ligero giro en las preferencias entre noviembre de 1999 y febrero de 2000, de apenas cinco puntos en dos y medio meses (dos puntos por mes), pero que fuera suficiente para invertir el liderato en la carrera presidencial, pasando Fox a ocuparlo y desatando las críticas y cuestionamientos a la serie. A lo largo de 2000 las encuestas de GEA-ISA mostraron a Fox siempre por encima de 30% de las intenciones manifiestas de voto, que representaban entre un máximo de 44 y mínimos apenas por debajo de 40 puntos. A diferencia, salvo en una observación, Labastida siempre se mantuvo debajo de 40% de las intenciones definidas, mientras que Cárdenas se ubicaba en un distante tercer lugar, entre 16 y 19% de las intenciones definidas (ver gráficas 7a y 7b).
La brecha más amplia medida, de ocho puntos en favor de Fox, fue en febrero, en un levantamiento efectuado justamente entre el estallido de los hechos de violencia más importantes ocurridos en la Universidad Nacional y la ocupación de la Ciudad Universitaria. Luego, Fox se situaría entre marzo y mayo con una ventaja de cerca de cinco puntos, que no se afectaría de manera detectable por el primer debate, pero que sí se revertiría como consecuencia de los eventos relacionados con el segundo debate. Así, una observación hecha a principios de junio mostró a Labastida adelante, pero como un fenómeno de "burbuja" que se desactivaría 15 días después, cuando nuevamente se detecta una ventaja para Fox, que se ratificaría en la elección. Los datos anteriores corresponderían a las preferencias de la totalidad de entrevistados que disponían de su credencial de elector. Pero un segundo nivel de análisis, validado por la experiencia previa en la elección interna del PRI, era la observación del segmento de "votantes probables", entendiendo por tales a los ciudadanos con credencial de elector que manifestaban estar seguros de ir a votar en los comicios federales de 2000. La proporción del electorado que se manifestaba segura de ir a sufragar fue creciendo a lo largo de la campaña. Así, si en febrero 58% de los consultados afirmaban que lo haría, entre marzo y principios de junio la proporción se eleva a casi 70%, llegando a 75% en laconsulta de mediados de junio (ver gráfica 8). A estas proporciones habría que restarle el segmento de electores que, asegurando que irían a votar, no manifestaron una preferencia definida por alguno de los contendientes.
Efectuando este ajuste, se tendría que en febrero los votantes probables se ubicaban en torno a 49%, aproximadamente 29 millones de electores. Para marzo, la proporción había subido a 59%, que representaban casi 35 millones de electores. Para principios de junio, luego de los debates y sucesosque los rodearon, había bajado a 56%, disminuyendo en dos millones la votación esperable. Finalmente, para mediados de junio, había subido a 62%, equivalente a 36 millones de votantes probables, cifra muy cercana al volumen real de votos emitidos por candidatos en la jornada electoral. El segmento de votantes probables mostraría a lo largo de 2000 una mayor estabilidad en sus inclinaciones de voto que el conjunto de ciudadanos con credencial. Así, Fox llegaría a 38% de intenciones manifiestas y 45% de las definidas dentro de este segmento en marzo, para descender hasta 33% de manifiestas y 41% de definidas para mediados de junio. Su principal contrincante, Labastida, rondaría en torno a 32% de preferencias manifiestas en este segmento a lo largo del año, entre 38 y 41% de las definidas. Cárdenas, por su parte, rondaría entre 13 y 18% de las intenciones definidas de voto en su favor (ver gráficas 9a y 9b).
El margen de ventaja de Fox sobre Labastida sería de cinco puntos en febrero y marzo y de cuatro puntos en mayo, que se reducirían a medio punto para principios de junio, para nuevamente abrirse a más de dos puntos para mediados de junio, terminando en seis y medio puntos al día de la elección. A lo largo de la campaña, Fox habría tenido ventaja en todo momento. Si se traducen las proporciones de respaldo entre los votantes seguros a votos probables, Fox habría pasado de 12.5 millones de votos posibles en febrero a 15.5 millones para marzo, bajando a 14 millones los primeros días de junio, para alcanzar nuevamente los 15 millones a mediados de junio, ubicándose en la última medición de la serie poco más de un millón de votos por debajo del volumen efectivamente alcanzado en las urnas, lo que implica un respaldo adicional de alrededor de 3% de electores, la mitad provenientes de quienes decidieron votar de última hora y la otra mitad por giros en las preferencias, en detrimento de los niveles de otros candidatos. Por su parte, Labastida habría pasado de 11 millones de votos probables en febrero hasta alcanzar casi 14 millones a mediados de junio, perdiendo en los días finales alrededor de 300 mil votos potenciales, proporción similar a la que perdería Cárdenas entre el momento de la última medición y la jornada electoral (ver gráficas 10a y 10b).
Balance de las encuestas electorales 2000 Una vez transcurrida la jornada electoral, el panorama en el campo demoscópico era desolador para los más: las encuestas finales que advertían una ventaja para Labastida, al menos siete de las cuales corresponden a empresas seriamente establecidas (excluyendo Technomanagment y Fishers), habían fallado por encima de su error estadístico y equivocado en el margen de victoria por más de diez puntos en promedio. Habían errado las encuestas realizadas por medios impresos (Reforma), la encuesta patrocinada por un diario extranjero (Dallas Morning News), por una agencia internacional de noticias (Reuters), empresas afiliadas a la Asociación Mexicana de Agencias de Investigación de Mercado y Opinión Pública (AMAI), como AC Nielsen para Milenio Diario y Pearson para el PRI; el Centro de Estudios de Opinión de la Universidad de Guadalajara y la empresa Consultores y Marketing Político. Ante este fracaso, de inmediato surgirían dos versiones exculpatorias: algunos argumentaron que había existido un "voto oculto" que impedió una medición certera, otros, que los "indecisos" se habían cargado al final para un lado.(44) Del otro lado, al menos cuatro encuestadoras habían difundido estimaciones que acertaron al ganador. La más atinada, ARCOP, trabajando para un partido, negando con ello la versión previa que quiso ver coherencia y precisión en medios y manipulación desde los partidos: ni los medios atinaron ni las encuestas panistas erraron. GEA-ISA, Demotecnia y Democracy Watch también acertaron al ganador, con errores medios en sus estimaciones dentro de los márgenes de error asumidos.(45) Ninguna de estas encuestas contó con un medio nacional que publicara íntegramente sus resultados, ni ninguna fue noticia principal en diario alguno. CUADRO 1a Estimaciones de encuestas finales y resultado electorales
CUADRO 1b Error medio en las estimaciones de encuestas finales
Dada esta realidad, las encuestas de salida no pueden verse entonces como salvadoras de la imagen del mercado de encuestas, sino como oportunas y confiables estimaciones (46) con una precisión similar a la de encuestas preelectorales realizadas por especialistas experimentados. Los errores en las encuestas previas fueron luego consecuencia de desatinos por inexperiencia en el campo demoscópico o por equívocos en decisiones de método; ello, aun sin considerar las encuestas que solamente fueron propaganda partidaria. CUADRO 2a Estimaciones de encuestas de salida y resultado electoral
CUADRO 2b Error medio en las estimaciones de encuestas de salida
Con base en el reconocimiento de que no todos equivocaron, diversas voces se alzan para apuntar la falta de evidencia que apoyara la hipótesis de un ocultamiento del voto.(47) Igualmente, las encuestas de salida no corroboran la tesis de un cambio significativo en las preferencias provocado por quienes se decidieron al final de la contienda, pues éstos se distribuyen básicamente igual que el resto; a lo sumo, dejan espacio para pequeños ajustes que no explicarían la magnitud de los errores en encuestas que equivocaron ganador.(48) Las mismas encuestas de salida nos permiten conocer las preferencias de los electores según el momento de decisión de su voto. Y los datos que muestra parecieran apoyar la tesis de que Fox logró la delantera en las preferencias desde el inicio de la campaña, teniendo al menos cuatro puntos de ventaja.(49) Lo anterior pareciera validar la serie de encuestas de GEA-ISA y mostrar la existencia de sesgos en la de Reforma, cuyos datos fueran el sustento tradicional de la creencia en la ventaja del PRI. La proximidad de las estimaciones de la serie de GEA-ISA en dos momentos distintos, la primaria del PRI de noviembre del año pasado y la elección presidencial, apoyaría también la confianza en lo correcto de estimaciones intermedias.(50) A diferencia, al errar Reforma tanto en la interna del PRI como en la presidencial y no ser coherente con su propia encuesta de salida, deja en duda la validez de sus estimaciones durante la campaña.(51) Es de advertirse que los detalles sobre el método de esta serie no fueron atendidos de manera tan acuciosa por quienes sí revisaron a detalle las decisiones tomadas en encuestas que mostraban arriba a la Alianza por el Cambio. Así, los datos producto de encuestas en muchos casos fueron medidos con dos distintas varas: credibilidad acrítica si traían al PRI arriba,(52) pero análisis minusioso y cuestionamiento a cualquier desvío de la ortodoxia si no era así. Lo anterior lleva a una reflexión: detrás de la lectura de los datos y la confianza referida a las encuestas, se encontrarían diferencias de fondo en la interpretación de la realidad de la elección 2000. Quienes avalaban desde un principio la existencia de una competencia cerrada, veían el reflejo de tendencias históricas del electorado mexicano y cambios en las preferencias que habían ocurrido desde el estallido de la crisis económica en diciembre de 1994, cuando el PRI perdió más de diez puntos de respaldo,(53) teniendo en julio de 2000 el electorado su primera oportunidad de votar para un relevo en el Ejecutivo federal luego de esta crisis. Para quienes apoyaban la existencia de una amplia ventaja inicial del abanderado priista, el declive paulatino era producto directo de una equívoca estrategia de campaña.(54) Para ellos, la victoria de Fox sería consecuencia de una eficaz estrategia de propaganda, no reflejo de procesos profundos de cambio en las orientaciones del electorado mexicano. Al cotejar los datos de las elecciones intermedias con los resultados de la contienda presidencial, es facil advertir que el PRI no perdió en los últimos tres años una proporción significativa de votos; simplemente, como Cárdenas lo había hecho en la capital, Fox logró concentrar una proporción importante del voto opositor, lo que hizo posible la derrota del partido gobernante. El 2 de julio de 2000 fue así una postrer manifestación del reclamo ciudadano ante la frustración de sus expectativas de crecimiento sostenido, que en agosto de 1994 le habían dado al PRI un voto mayoritario. Expectativas que se derrumbaron al inicio del actual sexenio, cuando estalló la peor crisis económica en siete décadas. Después, para muchos ciudadanos fue cuestión de esperar una oportunidad para el cambio. Esta oportunidad también debiera verse reflejada en la estructura del mercado de investigación en opinión pública. Frente a los errores de múltiples encuestadoras, cabría ahora dar paso a una reflexión serena, que busque los orígenes de los fallos no en míticas explicaciones ad hoc, sino en profundas revisiones de criterios y procedimientos de trabajo. Un saldo aparentemente favorable de esta "guerra de encuestas" es la reiteración de la existencia de una especificidad del campo de investigación en opinión pública, que ha tendido a subsumirse en el ámbito de la investigación de mercados, del que sólo representa una décima parte.(55) Resultaría pertinente luego combatir toda práctica tendencialmente concentradora del campo, ya sea por denegaciones de trato o barreras artificiales a la entrada. Dado el peso relativo que en ello puede tener el sector público, es deseable la generalización de procedimientos transparentes y abiertos para la contratación de servicios. De no hacerlo, se corre el riesgo de limitar el desarrollo del campo, con el peligro de que a la vuelta de un sexenio nuevamente se enfrenten poderes invisibles que pretendan acallar o descalificar toda voz divergente. Hoy puede ser tiempo para la efectiva pluralidad en el campo demoscópico
Notas 1 Inclusive, una publicación referida a la serie de encuestas GEA-ISA hecha a fines de 1999, destacaba la situación de práctico empate en las intenciones de voto por Fox y Labastida a lo largo de ese año. Al respecto, véase: Alberto Aguirre, "Bipartidismo y fragmentación", en: "Masiosare", suplemento de La Jornada, número 107, 19 de diciembre de 1999, pp. 3-5, que retoma los datos presentados por el autor y Rosario Toledo en la ponencia "Escenarios para las elecciones federales del 2000", Décimoprimer Congreso Nacional de Estudios Electorales; Universidad Autónoma de Puebla y Sociedad Mexicana de Estudios Electorales; Puebla, 1-4 de diciembre de 1999. 2 El Consejo General del Instituto Federal Electoral establecío en su sesión del 17 de diciembre de 1999 un acuerdo sobre los criterios de carácter científico para regular la publicación de encuestas sobre preferencias electorales, el cual fue producto de consultas previas al gremio y establecía qué datos básicos tendrían que reportarse y qué información debería conservar el investigador responsable para apoyar en caso de ser necesario los procedimientos utilizados en su investigación. Se demandó así indicar el patrocinio y el responsable de la publicación; detallar la población estudiada, el método de recopilación, el método de muestreo, el tamaño de la muestra, las fechas de realización; especificar cuando se presenten pronósticos o estimaciones que deriven de transformaciones de los datos originales; y guardar la información que posibilitara la verificación de cuestionarios y resultados. 3 Lo que lleva a Héctor Aguilar Camín a afirmar que "unas encuestas mienten y otras dicen la verdad sobre el probable ganador de la Presidencia" ("El voto úitl", en Proceso, núm. 1224, 16 de abril, 2000, p. 41). Uno de los motivos que hizo más obvias las diferencias entre encuestas fue un cambio en la lectura de los datos. Si antes las propias condiciones de la competencia hacían que el dato más relevante fuera el nivel de votación detectado para el líder, ahora se destacaba el margen de ventaja del primer lugar sobre el segundo, que se ve afectado por los márgenes de error en la estimación de cada uno, lo que redunda en que las diferencias entre encuestas tiendan a mostrar una brecha de mayor magnitud. 4 Al respecto, conviene referir dos ejemplos de críticas publicadas a las encuestas de GEA-ISA: la decisión de tomar muestras en una selección ajustada de 30 distritos electorales (supuestamente "un número muy bajo y poco representativo", según Víctor Manuel Espíndola Díaz y Armando Robinson en "Encuesta electorales: limitaciones y realidades", Voz y Voto, núm. 88, junio, 2000, pp34-35); y la colocación de la pregunta sobre intención de voto hacia el final del cuestionario (Jorge Buendía afirma que esto era cometer "errores de primer grado", según cita Manuel Gutiérrez Oropeza en "El perverso uso de las encuestas en las campañas", Milenio Semanal, núm. 129, 28 de febrero, 2000, p. 2). 5 Ello, por no informar a sus clientes de supuestos e indemostrados "problemas en el diseño o en el trabajo de campo", dado que el dato presentado por GEA-ISA estaba "completamente fuera de contexto". Roy Campos, "Ética para encuestador", en Voz y Voto, número 88, junio, 2000, p. 32. 6 Un caso muy relevante fueron los ensayos publicados en etcétera en su número 375, del 6 de abril de 2000, que da cabida a argumentos de Rafaél Giménez y a un ensayo de este autor ("¿Para qué deberían servir?"), entre otros demóscopos. 7 Retomando con ello las ideas de John R. Zaller, The nature and origins of mass opinion, Cambridge, 1992. 8 Esto tendría mucho que ver con las decisiones de difusión de encuestas por parte de los medios, que daban amplia cobertura a datos relativos a encuestas que ponían adelante a Labastida y escaso espacio u omisión total a encuestas que otorgaban ventaja a Fox (lo que se corrobora al revisar los reportes del Instituto Federal Electoral sobre encuestas realizadas y publicaciones en que se reportan), aunque también a las preferencias subjetivas de los opinadores; por ejemplo, Héctor Aguilar Camín advertiría primero que "para saber si una encuesta es mejor o más rigurosa que otra hay que ser un experto" ("Sospechas", en Proceso, núm. 1220, 19 de marzo 2000, p. 49), para luego confesar que "las encuestas de preferencias electorales se han vuelto materia de fe. Cada quién elige la que quiere creer. Yo he escogido hace algún tiempo creer en la que hace el diario Reforma" ("Empate", en Proceso, núm. 1229, 21 de mayo, 2000, p. 65), lo que apoya en su prestigio y continuidad, así como en los riesgos que afronta el diario, no en una evaluación crítica de decisiones sobre método, que según previno sería propia de expertos. 9 Ejemplo de esta perspectiva serían las opiniones vertidas en diversos foros por Edmundo Berumen, entre otros en el programa Zona abierta trasmitido por el Canal 2 de Televisa el 13 de mayo de 2000. A esta opinión se sumaría luego Roy Campos ("Malos usos y abusos de las encuestas", en "Masiosare", suplemento de La Jornada, 21 de mayo, 2000). 10 Respecto de la historia de esta "superencuesta", puede verse: Alberto Aguirre, "La guerra de las encuestas", en "Masiosare", suplemento de La Jornada, núm. 123, 16 de abril, 2000, pp. 7-8. 11 Oportunamente señalado por Francisco Baez ("La guerra de las encuestas. Episodio V y medio. La sombra del imperio", en La Crónica de Hoy, 12 de mayo de 2000, p. 4). En el caso de El Universal, luego del primer debate entre candidatos llegaría a publicar una encuesta levantada antes de efectuado este encuentro. 12 Respecto a esta supresión, puede verse el artículo de Sam Dillon, "Mexican Party Reported to Quash Polls Predicting Its Defeat", en The New York Times, July 17, 2000. 13 El caso de Milenio Diario es más complejo: en enero difundiría una encuesta con un margen de tres puntos en favor de Labastida, a la que seguiría otra encuesta con una distancia de apenas un punto, cuya publicación se vio retrasada y que fuera hecha luego de presiones atribuidas por este diario al equipo de campaña del candidato panista (véase: Milenio Diario, 13 de febrero, 2000, p. 16). Dos meses después vendría el cambio de encuestador y la publicación de la primera encuesta de AC Nielsen (con equivocaciones tan obvias como atribuir 10% de indentificación partidaria de los entrevistados con el Partido del Trabajo). 14 El argumento empleado por El Universal para suspender la publicación de encuestas era "evitar que los lectores se formen juicios subjetivos que pudieran influir en su ánimo a la hora de emitir su sufragio", lo que carece de evidencia empírica ("Serenidad, no más encuestas", El Universal, 16 de junio, 2000, p. A28). 15 Que fuera patrocinado de manera conjunta por diversos partidos políticos (PRI, PAN, Convergencia por la Democracia, Democracia Social, PCD), así como por dependencias públicas (Gobierno del Distrito Federal, Secretaría de Gobernación, entre otras) y diversos representantes del sector privado nacional. 16 Denominación social desde 1997 del proyecto empresarial especializada en opinión pública dirigido por el autor y Rosario Toledo, quienes operaron entre 1990 y 1996 el Gabinete de Estudios de Opinión (GEO). 17 Ello significa que, para fines de esta exposición, no se tratará el modelo de análisis de la gobernabilidad que diera cuerpo al conjunto de reflexiones que enmarcarían la presentación de los resultados de las diversas encuestas realizadas y que constituye la principal aportación de GEA al proyecto conjunto. 18 La construcción de un panel nacional presentaba ventajas y riesgos. La principal ventaja es que posibilita un análisis de factores propiciadores de cambios en el ámbito individual, aumentando las posibilidades de intercorrelación de variables y de determinación de causalidad. Empero, dos factores de riesgo perjudican la efectividad de este diseño: la mortalidad inevitable que se presenta en la muestra (esperándose una tasa mínima próxima a 30 % en el curso de dos años) y la incorporación de efectos de sensibilización en los sujetos en muestra, que afectaría las mediciones, disminuyendo la representatividad de la muestra respecto de la población de la que se extrajo, lo que tiene mayor importancia dada la relevancia de los niveles de información en los comportamientos electorales de la ciudadanía. La imposibilidad fáctica de eliminar o reducir de manera significativa estos factores de riesgo llevaron a eliminar esta opción. 19 Cfr.: Benjamin I. Page and Robert Y. Shapiro, The Rational Public. Fifty Years of Trends in Americans’ Policy Preferences; Chicago ,The University of Chicago Press , 1992. 20 Lo anterior, asumiendo los términos de Donald Campbell y Julian Stanley en: Diseños experimentales y cuasiexperimentales en la investigación social; Buenos Aires, Amorrortu Editores, 1973. 21 Como se demuestra en el estudio clásico de Irving Crespi, Pre-election polling: Sources of Accuracy and Error; Russell Sage Foundation, 1988. 22 Esta definición no fue utilizada para la encuesta especial realizada en octubre de 1999, previa a la elección del candidato del PRI a la Presidencia de la República, cuyo universo de estudio comprendió exclusivamente a los ciudadanos mexicanos al momento de la elección (nacidos antes de noviembre de 1991). Como segmentos relevantes de esta población, mediante la aplicación a posteriori de filtros, se contó con datos referidos a la población que disponía de credencial de elector y que, por ende, se encontraba en condiciones fácticas de poder participar en la elección (población credencializada) y de datos relativos a la población que, disponiendo de su credencial de elector, declaraba tener seguridad de acudir a votar en la consulta (considerados como votantes potenciales). 23 Respecto del debate calle-casa en México, entre otros textos puede verse: Raúl Trejo, "The Worst Opinions. Public Opinion Polls, Elections and the Media in Mexico, 1994", en: Roderic Ai Camp (editor), Polling for Democracy. Public Opinion and Political Liberalization in México; Wilmington, Scholary Resources, 1996. 24 Asimismo, dada la reducida cobertura del servicio telefónico en hogares, la opción de operativos por este medio fue excluida. Series de encuestas telefónicas nacionales pueden no sólo dar cuenta del comportamiento en el segmento correspondiente, sino permitir detectar el sentido y magnitud de cambios en preferencias del electorado, contrastándolas con mediciones en domicilio y asumiendo ciertos supuestos; ello, sin menoscabo del hecho constatado de que arrojan muestras sesgadas conforme a criterios socioeconómicos y de que los respondentes por teléfono tienden a adoptar una actitud más complaciente con el entrevistador (cfr.: Alicia de la Macorra y Jorge Iván Castro, "En el caso de México, ¿es posible reemplazar una entrevista personal por una telefónica o viceversa", disponible en el site: www.bimsa.com.mx).25 Dado que la población bajo observación correspondió al total de personas que estarían en posibilidad de cumplir con las condiciones formales para ejercer su sufragio el 2 de julio de 2000 y en razón a que el proceso para obtener la credencial de elector concluyó hasta fines de marzo de 2000, no resultaba necesariamente pertinente desde el principio de la serie la aplicación de filtros en consideración a la tenencia de credencial. 26 Así, la bateria de reactivos que permitieron detectar los segmentos relevantes para el análisis de la intención de voto fueron: ¿Está usted empadronado? y si sí, ¿tiene credencial de elector? (respuesta espontánea); ¿qué tan factible es que vaya usted a ir a votar en las próximas elecciones federales? (presentando tarjeta con cuatro opciones de respuesta: seguramente sí, probablemente sí, probablemente no y seguramente no); si tuviera que votar en este momento para elegir Presidente de la República, ¿por cuál partido o coalición política votaría? o, en su caso, ¿por qúe candidato votaría usted? (en ambos casos, mostrando tarjeta con opciones rotadas). 27 Benjamin Page y Robert Shapiro, opcit.. 28 Ver: L. Festinfer y D. Katz, Los métodos de investigación en ciencias sociales, México, Paidós, 1993. 29 Con miras a establecer un criterio para la comparabilidad entre el margen de error tolerado efectivamente para una encuesta por conglomerados y el margen de error calculado como si fuese un muestreo aleatorio simple, puede estimarse este último a partir de la relación: Es2 = Z2 pq / n; donde "Es" corresponde al margen de error en un muestreo aleatorio simple con el tamaño de muestra indicado y "Z" al número de unidades de desviación estándar de la media a la que se estima el error (que en este caso asume un valor de 1.96, donde el área bajo la curva normal ubicada entre la media y las ordenadas al valor referido a ambos lados es de 0.95, que es el nivel de confianza definido para la estimación). Sustituyendo, se tiene que el margen de error calculado para una muestra aleatoria simple del tamaño elegido es de 2.8% para la población observada (3% si se considera solamente a la población a entrevistar que se asume dispondrá de credencial de elector). Este dato es el que corresponde al margen de error convencionalmente proyectado en los reportes de encuestas con fines de medición de intenciones de sufragio, que suele corresponder al criterio adoptado de 6% de margen de error correctamente estimado para un muestreo por conglomerados. 30 Que supone asumir a los indefinidos en encuestas como abstencionistas en elecciones; cfr.: R. de la Peña, "Sobre la dinámica de las preferencias electorales y el problema de los indefinidos", ponencia presentada en el Décimo Congreso Nacional en Estudios Electorales, Sociedad Mexicana de Estudios Electorales, La Paz, Baja California Sur, diciembre, 1998. 31 Basado en: Des Raj, Teoría del muestreo; México, Fondo de Cultura Económica, 1980. 32 Para fines de ampliación de las unidades primarias en muestra, se adoptó un procedimiento sistemático no independiente del muestreo original, al incluir en muestra los distritos ubicados a la mitad del intervalo previo considerado. 33 Al respecto, cabe recordar la experiencia de la encuesta de Belden y Alagon en ocasión de las elecciones federales de 1994, que llevó la selección aleatoria hasta el respondente, pero que arrojara estimaciones muy próximas a las logradas al mismo tiempo con encuestas que adoptaron procedimientos menos rigurosos (al respecto, véase: Ricardo de la Peña, "Las encuestas después de 1994", en M. Larrosa y L. Valdés, Elecciones y partidos políticos en México, 1995, México, Universidad Autónoma Metropolitana Iztapalapa, 1998). 34 Para ello, tomando el listado de distritos electorales federales, que sigue un orden alfabético por entidad federativa y numérico por distrito electoral, se forman las sumas acumuladas de ciudadanos comprendidos en cada distrito electoral federal y el acumulado total de ciudadanos listados en el país. El intervalo de selección I se obtiene dividiendo el acumulado total de ciudadanos entre el número de distritos a seleccionar (en este caso, considerando 30 distritos electorales federales a elegir y un número total de ciudadanos en listado de 52 millones 208 mil 966 personas, se tiene un intervalo de selección de un millón 740,299). Luego, se selecciona un número aleatorio r entre 1 e I para disponer del primer número aleatorio, y luego se adiciona I a r tantas veces como se requiere para generar los 30 números aleatorios requeridos (en este caso, el primer número aleatorio generado fue un millón 200,473). Los números aleatorios generados en forma sistemática sirven para identificar en el listado de sumas acumuladas las unidades primarias correspondientes, que serán las seleccionadas en muestra. Formalmente, este muestreo sería con reemplazo, pues si la medida del tamaño de alguna de las unidades primarias resulta mayor que el intervalo de selección, queda seleccionada más de una vez, tomándose tantas submuestras como veces fue seleccionada; empero, dado la relativa homogeneidad de tamaño de las unidades primarias, tal eventualidad no se presenta en la práctica 35 De hecho, este diseño permite considerar que se disponía solamente de un segmento del total de secciones electorales del país, que incluía las seis mil 859 secciones ubicadas en los 30 distritos considerados. En cada ocasión se elegió una muestra aleatoria de 240 secciones, estratificadas por distrito, lo que (dado un coeficiente de correlación intraclase negativo), arrojaría un margen de error tolerado para las estimaciones en este segmento de +/-2.5% a un nivel de confianza de 95%, que permitiría una adecuada observación de cambios en su interior. 36 Que se reduce a 0.2% cuando se consideran los 60 distritos incluidos en la muestra completa para la última encuesta nacional de la serie. 37 Que tomó como punto de arranque la ubicación de la casilla básica en el proceso electoral federal 1997, información disponible mediante consulta de fuentes hemerográficas diversas. 38 La fracción de muestreo para cada distrito electoral federal seleccionado en la primera etapa era igual al cociente de la población bajo muestreo que reside en tal distrito electoral federal seleccionado entre el total de la ciudadanos en el listado; la fracción de muestreo para cada sección electoral seleccionada en la segunda etapa era igual al cociente del número de secciones electorales elegidas por distrito seleccionado entre el total de secciones electorales existentes en el distrito en cuestión; y la fracción de muestreo para cada ciudadano seleccionado en la tercera etapa era igual al cociente del número de casos en muestra en la sección electoral entre el total de residentes en la sección electoral específica.39 Respecto de la experiencia con encuestas nacionales para la elección presidencial de 1994, puede verse: Francisco Báez, "Encuestas y conteos en las elecciones de 1994", en Jorge Alcocer (coordinador), Elecciones, diálogo y reforma. México, 1994, volumen II, Nuevo Horizonte Editores y Centro de Estudios para un Proyecto Nacional, A.C.; México, 1995. 40 Respecto de la actitud de los demóscopos en torno al problema de estimación de distribuciones de asientos a partir de encuestas, cfr.: David Butler, "Polls and Elections", en Lawrence LeDuc, R. G. Niemi and P. Norris (editors), Comparing Democracies. Elections and Voting in Global Perspective, California, Sage, 1996. 41 Se excluye por ello la medición que tuviera resultados más próximos con los oficiales, responsabilidad de la empresa Pearson para la campaña del aspirante Francisco Labastida, que arrojara una estimación que difere en poco más de 2% promedio de la oficial, con una subestimación del margen de ventaja de apenas cuatro puntos. 42 Para estos cálculos, se recurre al método de comparación propuesto originalmente por Robert M. Worcester en British Public Opinion; UK, Basil Blackwell, 1991. 43 En el sentido planteado por Gary W. Cox, en: Making Votes Count; Cambridge University Press, 1997. * * Al respecto, véase: Ricardo de la Peña y Rosario Toledo, "Escenarios para las elecciones federales del 2000", ponencia presentada en el Décimoprimer Congreso Nacional de Estudios Electorales; Universidad Autónoma de Puebla y Sociedad Mexicana de Estudios Electorales; Puebla, 1-4 de diciembre de 1999.44 Sobre el supuesto "efecto Nicaragua", véase por ejemplo: "El voto oculto", editorial de Reforma, 3 de julio, 2000, primera plana. Respecto al supuesto giro provocado por indecisos, está la declaración de la expresidenta de AMAI, Ana Cristina Covarrubias, a CNI Noticias, el viernes 7 de julio, 2000, y el artículo de Stanley B. Greenberg y Jeremy D. Rosner, "Por qué sí tenían razón las encuestas" La Jornada, 2 de julio, 2000, p. 14), donde los autores intentan justificar los errores que llevaron al propio Greenberg a calificar en marzo como irreversible la ventaja de Labastida, sugiriendo un método de adjudicación de indecisos entre candidatos opositores, que resulta innecesario toda vez que hubo encuestas correctas sin recurrir a estos procedimientos y dado que este método contradice la experiencia de las encuestas nacionales en México desde 1994. 45 A estas encuestas pudiera sumarse la encuesta de Alduncin y Asociados patrocinada por Amparo Espinosa, que otorga seis puntos de ventaja a Fox sobre Labastida y que fue levantada durante la primera quincena de junio, teniendo un error medio de 2.7 puntos, mayor que el de otras encuestas que aciertan al ganador (al respecto, véase: Milenio Diario, 16 de junio, 2000, p. 17). 46 Lo que no necesariamente puede afirmarse de los conteos rápidos, ya que resultan mucho menos afortunados en sus estimaciones: el IFE reporta finalmente sólo dos de los tres conteos que contrata, al no tener Alduncin datos consolidados al momento de difusión y aunque Gallup reportara en ese momento rangos de estimación donde no caerían finalmente los datos reales. La CIRT divulgaría dos conteos propios, uno de los cuales subestimó a la Alianza por el Cambio en más de tres puntos (AC Nielsen). Sin embargo, lo amplio de la ventaja final de Fox permitió que no hubiera confusión la noche de la elección. 47 Al respecto, puede verse: Francisco Báez, "Claves para evaluar el comportamiento de las encuestas", en La Crónica de Hoy, 5 de julio 2000, p. 8 y "La guerra de las encuestas. Epílogo", en La Crónica de Hoy, 7 de julio de 2000, p. 6; Rafaél Giménez, "No todas la encuestas se equivocaron", en Milenio Diario, 7 de julio de 2000, p. 17; María de las Heras, "¿Le atiné?", en Milenio Diario, 5 de julio, 2000, p. 14. 48 Respecto del impacto de la decisión de último momento, las encuestas de salida difieren en sus categorías y en los datos que reportan. A partir de Consulta-Mitovsky para Televisa, al final se decidió 11% de electores, 49% votando a favor de Fox y 31% por Labastida, lo que implicaría un giro de apenas 1.4% en la votación, por lo que días antes de la elección la distancia entre los dos primeros lugares habría sido próxima a cinco puntos; la ventaja de Fox dataría de este año, teniendo Labastida seguramente ventaja el año pasado, conforme a esta encuesta. Reforma detalla más el momento de decisión: 6% se definió el día de la elección y otro 5% durante las dos semanas previas, pero este 11% apenas provoca un cierre de la distancia favorable a Fox en 0.2%; Fox llevó ventaja aún entre quienes se definieron desde antes de abril; que habría ido ampliando, toda vez que obtuvo el respaldo de 46% del tercio de electores que se definieron en los tres meses finales de la campaña, mientras que 27% lo hizo por Labastida y 20% por Cárdenas. En contraparte, la encuesta Covarrubias-Sofres para Televisión Azteca muestra un cierre al final de la brecha entre los dos primeros lugares. 49 Al respecto, cfr.: "Gana México urbano y educado", en Reforma, 3 de julio, 2000, p. 8A. Estos datos dejarían sin sustento afirmaciones sobre supuestos problemas en la serie de GEA-ISA, únicamente basados en su divergencia con otras estimaciones efectuadas en el mismo periodo de referencia. De hecho, es posible afirmar que la ventaja de Fox sobre Labastida desde al menos el mes de mayo estaría fuera de duda: en ello coinciden tanto los estudios de GEA-ISA como los datos de la serie de ARCOP para el PAN, que mostrarían una delantera de Fox entre votantes probables a lo largo de los últimos dos meses (según información proporcionada por el responsable de esta serie, Rafael Giménez, en comunicación personal), con diversos momentos de estrechamiento de la distancia, uno de los cuales coincidiría con la primera semana de junio (cuando GEA-ISA detecta un práctico empate). Previamente, existen diversas encuestas que detectan ventaja para Fox, aunque no se dispone de ninguna otra serie que empate totalmente con las mediciones de GEA-ISA; así, al menos ARCOP y Gauss-Redes detectarían en diversos momentos una ventaja para Fox durante los meses de marzo y abril. 50 Aunque también resulta interesante cotejar el perfil de los votantes probables estimados por las encuestas de la serie GEA-ISA con los perfiles de votantes efectivos detectados en las encuestas de salida. Al respecto, es de referirse que existiría un ligero sesgo en las encuestas, que observarían un mayor componente juvenil y educado entre la población votante potencial (aunque ello pudiera afectarse por los niveles efectivos de definición de voto en favor de algún candidato entre los concurrentes a votar). 51 Ello pudo deberse a la combinación de sesgos en su muestra (al tener un componente rural de 33%, mayor al existente), problemas de campo (que explicarían fuertes giros medidos en su región Centro-Occidente y la sobrestimación de la ventaja priista en el medio rural) y problemas en el tratamiento de datos (como la ponderación por escolaridad, modificada a lo largo de la serie sin que se efectuaran adecuaciones pertinentes en mediciones previas y que fuera tema de una reflexión del responsable de estos estudios, Alejandro Moreno, en "El temporal de las encuestas", "Enfoque", suplemento Reforma, núm. 325, 23 de abril, 2000, pp. 6-7). 52 Perspectiva en la que insisten todavía algunos intelectuales, como Federico Reyes Heroles, para quien resulta más oportuno afirmar que "ejercicios serios y consistentes toparon con un voto panista oculto", lo que "se relaciona con el clima de libertad y confianza de un país" antes que reconocer los obvios y documentables errores existentes en encuestas que erraron al ganador ("Pendientes", en Reforma, 18 de julio, 2000, p. 18A). 53 Lo que es detectado oportunamente por la serie de encuestas que el Gabinete de Estudios de Opinión (GEO) realizara entonces para el semanario etcétera, que detectarían una brusca caída de las preferencias por el PRI entre noviembre de 1994 y enero de 1995. 54 Ejemplo de lo anterior bien pudieran ser los análisis de Jaime Sánchez Susarrey inclusive despúes de las elecciones ("Escenas del 2 de julio", en Reforma, 8 de julio, 2000, p. 17A). 55 Véase: "La investigación de mercado en México", en NEO, núm. 24, 15 de marzo-14 de abril, 2000.
Ricardo de la Peña es presidente de Investigaciones Sociales Aplicadas, S.C. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
 |