REFLEXIÓN

¿Cuándo es positivo un hallazgo negativo? Notas para fomentar un debate necesario.

 

por Valentín Figueroa*

* Asistente de docencia en Universidad de San Andrés y maestrando en ciencia política por la Universidad Torcuato Di Tella, Agentina. E-mail: vfigueroa@udesa.edu.ar.

---

Resumen

La publicación de hallazgos negativos -resultados de investigaciones que no logran rechazar la hipótesis nula- es un fenómeno creciente tanto en las ciencias naturales como sociales. Esta tendencia demanda la generación de criterios para diferenciar hallazgos negativos con valor sustantivo de los que no lo tienen. Mediante una diferenciación entre el valor práctico y el valor sustantivo de los hallazgos negativos, este artículo contribuye a esta tarea. Sostiene que los hallazgos negativos válidos y con valor sustantivo son aquellos que contrastan hipótesis prudentes, informan debates establecidos, presumen la validez de hipótesis anteriores, y utilizan técnicas de análisis más sofisticadas o información de mejor calidad que estudios anteriores. Estos hallazgos permiten avanzar en el conocimiento de un fenómeno determinado y aumentar la sofisticación teórica.

Palabras clave hallazgos negativos - metodología-meta análisis - hipótesis - valor sustantivo

Abstract

The publication of negative findings -research results that fail to reject the null hypothesis- is a growing phenomenon in social and natural sciences. This tendency demands the generation of criteria to distinguish negative results with substantive value from those with no value. Through a differentiation between practical and substantive value, this article contributes to this enterprise. It holds that negative findings with substantive value are those that inform established debates, presume the validity of previous hypothesis, and use more sophisticated techniques or data than previous studies. These findings allow researchers to advance a further understanding of phenomena, and increase theoretical sophistication.

Key words negative findings - methodology - Meta analysis - hypothesis - substantive value

---

 

Los hallazgos negativos son aquellos que se obtienen cuando el análisis empírico no logra rechazar la hipótesis nula -es decir, aquella que establece que la realidad no se comporta de la manera que propone el investigador-. Estos pueden existir tanto en estudios cuantitativos como cualitativos, y tanto en investigaciones descriptivas como explicativas. Cuando se trata de estudios descriptivos, un hallazgo negativo implica que la realidad no se asemeja a la manera en que se cree que es. En estudios explicativos, por su parte, un hallazgo negativo implica que dos fenómenos hipotéticamente relacionados no están asociados de manera regular e invariante.

Es importante distinguir este tipo de hallazgos de los resultados positivos que simultáneamente afirman que una relación anteriormente establecida es espuria. En estos casos, el hallazgo negativo es utilizado de manera argumentativa para restar apoyo a explicaciones anteriores a un mismo fenómeno y apoyar una nueva interpretación. Un hallazgo negativo, por el contrario, muestra que es imposible rechazar la hipótesis nula pero no brinda una nueva explicación como alternativa a la que se mostró inadecuada.

La indagación sobre los criterios que deben reunir los resultados desfavorables en ciencia política para ser considerados valiosos, con la notable excepción de Lehrer et. al (2007), ha sido omitida por la reflexión metodológica, incluso cuando la publicación de este tipo de hallazgos es llevada a cabo por algunos de los investigadores más reconocidos de la disciplina, por ejemplo Acemoglu et al. (2009), Ahlquist y Wibbels (2012), y Haggard y Kaufman (2012).

¿Cuándo es positivo un hallazgo negativo? ¿En qué ocasiones podemos afirmar que un estudio que falla en rechazar la hipótesis nula en favor de la alternativa contribuye de manera sustantiva al conocimiento científico? En definitiva, ¿cómo podemos distinguirlos de investigación de baja calidad? (Lehrer et al. 2007). Una investigación determinada puede fallar en rechazar la hipótesis nula por: i) problemas en el método de recolección de información, ii) tamaño muestral insuficiente, iii) omisión de variables relevantes en el modelo (Lehrer et al. 2007), iv) exclusión de información importante, y v) mala praxis metodológica.

Sin embargo, cuando los hallazgos negativos provienen de diseños de investigación adecuados y consistentes, estos pueden informar debates sustantivamente importantes. Recientemente fueron creadas algunas publicaciones especializadas para la divulgación de hallazgos negativos. Aunque este fenómeno es más frecuente en las ciencias exactas y naturales -Journal of Negative Results, en biomedicina; Journal of Interesting Results, en procesamiento del lenguaje y 'machine learning'; y The Ail Results Journal, en química- también se desarrolla en las ciencias sociales, por ejemplo The Journal ofSpurious Correiations.

Estas iniciativas tienen como objetivo comunicar hallazgos negativos para evitar que nuevas investigaciones incurran en los costos -de tiempo y recursos- de testear hipótesis que fueron anteriormente rechazadas. Por lo tanto, lo que resaltan es el valor práctico de los hallazgos negativos, pero omiten la reflexión sobre su valor sustantivo. Este artículo intenta comenzar a llenar este vacío y se divide en tres partes. La primera diferencia el valor sustantivo del valor práctico de los hallazgos negativos. La segunda presenta una serie de criterios para determinar el valor sustantivo de un resultado negativo. La última concluye e invita a una mayor reflexión.

I. Hallazgos negativos con valor práctico y sustantivo

Los hallazgos negativos tienen dos tipos de valor: sustantivo y práctico. Cuando un resultado negativo tiene valor práctico, su publicación ayuda a ahorrar recursos y trabajo a investigadores que desean poner empíricamente a prueba esa misma hipótesis. Sin embargo, no aporta conocimiento sustantivo para informar debates relevantes. Los hallazgos negativos con valor sustantivo pueden forzar una sofisticación de las hipótesis o generar debate en torno a explicaciones alternativas.

Como muestra la Figura 1, el tipo de valor de un hallazgo negativo determinado -sustantivo o práctico- depende del estado de la agenda de investigación que informa. Cuando el hallazgo desfavorable informa una discusión altamente desarrollada, entonces el conocimiento que genera puede fomentar el debate para avanzar en el entendimiento de lo real. En estas ocasiones podemos afirmar que se trata de un aporte sustantivo al conocimiento científico. Cuando el hallazgo negativo, por el contrario, muestra la inaplicabilidad de teorías nuevas o con poco apoyo anterior, entonces su aporte es práctico, ya que permite abandonar esa línea de investigación para concentrarse en otra, ahorrando tiempo y recursos.

Mostrar que una hipótesis nueva (es decir, no sometida a contrastación anteriormente) no puede validarse con evidencia no aporta conocimiento sustantivo, ya que no informa debates existentes, y su aporte práctico tampoco es grande, ya que raras veces se planea la inversión de una cantidad considerable de tiempo y recursos para contrastar hipótesis osadas. Cuando un hallazgo negativo muestra que una hipótesis con apoyo empírico laxo no resiste un análisis más riguroso, su publicación puede llevar a que otros investigadores dispuestos a contrastar empíricamente la misma teoría desistan de hacerlo. Por lo tanto, su valor práctico es alto: permite ahorrar tiempo y recursos. Rahman (2013), por ejemplo, muestra -utilizando el método estadístico con información de todos los países musulmanes entre 1990 y 2002- que en contra de lo sostenido por estudios anteriores, la institucionalización del Islam no es el atributo que hace que los países de mayoría musulmana sean menos democráticos que el resto. Su resultado puede evitar que nuevas investigaciones intenten contrastar la misma hipótesis, pero no fomenta el debate acerca del impacto de la religión musulmana sobre los niveles de democracia de manera directa.

Los hallazgos negativos con valor sustantivo son aquellos que informan debates institucionalizados. Estos hallazgos presentan evidencia desfavorable a hipótesis anteriormente apoyadas de manera sólida por evidencia. Cuando el hallazgo negativo muestra que la evidencia no logra apoyar la explicación comúnmente aceptada para un fenómeno, entonces puede fomentar mayor debate. Acemoglu et al. (2009) muestran que una vez que se incorporan efectos fijos a las regresiones que testean la ampliamente aceptada teoría de la modernización enunciada en un primer momento por Lipset (1960), entonces la relación entre desarrollo económico y democracia se desvanece. Este hallazgo fomentó nuevas investigaciones para sofisticar la teoría y superar la crítica. Como resultado de la sofisticación, se incorporaron consideraciones sobre el contexto internacional (Boix 2011), o se resaltó el carácter de largo plazo del proceso causal (Treisman 2011).

En otras ocasiones, un hallazgo negativo en una cuestión motivo de disputa en la disciplina puede inclinar la balanza en favor de una de la explicaciones. La discusión sobre los determinantes de la democratización es motivo de disputa teórica. Existen partidarios de explicaciones basadas en factores de producción (Rogowski 1998, Boix 2003, Ziblatt 2008), y también partidarios de explicaciones basadas en la competencia política (Llavador y Oxoby 2005, Ziblatt 2008). Ahlquist y Wibbels (2012) muestran mediante una estrategia analítica la falla de las explicaciones basadas en factores para explicar los procesos de democratización. Afirma que si el factor decisivo para explicar la democracia es la dotación de factores, entonces deberíamos esperar que la apertura del comercio internacional favorezca las perspectivas de democratización de los países con trabajo abundante. Esto es así porque, según el Teorema de Stolper-Samuelson, el factor abundante se beneficia de la apertura comercial. La apertura del comercio exterior en países abundantes en fuerza laboral, entonces, debería aumentar el poder de negociación de la clase obrera, y consiguientemente aumentar la probabilidad de que ocurra una reforma democrática. Su estrategia analítica tiene la ventaja adicional de superar problemas de baja calidad de información sobre desigualdad. La contrastación empírica no logró rechazar la hipótesis nula, restando apoyo a las explicaciones a la democracia basadas en factores. Posteriormente, fueron publicadas nuevas investigaciones que resaltan la importancia de las dinámicas de competencia política (Mares y Ardanaz 2013, Aidt y Franck 2013) en contra de la dotación y distribución de factores.

Como puede verse, y como ilustra la Figura 2, la consecuencia de la publicación de hallazgos negativos con valor práctico es que se evitan nuevas investigaciones en la misma línea teórica, mientras que la consecuencia de la publicación de hallazgos negativos con valor sustantivo es la reapertura del debate y una sofisticación iterativa de argumentos para explicar de manera más acabada la realidad social.

Los hallazgos negativos con valor práctico detienen agendas de investigación y permiten el ahorro de recursos para que se inviertan en la contrastación de nuevas hipótesis más prometedoras. Los hallazgos negativos con valor sustantivo, por el contrario, dinamizan el debate y la producción teórica dentro de una determinada agenda de investigación, vigorizando el conocimiento científico y permitiendo la sofisticación de hipótesis, como pudo verse en los ejemplos de Acemoglu et al. (2009) o Ahlquist y Wibbels (2012).

A modo de resumen, entonces, un hallazgo negativo tiene valor sustantivo cuando informa debates institucionalizados y cuestiona percepciones ampliamente aceptadas. Estos hallazgos dinamizan la producción teórica y permiten sofisticar argumentos para explicar de manera más acabada la realidad. Aquellos hallazgos negativos con valor práctico, por el contrario, son aquellos que contrastan teorías nuevas o con poco apoyo empírico anterior. Como resultado, entonces, no contribuyen al conocimiento sustantivo ni permiten la sofisticación de hipótesis sino que permiten el ahorro de recursos escasos de investigación, desincentivando el avance en una línea de estudio determinada.

II. Criterios para la evaluación de hallazgos negativos sustantivos

Una vez determinada la diferencia del valor sustantivo del valor práctico de los hallazgos negativos, hace falta establecer criterios para juzgar el aporte sustantivo de un hallazgo desfavorable. ¿Qué atributos debe tener un hallazgo negativo para determinar que se trata de un aporte sustantivo? Siguiendo la definición mencionada anteriormente, esto es, que un hallazgo negativo sustantivo es aquél que informa debates establecidos y fomenta la sofisticación teórica y una mayor discusión, entonces estos hallazgos deben compartir características que los hagan conducentes a este objetivo. Por esta razón, determiné cuatro condiciones¹ mutuamente complementarias que un hallazgo negativo debe cumplir para poder considerarse un hallazgo negativo sustantivo: i) contrastar hipótesis prudentes, ii) informar debates institucionalizados, iii) presumir la validez de las hipótesis contrincantes, y iv) utilizar técnicas de análisis más sofisticadas o información de mayor calidad que las utilizadas en estudios anteriores.

En primer lugar, para ser considerado un hallazgo con valor sustantivo, los hallazgos negativos tienen que contrastar hipótesis prudentes, es decir, aquellas que pueden ser válidas². Poco aporta una contrastación desfavorable de una hipótesis osada.

En segundo lugar, debe informar debates institucionalizados. Este requisito es la contracara de la condición anterior. Para ser sustantivamente valioso, un hallazgo negativo debe mostrar evidencia en contra de una hipótesis ampliamente aceptada, o que es motivo de disputa. Esto garantiza que los hallazgos negativos que pueden obtenerse sirvan para informar debates importantes y reconocidos como relevantes por la comunidad científica.

En tercer lugar, deben presumir la validez de las hipótesis que contrastan. Así como en los juicios existen principios jurídicos que presuponen la inocencia del acusado, los investigadores que buscan contrastar hipótesis ampliamente aceptadas deben presumir la validez de estas hipótesis. Por lo tanto, así como se presupone la validez de la hipótesis nula al intentar rechazarla, debe presuponerse la validez de la hipótesis ampliamente aceptada cuando se intenta comunicar un hallazgo negativo. Este presupuesto es razonable teniendo en cuenta que estos hallazgos deben informar debates sobre hipótesis reconocidas y con amplio reconocimiento.

Por último, para ser una contribución sustantiva al conocimiento, un hallazgo negativo debe utilizar información de mejor calidad o técnicas de análisis iguales o más sofisticadas que los estudios que intenta refutar. Teniendo en cuenta el consenso acerca de las hipótesis a ser refutadas por hallazgos negativos sustantivos, estas investigaciones probablemente sean de gran calidad. Por lo tanto, la investigación que arroje el hallazgo desfavorable debe ser tan robusta o más que las contrastaciones empíricas anteriores que rechaza.

Puede parecer que los últimos dos requisitos son aún más exigentes que los que se esperan de los trabajos que presentan resultados positivos, pero esta mayor exigencia es aceptable en tanto es más sencillo obtener resultados negativos que positivos.

Si se cumplen estos cuatro requisitos, un hallazgo negativo puede contribuir a la reflexión teórica y llevar a una mayor sofisticación de los estudios en una agenda de investigación determinada. Estas condiciones se refuerzan las unas a las otras ya que una hipótesis prudente usualmente es apoyada por amplios grupos en la comunidad científica, suelen estar contrastadas con evidencia de buena calidad y mediante técnicas de análisis sofisticadas, y exactamente por esa razón debería presuponerse su validez.

III. Conclusión

El avance en la publicación de hallazgos que no logran rechazar la hipótesis nula no vino acompañado por reflexión acerca de cómo evaluar el valor sustantivo de este tipo de hallazgos.

Los hallazgos desfavorables pueden tener valor sustantivo o práctico. Tienen el primero cuando informan debates institucionalizados y dinamizan el proceso de investigación, impulsando la sofisticación de hipótesis existentes o la generación de hipótesis alternativas. Tienen valor práctico cuando logran desincentivar el avance en áreas de investigación infértiles, favoreciendo la utilización eficiente de tiempo y recursos.

Cuatro criterios determinan la calidad de un hallazgo negativo. Estos son: la prudencia, la pertinencia, la presunción de verdad de las hipótesis contrincantes, y la igualdad o superioridad metodológica respecto a estudios anteriores.

Estos criterios representan una primera aproximación a la forma de juzgar la calidad de este tipo de estudios y determinar su valor sustantivo. Estas notas constituyen una primera aproximación al tratamiento de este fenómeno de creciente frecuencia, y deseablemente contribuyan a despertar mayor interés y reflexión sobre este tema inatendido.

 

FIGURA I
El valor de los hallazgos negativos

AVS: Alto valor sustantivo I - Fomenta mayor discusión. 2- Inclina la balanza VS: Valor sustantivo VP: Valor práctico BVP: Bajo valor práctico
Nota: elaboración propia.

 

FIGURA 2
Dinámicas de investigación generadas por cada tipo de hallazgo negativo

Nota: elaboración propia. Las flechas indican el tránsito hacia un paso posterior.

 

¹ Lehrer et al. (2007) presentan tres: el contenido (deben ser sustantivamente interesantes), la consistencia (deben derivar de un proceso de investigación riguroso, transparente y apropiado) y la conectividad (debe informar debates reconocidos). Sin embargo, estos tres criterios aplican a todos los hallazgos por igual, no sólo a los negativos.

² Este requisito se asemeja al "Principio de posibilidad" sugerido por Mahoney y Goertz (2004) para seleccionar "no-casos" en método comparado.

Bibliografía

1. Acemoglu, Daron, Simon Johnson, James Robinson y Peter Yared (2009) 'Reevaluating the Modernization Hypotheses", en Journal of Monetary Economics, Vol. 56, N° 8.         [ Links ]
2. Ahlquist, John y Erik Wibbels (2012) "Riding the Wave: World-Trade and Factor Based Models ofDemocracy", en American Journal of Political Science, Vol. 56, N° 2.         [ Links ]
3. Aidt, Toke y Raphael Franck (2013) "How to Get the Snowball Rolling and Extend the Franchise: Voting on the Great Reform Act of1832", en Public Choice, N° 115.         [ Links ]
4. Boix, Carles (2003) Democracy and Redistribution, Cambridge, Cambridge University Press.         [ Links ]
5. Boix, Carles (2011) "Democracy, Development, and the International System", en American Political Science Review, Vol. 105, N° 4.         [ Links ]
6. Haggard, Stephan, y Robert Kaufman (2012) "Inequality and Regime Change: DemocraticTransitions and the Stability ofDemocratic Rule", en American Political Science Review, Vol. 106, N° 3.         [ Links ]
7. Lehrer, David, Janine Leschke, Stefan Ihachimi, Ana Vasiliu y Brigitte Weiffen (2007) "Negative Results in Social Science", en European Political Science, Vol 6.         [ Links ]
8. Lipset, Seymour (1960) Political Man: the Social Bases of Politics, Nueva York, Doubleday.         [ Links ]
9. Llavador, Humberto y Robert Oxoby (2005) "Partisan Competition, Growth and the Franchise", en Quarterly Journal of Economics, Vol. 119.         [ Links ]
10. Mahoney, James y Gary Goertz (2004) "The Possibility Principle: Choosing Negative Cases in Comparative Research", en American Political Science Review, Vol. 98, N° 4.         [ Links ]
11. Mares, Isabela y Martín Ardanaz (2013) "Labor Shortages, Rural Inequality, and Democratization", en Comparative Political Studies, Vol. 20, N° 10.         [ Links ]
12. Rahman, Fatima (2013) "Determinants ofDemocracy in the Muslim World", en Polity, Vol. 45, N° 4.         [ Links ]
13. Rogowski, Ronald (1998) "Democracy, Capital, Skill, and Country Size: Effects ofAsset Mobility and Regime Monopoly on the Odds of Democratic Rule" en Drake, Peter y Michael McCubbins (eds.). The Origins ofLiberty: Political and Economic Liberalization in the Modern World, Princeton, Princeton University Press.         [ Links ]
14. Treisman, Daniel (2011) "Income, Democracy, and the Cunning ofReason", Working Paper, National Bureau of Economic Research.         [ Links ]
15. Ziblatt, Daniel (2008) "Does Landholding Inequality Block Democratization?", en World Politics, Vol. 60, N° 4.         [ Links ]