¿QUÉ SIGNIFICA P?

Cualquier resultado de cualquier variable forma parte de una distribución de probabilidades. Es más probable que algunos resultados ocurran con más frecuencia que otros. El ejemplo clásico de distribución de probabilidades es la curva de Gauss, donde los valores más cercanos a la media son los que tienen mayor probabilidad de ocurrir, mientras que los más alejados ocurren con mucha menor frecuencia.

Frente a cualquier comparación entre un valor obtenido y uno de referencia, o entre un valor en un grupo y otro grupo con el que se compara, es posible que en cada situación ambos formen parte de la misma distribución de probabilidades y, por lo tanto, que sea el azar el responsable de que hayamos encontrado valores diferentes.

No es lo mismo el significado de p en una prueba de significación que en una de hipótesis. ⁴

En una prueba de significación importa el valor que asume p: representa la probabilidad de encontrar valores (o diferencias entre valores) como los hallados o más extremos si la hipótesis nula es cierta. En este tipo de prueba (denominada fisheriana en honor a Fisher, difusor del concepto en un texto clásico de 1925) el valor de p es un continuo y, cuanto más bajo, es menor la probabilidad de encontrar los valores explorados bajo la hipótesis nula. Entonces, por ejemplo, al explorar una diferencia de medias entre dos grupos, si el valor de p hallado es 0,10 diremos que si la hipótesis nula es cierta (si no existe verdaderamente diferencia entre los dos grupos) la probabilidad de encontrar la diferencia hallada es de 10%.

En una prueba de hipótesis, que es en general la que domina las reglas aceptadas de la investigación, la valoración de p es binaria: importa, en general, si el valor de p es <0,05 o no lo es. Esta forma de valorar p fue difundida por Neyman y Pearson en 1933. Se reúnen datos y se plantea una prueba de hipótesis que considera una hipótesis nula y una alternativa.

Si el azar llevó al hallazgo de valores diferentes dentro de la misma distribución, no hay diferencia significativa entre sí. Esto es lo que formula la hipótesis nula. Frente a la misma se alza la hipótesis alternativa, que afirma que sí hay diferencia entre el valor hallado y el de referencia, o entre el de uno y otro grupo. Para esta hipótesis, entonces, los valores hallados no forman parte de la misma distribución, sino que corresponden a poblaciones diferentes.

¿Cómo decidir cuál de las dos hipótesis es la correcta? Todo gira en relación con la hipótesis nula, y de rechazarla, o no. Una prueba estadística especial para cada caso permite establecer, en la distribución de probabilidades correspondiente a la variable que estamos estudiando, dónde se encuentra la determinación que nos importa respecto de aquella con la que la estamos comparando; y aclara, si existe, o no, una diferencia estadísticamente significativa entre ambas.

Esa prueba nos informa si en la distribución de probabilidades, respecto del valor del comparador el que nos interesa está en el área de no rechazo o de rechazo de la hipótesis nula. Por un criterio convencional se entiende que la hipótesis nula no se puede rechazar si el valor hallado se encuentra dentro del 95% central de la distribución de probabilidades que tiene como referencia al poblacional, o al del grupo comparador. Entendemos en este caso que la diferencia se debe al azar. Si en cambio, el valor obtenido se encuentra por fuera de ese 95%, si forma parte del 5% de valores extremos, la hipótesis nula es rechazada.

Cuando en una comparación entre dos valores la prueba informa que la probabilidad de que pertenezcan a la misma distribución es menor que 5%, decimos sí, que la diferencia es estadísticamente significativa. Este valor de corte para rechazar la hipótesis nula (5%, 1 en 20, p = 0,05) es expresión de una convención.

Por otra parte, más allá de la prueba, en el plano real se plantea que la hipótesis nula puede ser verdadera o falsa. Y la prueba estadística puede acertar o no, al describir esa realidad. Se plantean entonces cuatro situaciones. ⁵

Si hay una diferencia real y el test la detecta al rechazar la hipótesis nula, el resultado del test es un verdadero positivo.

Si la diferencia no es real, y ambos valores corresponden a la misma distribución de probabilidades, pero la prueba estadística rechaza la hipótesis nula planteando que el valor de p es <0,05 estamos en presencia de un resultado falso positivo. A este resultado erróneo lo denominamos error alfa o tipo I. Si la tasa de resultados falsos positivos del test es de 5%, su especificidad, o tasa de verdaderos positivos es del 95%: 1-error alfa. Cuanto menor sea el valor del error alfa, más específico será el test.

Si la diferencia no existe, ambos valores pertenecen a la misma distribución y el test no rechaza la hipótesis nula; en ese caso estamos en presencia de un verdadero negativo.

Si hay una diferencia real, pero el test no la detecta, no alcanza a rechazar la hipótesis nula; hablamos entonces de un resultado falso negativo, y entendemos que se ha producido un error beta o tipo II. Si consideramos 1- error beta obtenemos la potencia o poder del test, que representa su sensibilidad y su capacidad para encontrar una diferencia real. Así como habitualmente se admite un error alfa de 0,05 o 0,01, el error beta que se define a priori en una comparación puede ser de 0,10 (si se busca una sensibilidad de 90%) o 0,20 (si se admite una sensibilidad del 80%).

Para la misma cantidad de observaciones los errores alfa y beta se desempeñan en forma contrapuesta. Como con cualquier test diagnóstico, si aumenta la sensibilidad o poder, y por ende, cae el error beta, aumenta el error alfa, es decir, cae la especificidad. Si, por el contrario, cae el error alfa, y se busca ser más específico (eligiendo un valor de p <0,01 por ejemplo) cae el poder del estudio para detectar una diferencia. Seguramente en la fase exploratoria de un estudio se trabaja con mayor sensibilidad (se admite mayor poder y, por ende, más falsos positivos) mientras que a la hora de confirmar una hipótesis a priori se privilegia la especificidad.⁶

Como vemos, entonces, la concepción fisheriana entiende el valor de p como un continuo, y la concepción pearsoniana, en forma dicotómica. Si bien existe un consenso cada vez mayor en que esta concepción dicotómica puede llevar a errores graves y le falta flexibilidad para poder sacar conclusiones adecuadas sobre los fenómenos sometidos a estudio (si p = 0,049, aceptamos la diferencia; si p = 0,051, decimos que no podemos hacerlo), lo cierto es que en la valoración de la evidencia y de los escritos presentados para publicación, el valor de 0,05 sigue siendo el criterio universalmente aceptado para decidir si un resultado es positivo o no. Y aunque algunos han propuesto un valor de 0,005, es cierto que el mismo reduce la tasa de falsos positivos, pero no resuelve definitivamente el problema. ⁷ El empleo de un punto de corte fijo reduce seriamente la posibilidad de reexplorar un resultado: si ya se obtuvo en un estudio un valor de p = 0,04, ¿quién repetirá el experimento para ver si se trata de un falso positivo? Si el valor de p fue 0,08, ¿cuántos iniciarán un nuevo estudio con la idea de que pudo tratarse de un falso negativo?

En los últimos años se han difundido una serie de advertencias sobre conceptos erróneos respecto del significado de p y del error de confiar en un test de hipótesis, ^8,9, así como defensas encendidas de su uso ¹⁰, que serán la base de una próxima Página del Editor. De cualquier manera, repetimos, el concepto de p <0,05 sigue siendo la piedra angular sobre la que reposa el concepto de estudio con resultado positivo o no, y en la búsqueda de alcanzar el valor deseado de p pueden darse una serie de situaciones que conspiran contra la credibilidad de los hallazgos.

Veamos primero una aseveración que puede ser disruptiva. Hace 15 años Ioannidis afirmó -en un artículo que generó escozor- que la mayoría de los hallazgos de investigación publicados son falsos¹¹. ¿Una boutade o una verdad irrebatible? ¿Cómo justificarla? Supongamos que de 1 000 hipótesis científicas que se plantean el 10% son certeras y el 90% restante, no. Si trabajamos con un valor alfa de 5% (esto es, que se acepta una tasa de falsos positivos cuando la hipótesis del 5% nula es cierta) sobre las 900 hipótesis erróneas se obtendrá un valor de p <0,05, y por ende, se rechazará la hipótesis nula en 45. ¡Cuarenta y cinco veces aceptaremos una hipótesis que no es correcta sobre 900 exploradas! Y si trabajamos con un poder de 80% para detectar verdaderos positivos, de las 100 hipótesis correctas solo 80 serán detectadas. Por ende, de 45 + 80 = 125 hipótesis aceptadas, 45 (el 36%) serán falsas.

Si el poder fuera de solo un 20%, los hallazgos falsamente positivos subirían al 53%; pero si la proporción de hipótesis correctas no fuera del 10% sino del 50%, con un error alfa de 5% y un error beta de 20%, la proporción de hallazgos falsamente positivos sería del 11%. Significa que la proporción de hallazgos verdadera y falsamente positivos sobre el total de hipótesis planteadas depende de los errores alfa y beta que aceptemos, y de la proporción de hipótesis verdaderamente correctas; es decir, de la proporción de veces en que la hipótesis nula es falsa. Saber que la cantidad de veces que podemos estar enfrentando un falso positivo supera largamente el 5%, a pesar de haber empleado un valor de p <0,05, sin duda obliga a extremar los cuidados para mantener la validez de lo publicado.

MECANISMOS QUE PERMITEN ALCANZAR UN VALOR DE P SIGNIFICATIVO

EL PIRATEO DE LA p (p HACKING)

Bajo esta denominación se engloban una serie de procedimientos dirigidos a obtener un valor de p significativo, cuando, llevado a cabo el análisis inicial, el mismo no se logró. ¹³ Se entiende que el valor de p debe estar cercano a 0,05. No se llevarían a cabo estas acciones si el valor obtenido inicialmente fuera por ejemplo, 0,45. Entendemos como un valor inicial que motiva esta conducta uno que oscila entre 0,05 y 0,10, o tal vez, hasta 0,20.

Entre estas acciones podemos distinguir: ^4,14

Se puede calcular entonces cuál es la cantidad de observaciones que deben agregarse para alcanzar un valor de p <0,05 con el efecto o la diferencia encontrados, y su variabilidad. Si bien puede postularse que el procedimiento es correcto, no es menos cierto que no sabemos si el efecto encontrado y su variabilidad son verdaderos estimadores de los efectos en la población y que, por lo tanto, podemos estar haciendo un esfuerzo grande para demostrar algo que no es real; por otra parte, que al volver a buscar significación con mayor número de datos estamos aumentando la tasa de falsos positivos, porque damos a muchas observaciones la posibilidad de ser testeadas en más de una oportunidad.

Entonces, este aumento de la tasa de falsos positivos se da bajo el supuesto de que la hipótesis nula es verdadera. Si la hipótesis nula es falsa, esto es, si verdaderamente existe la diferencia, lo que se ha hecho al aumentar el poder es disminuir la tasa de falsos negativos. ¿Es la hipótesis nula verdadera o falsa? Ese es el problema. ¡No lo sabemos! De allí que, entre los mecanismos puestos en juego para alcanzar el valor de p buscado, este sea probablemente el menos criticado. Sí se sugiere que sería adecuado mencionar el tema en la sección Discusión, informando a los lectores de las dificultades halladas.

La práctica de p hacking surge de un análisis flexible, en que los grados de libertad de que dispone el autor para lograr su propósito son muchos. ¹⁵ El autor puede, tras el análisis inicial, recurrir a uno o más de uno de los procedimientos previamente descriptos, y resulta muy difícil poder detectar su práctica una vez publicado el trabajo.¹⁶

HIPOTETIZAR DESPUÉS DE CONOCER LOS RESULTADOS (HARKING)

En los últimos 30 años una nueva forma de aproximarse a la investigación ha crecido progresivamente. Es lo que Kerr en su escrito liminal ¹⁷ denominó HARKing (Hypothesizing After the Results are Known, Hipotetizar Después que los Resultados son Conocidos). HARKing consiste en presentar en la introducción de un trabajo de investigación, una hipótesis generada post hoc, una vez que se analizaron los datos, como si la misma hubiera sido formulada a priori, antes de recabarlos. Una tabla de contingencia de 3 filas y dos columnas presenta las 6 situaciones que pueden darse al contrastar la hipótesis antes y después de conocer los datos

La idea subyacente al HARKing es que no importa si la hipótesis sustentable tras el análisis ha sido previamente formulada. Lo que importa es que sea plausible. Bajo este supuesto, entre las hipótesis a, c y e puede ser elegida y planteada en la introducción, como si lo hubiera sido a priori, la más plausible. De la combinación de las condiciones pre y post estudio, surgen para Kerr una serie de variantes, de las cuales entendemos como las más factibles: suprimir las hipótesis plausibles que no se han podido demostrar (si se habían planteado a priori a y b, mencionar en la introducción solo la a, generando la ilusión de que solo se pensó lo que efectivamente se comprobó) o extender esa condición a las no plausibles (presentar en la introducción las hipótesis a y c) e incluso, a las que ni siquiera se anticiparon. La condición común a todas estas variantes es que son los resultados los que definen qué hipótesis se presentan en la introducción, y aparecen sostenidas por la evidencia.

¿Cuándo podemos sospechar HARKing? Un criterio es que la hipótesis presentada como formulada a priori no surge claramente de la teoría o paradigma en el que se inscribe el estudio. Esto podría suceder porque faltan variables esenciales que hubieran sido consideradas para demostrar la hipótesis, de ser cierta su condición a priori; o porque surge la sospecha de que los métodos empleados no son los que se hubieran pensado en esa circunstancia. Lo cierto es que algunas formas de HARKing que mencionamos son tan empleadas como la aproximación hipotético-deductiva. De hecho, dejar de lado -si los datos así lo sugieren- una hipótesis, aunque haya sido considerada plausible a priori, y centrarse en hipótesis que no fueron consideradas, pero aparecen plausibles, es una conducta que muchos textos recomiendan.

¿Por qué se recurre al HARKing? Se pueden mencionar muchas razones. En principio, se entiende que siempre debe haber una teoría y una hipótesis que hayan precedido al estudio. Y aun cuando Popper haya señalado que lo ideal era que una teoría fuera rebatida, lo cierto es que el ideal es que se formule una teoría que el estudio confirma; es lo que los lectores esperan. Y lo que los investigadores creen: en una encuesta el 89% entendió que una prueba que confirma da información, pero solo el 39% pensó lo mismo de una prueba que no confirma. La comunicación de resultados confirmatorios satisface la necesidad de los investigadores, de los lectores y de las autoridades de las revistas de conformar un relato que tranquiliza y da una falsa ilusión de progreso científico. Si el resultado es positivo, es más factible que se lo publique; mayor número de publicaciones asegura más acceso a subsidios y a éxito en el mundo académico. La publicación premia la novedad y la idea de la hipótesis original convalidada por un estudio con “final feliz”. En virtud de este sesgo de confirmación retrospectiva se llega a creer que el hallazgo inesperado era algo que en realidad se sabía desde siempre. Que la hipótesis que se presenta no haya sido formulada a priori se transforma muchas veces en un tema menor para la mayor parte de los interesados. Y hasta hay editores, generalmente de las revistas que cobran a los autores por cada publicación, que sugieren llevar a cabo este procedimiento como forma de facilitarla.

Esta preferencia por hipótesis novedosas confirmadas por los hechos se enraíza con el hecho de que la hipótesis nula tiene mala prensa. Los estudios que señalen que no hay diferencia, que es lo mismo lo nuevo que lo ya sabido, que una intervención no modifica la evolución conocida, que un método diagnóstico recientemente desarrollado no agrega a los recursos tradicionales, no son estudios que entusiasmen al lector, imbuido por la creencia en el perpetuo progreso.

La hipótesis nula “debe” ser rebatida a cualquier precio. No está de más señalar que, cuando se realizan simultáneamente varias pruebas de significación, todas con un valor de p <0,05, la tasa de falsos positivos, de error tipo I, crece notablemente. En ese sentido la práctica de HARKing es una causa muy frecuente de ese error. Por ende, y desconociendo que hay alta chance de falso positivo, el mismo se convierte en evidencia aceptada.

Frente a la hipótesis generada prospectivamente (a la que se llama “predicción”) se alza la generada post hoc (a la que Horwich denominó “acomodación”). Podría argumentarse que, si ambas fueran examinadas de igual forma, y contra el mismo cuerpo de evidencia, no habría diferencias de credibilidad entre sí. Pero lo más frecuente es que cuando se genera una hipótesis post hoc, la interpretación de la evidencia esté sesgada a favor de los hallazgos más recientes. Se genera una narrativa que convalida hallazgos que no fueron sospechados al inicio del estudio. Una diferencia básica entre el HARKing y la práctica de p hacking es que en el primer caso la hipótesis inicial no es la que finalmente se presenta; en el caso de p hacking la hipótesis se conserva, pero varía el análisis previsto inicialmente. ¹⁸

La práctica de HARKing es claramente no tan grave como la falsificación de datos o el plagio. De hecho, no hay códigos de ética en investigación que la condenen explícitamente. Sin embargo, es claro que sus consecuencias pueden ser gravosas: hay información que se pierde, se es más laxo en la aplicación de métodos estadísticos, no se es honesto en la comunicación de los resultados. El hallazgo sustentado en un valor de p < 0,05 puede llevar a defender una línea de investigación que deja información relevante en la periferia.

Como se ha logrado el objetivo de demostrar significación estadística, deja de importar si se cree realmente en lo que se presenta, fomentando una actitud centrada en el resultado que deja fuera del campo la búsqueda de la verdad. Al pretender que “se encontró lo que se buscaba” se deja de lado la posibilidad de reconocer hallazgos por serendipia, ¹⁹ se cae en la adopción de teorías muy estrechas que justifican exactamente los hallazgos o, por el contrario, ante la incapacidad de poder explicarlos certeramente se edifican teorías difusas que pueden explicar casi todo en general y nada en particular; y se abandona la posibilidad de generar hipótesis alternativas. A diferencia de la falsificación o el plagio, no es sencillo detectar o demostrar la práctica de HARKing, y la respuesta no puede ser la creencia de que todo lo que leemos proviene de ella.

CONSIDERACIONES FINALES

Hemos presentado solo algunas de las situaciones que pueden llevar a aumentar la publicación de resultados falsamente positivos. Dejamos exprofeso de lado las situaciones claramente desdorosas, como la falsificación y el plagio. Elegimos centrarnos en aquellas en las que, en forma inadvertida, o por entenderse que se está haciendo buena ciencia, y porque se interpreta que las acciones llevadas a cabo no conspiran contra la credibilidad de lo que se presenta, se toman decisiones que liman los supuestos del método científico.

La proporción de investigadores que las practican es alta. Por ejemplo, en una encuesta llevada a cabo con 494 investigadores en ecología y 313 en biología evolutiva, no reportar variables que fueron analizadas y que no lograron significación estadística fue reconocido por más del 60%; el agregado de nuevas observaciones para aumentar el poder, por más del 40%; y haber practicado HARKing, por un 50%. ¹⁴

¿Por qué son prácticas difundidas? Hay sin duda un componente individual: no todos los autores las practican. Hay, por otra parte, investigadores muy honestos que no ven en su ejercicio una actitud realmente criticable. Y hay quienes entienden que forma parte normal de la práctica de la investigación. Numerosos sesgos cognitivos (de observación, de confirmación, de comprensión retrospectiva, de creencia) ²⁰ pueden explicar una tendencia inconsciente a privilegiar en el análisis estadístico o en la redacción de un escrito, la información que confirma las propias creencias dejando de lado lo que las pone en entredicho, y también a hilar el discurso que lleva implícitamente a la publicación.

Pero, más allá de lo personal, podemos detenernos -y esto parece incluso más decisivo- en el sistema de ideas imperante. Si solo se premia el hallazgo de resultados positivos, si priva la religión de la p <0,05, si los que más frecuentemente llegan a ese resultado son los que acceden más llanamente a la publicación, y si los estudios dedicados a replicar hallazgos ya publicados son desalentados; si “publicar o perecer” es el primer mandamiento, pero la publicación solo premia a la p significativa, las prácticas que describimos seguramente no desaparecerán.

Se trata de una actitud diferente de los editores, capaces de aceptar comunicaciones iniciales de investigación que reconozca ser exploratoria; la capacidad de detectar HARKing y reclamar entonces de los autores que lo reconozcan; la aceptación de estudios que repliquen hallazgos ya publicados, son todas acciones que pueden llevar a hacer más creíble la literatura médica. Más allá de este punto, y en forma general, si se aceptara que el hallazgo puede haber surgido de la exploración, y se explicaran adecuadamente los supuestos bajo los cuales se llevó a cabo, y las líneas de investigación que se abren, habría suficiente espacio académico para publicar y contribuir al progreso del conocimiento, aunque la p fuera ≥0,05. (Aunque, y desde ya, de cualquier manera, no podemos dejar de preguntarnos entonces hasta qué valor de p admitiríamos para publicar un hallazgo. Tal vez ello debiera depender de la pertinencia de la hipótesis, la importancia clínica del hallazgo, la seguridad de que se trata de una línea de investigación que continúa).

Entonces: por un lado, una actitud más favorable a la investigación de calidad, aunque no alcance a p < 0,05. ¿Y por el otro? Una actitud firme para que cuando se explicita p < 0,05, se pueda estar seguro de que el hallazgo es cierto, y no un falso positivo. En este sentido, entre las soluciones disponibles se cuenta fomentar la publicación en revistas que aseguren la revisión por pares. El juicio de revisores reconocidos como expertos en su campo de conocimiento y ciegos al nombre de los autores, puede contribuir a detectar anomalías en la presentación de los datos y asegurar la transparencia de lo publicado.

Promover por parte de los autores el reconocer cuándo han recurrido a agregar observaciones, eliminar variables, o cuándo han cambiado su hipótesis guiados por hallazgos inesperados hará más creíble lo publicado. Poder comunicar lo que sucede habitualmente en la investigación, que está lejos de ser un sendero sin obstáculos, puede iluminar la propia trayectoria.

Incluso hay firmes propuestas de poner a disposición el material que sirvió de base a la publicación para que pueda ser revisado aun a posteriori de la misma. ²¹ Pre registrar el protocolo de investigación, señalar claramente los criterios de inclusión y exclusión, los puntos finales y cómo se trabajará con las diferentes variables es, sin duda, una restricción muy fuerte a la tentación también inconsciente de manipular los datos a posteriori, de cambiar la hipótesis inicial o los puntos finales. ²²

En la misma línea se inscribe una propuesta más radical aún, que pocas revistas han puesto en práctica, y que consiste en entregar la base de datos sobre la que se hizo el análisis, si se pretende la publicación. ²³

En resumen, la capacidad de Congresos y Publicaciones de dar lugar a ideas originales, aunque estén en proceso de gestación, y al mismo tiempo elevar la vara para que cuando se afirma un hallazgo se pueda sostener lo dicho con hechos, son caminos que deberán transitarse. En la Revista Argentina de Cardiología hacemos todo lo posible para conseguirlo.