13 Prerregistro y Transparencia
Durante el tiempo que se han utilizado los datos para respaldar afirmaciones científicas, la gente ha intentado presentar datos de manera selectiva en línea con lo que desean que sea cierto. Un ejemplo de un científico que hizo esto es Daryl Bem, un parapsicólogo que estudia si las personas tienen percepción extrasensorial que les permite predecir el futuro. Al utilizar informes selectivos y publicar 9 estudios en una revista de primer nivel afirmando que la gente podía predecir el futuro, Bem desencadenó la crisis de replicación en psicología en 2011.
En un estudio que realizó (Bem, 2011), los participantes presionaron un botón izquierdo o derecho para predecir si una imagen estaba oculta detrás de una cortina izquierda o derecha. Hay 5 pruebas contra el promedio de adivinación (para imágenes eróticas, neutrales, negativas, positivas y ‘románticas pero no eróticas’). Una corrección de Bonferroni requeriría usar un nivel alfa de 0.01 (un alfa de 0.05 / 5 pruebas). El resultado principal, que los participantes adivinaron la posición futura de las imágenes eróticas por encima del promedio de adivinación, con un p-valor de 0.013, no le habría permitido a Bem rechazar la hipótesis nula, dado un nivel alfa preespecificado y corregido.
¿Cree usted que Bem predijo un efecto solo para las imágenes eróticas antes de haber visto los datos? Podría desconfiar de que Bem predijo un efecto solo para este grupo específico de estímulos, y que estaba ‘cocinando’—haciendo multitud de observaciones y seleccionando el resultado significativo, solo para HARK (Hypothesizing After the Results are Known, o Formular Hipótesis Después de Conocer los Resultados) en la introducción del estudio. ¿Deberían otros investigadores dudar de que pueden tomar las afirmaciones en el artículo de Bem al pie de la letra?
13.1 Prerregistro del Plan de Análisis Estadístico
En el pasado, los investigadores propusieron soluciones para prevenir el sesgo en la literatura debido a las tasas de error Tipo I infladas como resultado de la presentación selectiva de informes.
- Bakan (1966) discutió lo problemático de elegir si realizar o no una prueba de hipótesis direccional después de mirar los datos. Si un investigador elige realizar una prueba de hipótesis direccional solo cuando la prueba de hipótesis bilateral produce un p-valor entre 0.05 y 0.10 (es decir, el investigador decide después de ver el resultado que una prueba unilateral también estaba justificada y reporta el p-valor como 0.04, unilateral), entonces, en la práctica, la tasa de error Tipo I se duplica (es decir, es 0.10 en lugar de 0.05). Bakan (p. 431) preguntó si debería haber un registro central para registrar la decisión de ejecutar una prueba de una o dos colas antes de la recolección de datos.
- De Groot (1969) ya señaló la importancia de “elaborar de antemano el procedimiento de investigación (o diseño experimental) en papel en la mayor medida posible”, lo que debe incluir “una declaración de los criterios de confirmación, incluyendo la formulación de hipótesis nulas, si las hay, la elección de la(s) prueba(s) estadística(s), el nivel de significancia y los intervalos de confirmación resultantes”.
El auge de internet ha hecho posible crear registros en línea que permiten a los investigadores especificar el diseño de su estudio, el plan de muestreo y el plan de análisis estadístico antes de la recolección de datos. Una marca de tiempo, y a veces incluso un Identificador de Objeto Digital (DOI) dedicado, comunica de manera transparente a los pares que la pregunta de investigación y el plan de análisis fueron especificados antes de mirar los datos. Esto es importante, porque no se puede probar una hipótesis con los datos que se utilizan para generarla.
En campos como la medicina, ahora se requiere el registro de ciertos estudios, como los ensayos clínicos. El requisito de registrar el resultado primario de interés en ClinicalTrials.gov se correlacionó con una caída sustancial en el número de estudios que observaron resultados estadísticamente significativos, lo que podría indicar que la eliminación de la flexibilidad en cómo se analizaron los datos evitó que se informaran resultados falsos positivos.
Un paso más allá del registro de estudios es el formato de publicación conocido como Informes Registrados (Registered Reports). Las revistas que los publican evalúan los estudios basándose en la introducción, el método y los análisis estadísticos, pero no en los resultados. Los Informes Registrados tienen una probabilidad sustancialmente mayor de informar hallazgos que no respaldan las hipótesis, en comparación con la literatura científica tradicional.
13.2 El valor del prerregistro
Los prerregistros son documentos con marca de tiempo que describen los análisis que los investigadores planean realizar, al tiempo que comunican de manera transparente que los análisis no han sido seleccionados basándose en información en los datos que determina el resultado.
El objetivo principal es permitir que otros evalúen de manera transparente la capacidad de una prueba para falsificar una predicción, o cuán severamente se ha probado una hipótesis. La severidad de una prueba está determinada por cuán probable es que una predicción sea probada errónea cuando es errónea, y probada correcta cuando es correcta.
El prerregistro tiene el objetivo de evitar que los investigadores reduzcan de manera no transparente la capacidad de la prueba para falsificar una predicción, al permitir a los lectores ver cómo planearon probar su predicción antes de tener acceso a los datos.
13.3 Cómo prerregistrar
(Ver sección 13.8 para plataformas y pasos prácticos)
13.4 Estándares de Reporte de Artículos de Revistas (Journal Article Reporting Standards, JARS)
13.5 Desviación de un Prerregistro
Se puede justificar desviarse de un prerregistro si esto aumenta la validez de la inferencia. Por ejemplo, si el prerregistro falló en considerar que algunos participantes estarían demasiado ebrios para responder o si se olvidó especificar qué hacer si los datos no se distribuían normalmente, cambiar el plan de análisis original sería visto como una prueba más severa.
Las desviaciones pueden incluir:
- Eventos imprevistos.
- Errores en el prerregistro.
- Información faltante.
- Violaciones de supuestos no probados.
- Falsificación de hipótesis auxiliares.
Para cada desviación, se debe especificar claramente cuándo, dónde y por qué ocurrió la desviación del prerregistro, seguido de una evaluación del impacto de la desviación en la severidad de la prueba (y, cuando sea relevante, la validez de la inferencia).
13.6 ¿Qué aspecto tiene una Estrategia Analítica Formalizada?
Una prueba de hipótesis evalúa una predicción que puede describirse en un:
- Nivel Conceptual: (p. ej., “Aprender a prerregistrar mejora tu investigación”).
- Nivel Operacionalizado: (p. ej., “Los investigadores que han leído este texto controlarán su nivel alfa más cuidadosamente”).
- Nivel Estadístico: (p. ej., “Una prueba t independiente mostrará un número estadísticamente menor de formas en que la hipótesis podría probarse”).
En un documento de prerregistro, el objetivo debe ser especificar la hipótesis en detalle en el nivel estadístico. Es importante reconocer que no todos los prerregistros tienen suficiente detalle para ser tratados como pruebas confirmatorias de predicciones.
13.7 ¿Estás listo para prerregistrar una prueba de hipótesis?
No es suficiente simplemente prerregistrar. El prerregistro debe tener suficiente detalle para tratarlo como una prueba confirmatoria de predicciones.
13.8 Evalúate y Aspectos Prácticos
13.8.1 Aspectos Prácticos de un Prerregistro en Línea
Solo se deben prerregistrar estudios reales.
13.8.2 Prerregistro en PsychArchives por ZPID
PsychArchives (https://pasa.psycharchives.org) recomienda enviar el prerregistro en un archivo PDF/A, que es un formato que no permite ciertas restricciones que obstaculizan el archivado a largo plazo. Este servicio requiere especificar metadatos para los archivos, lo que facilita que sean encontrados.
13.8.3 Prerregistro en el Open Science Framework
Todos los prerregistros en el OSF se harán públicos después de cuatro años.
Para compartir con los revisores, el OSF permite crear un enlace de solo lectura (‘view-only link’) sin revelar la identidad del autor.
13.8.4 Prerregistro en AsPredicted
AsPredicted se centra en la simplicidad y tiene un límite de palabras. Esto se logra eliminando las justificaciones para las elecciones del análisis. Si el límite de palabras restringe la capacidad de evaluar la severidad de la prueba, se puede usar la plantilla de AsPredicted en el OSF. AsPredicted permite descargar un PDF anónimo para fines de revisión por pares.