17 Estudios de Replicación
17.1 La Importancia de la Replicación
La Replicación es la piedra angular del método científico. Una replicación ocurre cuando un investigador diferente, o el mismo investigador en un estudio posterior, intenta reproducir el hallazgo de un estudio anterior. Solo si los hallazgos pueden ser replicados de forma independiente, la comunidad científica comienza a tener confianza en ellos.
El propósito de la replicación es doble:
- Verificación: Confirmar que el hallazgo original no fue un falso positivo (error Tipo I), un error de análisis (Capítulo 14) o el resultado de una Práctica de Investigación Cuestionable (QRP, Capítulo 15).
- Generalización: Determinar si el hallazgo se mantiene en diferentes contextos, poblaciones o configuraciones (Validez Externa).
17.2 Tipos de Replicación
Existen varios tipos de estudios de replicación, cada uno con diferentes propósitos:
17.2.1 Replicación Directa (Close Replication)
La replicación directa intenta reproducir el estudio original lo más fielmente posible, utilizando el mismo método, materiales, procedimientos y población.
- Propósito: Proporciona la prueba más estricta de la fiabilidad del hallazgo original.
- Limitación: Si la replicación falla, puede ser difícil distinguir si la falla se debe a que el hallazgo es falso o a que la replicación no fue suficientemente idéntica.
17.2.2 Replicación Conceptual (Conceptual Replication)
La replicación conceptual prueba la misma hipótesis teórica que el estudio original, pero utiliza diferentes manipulaciones de variables y/o diferentes medidas del resultado.
- Propósito: Probar la generalidad del hallazgo. Si la teoría se mantiene utilizando diferentes operacionalizaciones, esto aumenta la confianza en la teoría subyacente.
- Limitación: Si la replicación falla, puede ser difícil determinar si la falla se debe a la replicación o a la diferencia en las operacionalizaciones.
17.3 La Crisis de Replicación
Desde principios de la década de 2010, muchos campos (notablemente la psicología y la medicina) han experimentado una “crisis de replicación”, impulsada por la realización de grandes proyectos de replicación que encontraron que muchos hallazgos publicados no podían ser replicados:
- Un alto porcentaje de estudios (a menudo más del 50%) de la literatura publicada, incluso en revistas de alto impacto, no se replicó.
- Causas subyacentes: El énfasis en el valor \(p\) para la publicación, las QRPs (como el p-hacking) y el sesgo de publicación, lo que llevó a que el registro científico se llenara de falsos positivos (Capítulo 12).
17.4 Interpretación de los Resultados de la Replicación
La interpretación de una replicación no es binaria (éxito/fracaso), sino que depende del tamaño del efecto (ES) y el Intervalo de Confianza (IC) de ambos estudios (Capítulo 6 y 7).
17.4.1 Criterios de Éxito Frecuentista
Tradicionalmente, el éxito se evalúa si:
- El estudio de replicación también es estadísticamente significativo (\(p < \alpha\)).
- El tamaño del efecto del estudio de replicación es consistente con el del estudio original.
Sin embargo, estos criterios pueden ser engañosos, ya que un estudio de replicación de baja potencia podría fallar incluso si el efecto es real. Una comparación más rigurosa utiliza el Intervalo de Predicción (Prediction Interval) del estudio original.
17.4.2 Criterios de Éxito Bayesianos
El enfoque Bayesiano (Capítulo 4) ofrece métricas más directas:
- Factor de Bayes (BF): Se puede calcular el Factor de Bayes para el estudio de replicación. Un \(BF_{10}\) alto (>10) proporciona evidencia sólida a favor del efecto. Un \(BF_{01}\) alto (>10) proporciona evidencia sólida a favor de la Hipótesis Nula (es decir, el fracaso de la replicación).
17.5 Replicación en el Marco de la Ciencia Abierta
La replicación se ha revitalizado gracias a los movimientos de Ciencia Abierta:
- Prerregistro (Capítulo 13): Permite que los estudios de replicación sean diseñados con la potencia adecuada (Capítulo 8) para detectar el tamaño del efecto original y elimina el riesgo de p-hacking en el estudio de replicación.
- Informes Registrados (Registered Reports): Son una forma de replicación que garantiza la publicación, independientemente del resultado, mitigando el sesgo de publicación para los estudios nulos.
- Datos y Materiales Abiertos: Si el estudio original proporciona el código y los materiales (Capítulo 14), la replicación directa se vuelve mucho más factible y precisa.
17.6 El Efecto y la Variabilidad
Los estudios de replicación también arrojan luz sobre la variabilidad de los efectos:
- La variación entre el ES original y el ES de replicación puede deberse a la Heterogeneidad (Capítulo 11) real en las poblaciones o contextos, lo que lleva a nuevas preguntas de investigación sobre los Moderadores (factores que influyen en el tamaño del efecto).
- Los proyectos de replicación a gran escala son un aporte invaluable para el Meta-análisis (Capítulo 11), al proporcionar mejores estimaciones del tamaño del efecto verdadero.
17.7 Conclusión
La replicación es un paso esencial en el Escepticismo Organizado (Capítulo 16) de la ciencia. El objetivo de la ciencia no es simplemente publicar un resultado, sino generar hallazgos que sean fiables y generalizables. Si un hallazgo no se replica de forma independiente, debe ser tratado con escepticismo, independientemente de cuán bajo haya sido su valor \(p\) original.