Психологическая энциклопедия

Воспроизводимость

Возможность получить сходные результаты при повторении исследования другими людьми. Кризис воспроизводимости показал, что многие известные результаты подтверждаются хуже, чем ожидалось.

Воспроизводимость — свойство результата сохраняться при повторном исследовании. Если эффект настоящий, независимая команда с похожей методикой должна получить близкие данные. В 2015 году крупный проект Open Science Collaboration попытался повторить сто исследований по психологии; значительная часть повторений дала более слабые или не значимые результаты. Это событие называют кризисом воспроизводимости.

Почему результаты не повторяются

Малые выборки, подверженные случайным колебаниям. Гибкость анализа: перебор способов обработки до получения «значимого» результата. Предвзятость публикаций: журналы охотнее печатают положительные результаты. Незначительные различия методик. Иногда эффект зависит от культуры или времени. Редко — недобросовестность.

Что изменилось

Появилась практика предварительной регистрации планов: исследователи публикуют гипотезы и методы до сбора данных. Растёт число открытых данных и материалов. Журналы вводят формат зарегистрированных отчётов, где публикация решается по плану, а не по результату. Крупные коллективные проекты повторяют важные эксперименты.

Как это влияет на читателя

Не стоит принимать единичное исследование за окончательную истину, особенно если оно удивительное, получено на небольшой выборке и ярко пересказано в СМИ. Больше доверия вызывают результаты, подтверждённые несколькими независимыми группами, мета-анализами и обзорами.

Виды воспроизведения

Прямое: та же методика. Концептуальное: проверка идеи другим способом. Каждое важно: прямое показывает надёжность результата, концептуальное — обобщаемость.

Что делать в практике

Спрашивайте: есть ли подтверждения от других исследователей? Не опубликован ли метод только авторами? Не слишком ли красивы результаты? Если отдельная техника приносит вам пользу, вы можете её использовать, но не обязательно считать её научно доказанной.

Воспроизводимость и авторитет

Известные имена и престижные журналы не гарантируют воспроизводимости. Работы выдающихся учёных тоже проверяют. Это нормальный процесс самокоррекции науки.

Связанные понятия

Словарь →