Пререгистрированные исследования
Пререгистрированные исследования (заявленное исследование, англ. pre-registration study) — представляют собой форму исследования, в которой методы и предлагаемый анализ результатов предварительно регистрируются и рецензируются в виде эмпирической журнальной статьи, до начала проведения исследования и сбора данных. Протоколы исследований высокого качества, соответствующие научным стандартам, получают согласие на публикацию. После одобрения протокола, данные собираются в соответствии с заявленной процедурой и финальный вариант статьи вне зависимости от результатов публикуется в журнале. Такой вид исследования позволяет избежать некоторых искажений, которые возникают при публикации научных исследований (например, предвзятости публикаций или p-hacking Data dredging).
Необходимые элементы
При проведении обычного исследования авторы сначала проводят все процедуры, затем их описывают и посылают в журнал на рецензирование.
Чтобы тип статьи квалифицировался как пререгистрированное исследование, политика журнала должна включать, по крайней мере, следующие положения:
- Перед проведением эксперимента проводится экспертная оценка.
- Рукописи, выдержавшие предварительную экспертизу, получают принципиальное согласие на публикацию, которое не будет отменено на основании результатов исследования, а отказ в публикации может происходить либо в результате сбоя в обеспечении качества, либо при отклонениях от зарегистрированного протокола, либо из-за неразрешимых проблем с прозрачностью или стилем отчётности.
Области применения
Научные области, в которых проводятся исследования, в формате пререгистрированных исследований: психология, биология, нейронауки, медицина, экономика, экология, лингвистика, политика, и другие.
Этапы проведения
1 этап — Подготовка рукописи для пререгистрации и подача заявки
Авторы пререгистрированных исследований первоначально представляют журналу для первичного рецензирования рукопись первого этапа. На этом этапе рукопись должна содержать разделы: «введение», «методы» (включая планируемые методы статистической обработки). Также можно приложить результаты пилотных экспериментов (если такие эксперименты проводились).
2 этап — Рецензирование и получение принципиального согласия
После оценки протокола редакторами и рецензентами, рукопись корректируется в соответствии с рецензиями и предоставляется на рассмотрение. Процесс рассмотрения в среднем требует 9 недель. По итогам рассмотрения, в случае соответствия исследования научным стандартам, автор получает принципиальное согласие на публикацию (in-principal acceptance). Это означает, что журнал практически гарантирует публикацию, если авторы проводят эксперимент в соответствии с утвержденным протоколом. После получения принципиального согласия, автор может приступить к реализации эксперимента.
3 этап — Сбор данных и подача финальной стати для повторного рецензирования
После сбора данных, рукопись, включающая «введение» и «методы» из первоначальной рукописи, а также «результаты» и «обсуждение», отправляется на вторичное рецензирование, для проверки соответствия планов результату. Раздел «результаты» включает результаты предварительно зарегистрированных анализов, вместе с любыми дополнительными незарегистрированными анализами в отдельном разделе, озаглавленном «исследовательский анализ». Авторы должны также предоставить свои данные в архиве в свободном доступе (например Open Science Framework (OSF) или Figshare).
4 этап — Публикация
После оценки финальной рукописи редакторами и рецензентами, статья публикуется в журнале. Таким образом, опубликованное пререгистрированное исследование, будет выглядеть очень похожим на стандартное исследование, но у читателей будет уверенность в том, что гипотезы и основные методы анализа не содержат сомнительных исследовательских практик.
Преимущества пререгистрированных исследований
Пререгистрированные исследования подчеркивают важность исследовательского вопроса и качество методологии путем проведения экспертной оценки перед сбором данных. Протоколы высокого качества принимаются к публикации в предварительном порядке, если авторы соблюдают зарегистрированную методологию.
Дэниел Симонс, профессор Университета штата Иллинойс, Урбана-Шампейн, соредактор Пререгистрированных реплицированных исследований в «Перспективах психологической науки» (Perspectives on Psychological Science), и входящий главный редактор «Достижения в области методов и практики в области психологической науки» (Advances in Methods and Practices in Psychological Science) заметил что, «Пререгистрированные исследования устраняют предвзятость к нежелательным результатам при публикации, поскольку результаты не известны во время проверки.»
Крис Чамберс, профессор Кардиффского университета, редактор разделов для пререгистрированных исследованиях в Cortex, Европейского журнала неврологии и Королевского общества открытой науки, Председатель Комитета пререгистрированных исследований при поддержке Центра открытых наук высказался следующим образом: «Поскольку исследование принято заранее, стимулы для авторов меняются от создания самой красивой истории к самой точной.»
Выгода
- Журналы выигрывают, публикуя работы, которые являются одновременно передовыми и демонстративно воспроизводимыми. Выполнение этих критериев с трудом можно достичь в одном документе, опубликованном обычными средствами.
- Спонсоры получают выгоду благодаря поддержке ряда проектов, которые, почти гарантировано, будут опубликованы в авторитетном журнале, устраняя смещение публикаций и максимизируя прозрачность. Этот механизм также обеспечивает выполнение работы более корректно, с поддержкой спонсора; а также может повысить административную эффективность для спонсора, в котором процесс рассмотрения, по крайней мере частично, управляется журналом (при этом, спонсор сохраняет основную роль в принятии решений, какую работу поддерживать). После одновременного рассмотрения и спонсором и журналом, самые сильные предложения получают финансовую поддержку спонсора и принципиальное согласие на публикацию журналом.
- Авторы получают выгоду от того, что их публикации принимаются в уважаемом журнале до начала проведения исследований, и через механизм, который не только минимизирует предвзятость исследователей, но и устраняет стимул для авторов к предвзятости публикаций. Поэтому документы, скорее всего, окажутся содержательными и хорошо цитируемыми.
- Научное сообщество извлекает выгоду из увеличения объёма исследований, которые являются своевременными, важными, транспарантными и воспроизводимыми.
Другие преимущества
- Формат пререгистрированных исследований соблюдает гипотетико-дедуктивную модель научного метода и исключает различные сомнительные методы исследований, включая низкую статистическую мощность, избирательную отчётность о результатах и предвзятость публикаций, позволяя при этом свободно проводить пилотные (незарегистрированные) анализы и сообщать о полученных результатах.
- Стимулирование прямых репликаций. Репликации могут быть дорогостоящими и приносят немного пользы для карьеры авторов. Для обеспечения убедительности прямой репликации часто требуется гораздо большая выборка, чем в исходном исследовании, а также после завершения репликации, исследование может быть трудно опубликовать, поскольку многие журналы отказываются от неё независимо от результатов. До тех пор, пока не будет обеспечена предварительная публикация, ученые не смогут иметь никакого стратегического смысла проводить прямые репликации. В случае пререгистрированных исследований получение принципиального согласия обеспечивает уверенность в публикации и, таким образом, даёт ученым самый сильный стимул к прямому тиражированию предыдущей работы.
- Публикация всех результатов. Поскольку пререгистрированные исследования не подвержены предвзятости к публикации, они гарантируют, что научные исследования высокого качества публикуется независимо от результата. Это означает, что авторы могут публиковать каждый качественный эксперимент, а не выборочно публиковать исследования, которые дали положительные результаты.
- Повышение воспроизводимости исследований. Так как пререгистрированные исследования нейтрализовывают различные сомнительные методы научного исследования, такие как p-hacking Data dredging и низкую статистическую мощность, вполне вероятно, что результаты таких исследований будут, в среднем, более воспроизводимы, чем в результатах обычных исследований. Это, в свою очередь, поможет сформировать репутацию участвующих ученых, как доверенных генераторов знаний.
Отличие пререгистрированых исследований от других форматов
Отличие пререгистрированых исследований от клинических испытаний
Формат пререгистрированых исследований применяется как к клиническим, так и к неклиническим исследованиям, и выходит за рамки регистрации клинических испытаний.
- Во-первых, в случае пререгистрированых исследований процесса рецензирования непрерывен от первого этапа до публикования результатов, что обеспечивает верность авторов зарегистрированному протоколу. Это особенно важно, учитывая, что только 1 из 3 рецензентов клинических исследований сравнивают первоначальные протоколы авторов с их окончательными представленными рукописями (Matieu, Chan, & Ravaud, 2013)[1].
- Во-вторых, в отличие от пререгистрированых исследований, большинство форм регистрации клинических испытаний (например clinicaltrials.gov)[2] не проводит экспертизу изучения протоколов исследования, что даёт возможность авторам (даже неосознанно)[3] оставлять достаточного простора для манёвра в методах или предлагаемых анализах для выборочного представления желаемых результатов (Джон Левенштейн, & Prelec, 2011)[4] или изменять априорные гипотезы после того, как результаты стали известны (Керр, 1998)[5].
- В-третьих, даже в тех ограниченных случаях когда журналы делают обзор и публикуют первоначальные протоколы испытаний (например, журнал ЛанцетThe Lancet, BMC протокол[6]), ни один из этих форматов даёт никаких гарантий, что окончательные итоги будут опубликованы в журнале. Эти особенности формата пререгистрированых исследований отличают её от существующих систем предварительной регистрации клинических испытаний.
Отличие рецензирования протоколов исследования пререгистрированых исследований от рецензирования протоколов исследований, финансируемых за счет грантов
И в тех и в других случаях протокол исследования проходит предварительное рецензирование, но существует также несколько различий между этими видами рецензирования.:
- Рецензирование протоколов исследований, финансируемых за счет грантов, как правило, включает только общее или приблизительное описание методов, которые будут использоваться, в то время как первый этап пререгистрированых исследований включает поэтапный отчёт экспериментальных процедур и плана анализа.
- Протоколы исследований финансируемых за счет грантов редко публикуются и исследователи часто от них отклоняются.
- Пререгистрированые исследования предназначены для всех вариантов исследований, а не только для исследований, финансируемых за счет грантов.
Список журналов
В настоящее время 88 журналов используют формат пререгистрированых исследований либо как обычный вариант представления результатов, либо как единичный специальный выпуск. Другие журналы предлагают некоторые особенности формата. Регулярно обновляемый список можно посмотреть здесь на вкладке «Participating Journals» [7]. Таблица, которая сравнивает особенности пререгистрированых исследований в разных журналах, находится здесь[8].
Ограничения
Не является панацей для всех областей науки[9]
Формат пререгистрированых исследований не была предложен в качестве «панацеи» для всех областей науки. Данная модель подходит для любой области в которой существует:
- предвзятость публикации (журналы выборочно публикуют результаты, которые являются статистически значимыми или содержащими желательные результаты)
- p-hacking Data dredging (в исследованиях, где выводы зависят от выбранных методов статистической обработки, исследователи выборочно сообщают о статистически значимых результатах)
- HARKing (изменение первоначальной гипотезы после того как стали известны результаты)
- низкая статистическая мощность (недостаточность размер выборки для обнаружения реального эффекта. Недостаточная статистическая мощность не только уменьшает шанс обнаруживать эффект, но она также уменьшает шанс что наблюдаемый эффект реально существует)
- отсутствие прямой репликации (недостаточное число исследований, направленных на установление воспроизводимости, путем максимально близкого повторения методов предыдущих экспериментов). Если ни одной из этих проблем в этой области нет или применяемый подход не обусловлен гипотезой, то модель пререгистрированых исследований не несёт никаких преимуществ.
Дополнительная работа для рецензентов
Экспертная оценка в соответствии с моделью пререгистрированых исследований происходит более тщательно, чем обычное рецензирование. Но в обычном процессе рецензирования рукописи часто последовательно отвергаются несколькими журналами, проходит через многих рецензентов перед тем как будет найден журнал, который опубликует статью. При применении модели пререгистрированых исследований, обходятся по крайней мере две проблемы, которые приводят к такому систематическому отказу, и, следовательно, дополнительной нагрузке на рецензентов. Во-первых, редакторы и рецензенты рукописи на первом этапе имеют возможность помочь авторам исправить методологические недостатки до начала сбора данных. Во-вторых, поскольку публикация статьи не может быть отвергнута из-за результата, это позволяет избежать общей причины обычного отказа: что результаты не считаются достаточно новыми или новаторскими. В целом общая рабочая нагрузка рецензента в рамках модели пререгистрированых исследований примерно аналогична нагрузке при обычной публикации.
Например, в рамках обычного исследования статья представляется последовательно четырём журналам, и первые три журнала отвергают её после трёх рецензий. Четвёртый журнал принимает рукопись после 3 рецензий и 3 повторных рецензий. Всего рукопись увидит до 12 рецензентов и пройдет 15 раундов рецензирования. Теперь рассмотрим, что могло бы произойти, если бы исследование было представлено до сбора данных в качестве первого этапа пререгистрированого исследования, оцененного тремя рецензентами. Даже если он проходит через три раунда рассмотрения на первом этапе плюс два раунда рассмотрения втором этапе, общая нагрузка рецензента (15 раундов) совпадает с обычной моделью (15 раундов).
Рецензенты могут «украсть» идеи авторов на первом этапе рецензирования
Такая возможность существует, хотя и очень маловероятна. Только небольшая группа людей будет знать об идеях, изложенных в рукописи на первом этапе, включая редакторов и небольшой набор рецензентов; Кроме того рукопись первого этапа не будет опубликована до завершения исследования. После получения принципиального согласия на публикацию журнал не может отклонить статью на заключительном втором этапе рецензирования, на основании того, что аналогичная работа была опубликована в другом месте. Поэтому даже в маловероятном случае, когда рецензент сможет завершить предварительную регистрацию проекта раньше авторов, такая стратегия не даст большого преимущества для карьеры преступника (особенно потому, что в опубликованной статье дата подачи протокола на первый этап рецензирования будет предшествовать дате подачи протокола на первый этап рецензирования у конкурента).
Регистрация протокола уже проведённого исследования
В текущем формате пререгистрированых исследований, попытка зарегистрировать протокол уже проведённого исследования будет являться мошенничеством. Так как, при представлении авторами рукописи на втором этапе, к ней необходимо приложить лабораторный журнал, в котором указан диапазон дат, в течение которых осуществлялся сбор данных. Все авторы также должны подтвердить, что предоставленные данные не были собраны до момента получения принципиального согласия на публикацию (кроме пилотных данных, включённых в представление первого этапа).
Примечания
- Daniel Simons, Professor at University of Illinois, Urbana-Champaign, co-editor of Registered Replication Reports at Perspectives on Psychological Science, and incoming chief editor of Advances in Methods and Practices in Psychological Science. “Registered Reports eliminates the bias against negative results in publishing because the results are not known at the time of review.". https://cos.io/rr/. Дата обращения: 26 декабря 2017. Архивировано 13 января 2018 года.
- Chris Chambers, Professor at Cardiff University, Section Editor for Registered Reports at Cortex, European Journal of Neuroscience and Royal Society Open Science, Chair of the Registered Reports Committee supported by the Center for Open Science. "Because the study is accepted in advance, the incentives for authors change from producing the most beautiful story to the most accurate one.". https://cos.io/rr/. Дата обращения: 26 декабря 2017. Архивировано 13 января 2018 года.
Википедия, чтение, книга, библиотека, поиск, нажмите, истории, книги, статьи, wikipedia, учить, информация, история, скачать, скачать бесплатно, mp3, видео, mp4, 3gp, jpg, jpeg, gif, png, картинка, музыка, песня, фильм, игра, игры, мобильный, телефон, Android, iOS, apple, мобильный телефон, Samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Сеть, компьютер, Информация о Пререгистрированные исследования, Что такое Пререгистрированные исследования? Что означает Пререгистрированные исследования?
Preregistrirovannye issledovaniya zayavlennoe issledovanie angl pre registration study predstavlyayut soboj formu issledovaniya v kotoroj metody i predlagaemyj analiz rezultatov predvaritelno registriruyutsya i recenziruyutsya v vide empiricheskoj zhurnalnoj stati do nachala provedeniya issledovaniya i sbora dannyh Protokoly issledovanij vysokogo kachestva sootvetstvuyushie nauchnym standartam poluchayut soglasie na publikaciyu Posle odobreniya protokola dannye sobirayutsya v sootvetstvii s zayavlennoj proceduroj i finalnyj variant stati vne zavisimosti ot rezultatov publikuetsya v zhurnale Takoj vid issledovaniya pozvolyaet izbezhat nekotoryh iskazhenij kotorye voznikayut pri publikacii nauchnyh issledovanij naprimer predvzyatosti publikacij ili p hacking Data dredging Neobhodimye elementy Pri provedenii obychnogo issledovaniya avtory snachala provodyat vse procedury zatem ih opisyvayut i posylayut v zhurnal na recenzirovanie Chtoby tip stati kvalificirovalsya kak preregistrirovannoe issledovanie politika zhurnala dolzhna vklyuchat po krajnej mere sleduyushie polozheniya Pered provedeniem eksperimenta provoditsya ekspertnaya ocenka Rukopisi vyderzhavshie predvaritelnuyu ekspertizu poluchayut principialnoe soglasie na publikaciyu kotoroe ne budet otmeneno na osnovanii rezultatov issledovaniya a otkaz v publikacii mozhet proishodit libo v rezultate sboya v obespechenii kachestva libo pri otkloneniyah ot zaregistrirovannogo protokola libo iz za nerazreshimyh problem s prozrachnostyu ili stilem otchyotnosti Oblasti primeneniya Nauchnye oblasti v kotoryh provodyatsya issledovaniya v formate preregistrirovannyh issledovanij psihologiya biologiya nejronauki medicina ekonomika ekologiya lingvistika politika i drugie Etapy provedeniyaStatadii preregistrirovannogo issledovaniya1 etap Podgotovka rukopisi dlya preregistracii i podacha zayavki Avtory preregistrirovannyh issledovanij pervonachalno predstavlyayut zhurnalu dlya pervichnogo recenzirovaniya rukopis pervogo etapa Na etom etape rukopis dolzhna soderzhat razdely vvedenie metody vklyuchaya planiruemye metody statisticheskoj obrabotki Takzhe mozhno prilozhit rezultaty pilotnyh eksperimentov esli takie eksperimenty provodilis 2 etap Recenzirovanie i poluchenie principialnogo soglasiya Posle ocenki protokola redaktorami i recenzentami rukopis korrektiruetsya v sootvetstvii s recenziyami i predostavlyaetsya na rassmotrenie Process rassmotreniya v srednem trebuet 9 nedel Po itogam rassmotreniya v sluchae sootvetstviya issledovaniya nauchnym standartam avtor poluchaet principialnoe soglasie na publikaciyu in principal acceptance Eto oznachaet chto zhurnal prakticheski garantiruet publikaciyu esli avtory provodyat eksperiment v sootvetstvii s utverzhdennym protokolom Posle polucheniya principialnogo soglasiya avtor mozhet pristupit k realizacii eksperimenta 3 etap Sbor dannyh i podacha finalnoj stati dlya povtornogo recenzirovaniya Posle sbora dannyh rukopis vklyuchayushaya vvedenie i metody iz pervonachalnoj rukopisi a takzhe rezultaty i obsuzhdenie otpravlyaetsya na vtorichnoe recenzirovanie dlya proverki sootvetstviya planov rezultatu Razdel rezultaty vklyuchaet rezultaty predvaritelno zaregistrirovannyh analizov vmeste s lyubymi dopolnitelnymi nezaregistrirovannymi analizami v otdelnom razdele ozaglavlennom issledovatelskij analiz Avtory dolzhny takzhe predostavit svoi dannye v arhive v svobodnom dostupe naprimer Open Science Framework OSF ili Figshare 4 etap Publikaciya Posle ocenki finalnoj rukopisi redaktorami i recenzentami statya publikuetsya v zhurnale Takim obrazom opublikovannoe preregistrirovannoe issledovanie budet vyglyadet ochen pohozhim na standartnoe issledovanie no u chitatelej budet uverennost v tom chto gipotezy i osnovnye metody analiza ne soderzhat somnitelnyh issledovatelskih praktik Preimushestva preregistrirovannyh issledovanijPreregistrirovannye issledovaniya podcherkivayut vazhnost issledovatelskogo voprosa i kachestvo metodologii putem provedeniya ekspertnoj ocenki pered sborom dannyh Protokoly vysokogo kachestva prinimayutsya k publikacii v predvaritelnom poryadke esli avtory soblyudayut zaregistrirovannuyu metodologiyu Deniel Simons professor Universiteta shtata Illinojs Urbana Shampejn soredaktor Preregistrirovannyh replicirovannyh issledovanij v Perspektivah psihologicheskoj nauki Perspectives on Psychological Science i vhodyashij glavnyj redaktor Dostizheniya v oblasti metodov i praktiki v oblasti psihologicheskoj nauki Advances in Methods and Practices in Psychological Science zametil chto Preregistrirovannye issledovaniya ustranyayut predvzyatost k nezhelatelnym rezultatam pri publikacii poskolku rezultaty ne izvestny vo vremya proverki Kris Chambers professor Kardiffskogo universiteta redaktor razdelov dlya preregistrirovannyh issledovaniyah v Cortex Evropejskogo zhurnala nevrologii i Korolevskogo obshestva otkrytoj nauki Predsedatel Komiteta preregistrirovannyh issledovanij pri podderzhke Centra otkrytyh nauk vyskazalsya sleduyushim obrazom Poskolku issledovanie prinyato zaranee stimuly dlya avtorov menyayutsya ot sozdaniya samoj krasivoj istorii k samoj tochnoj Vygoda Zhurnaly vyigryvayut publikuya raboty kotorye yavlyayutsya odnovremenno peredovymi i demonstrativno vosproizvodimymi Vypolnenie etih kriteriev s trudom mozhno dostich v odnom dokumente opublikovannom obychnymi sredstvami Sponsory poluchayut vygodu blagodarya podderzhke ryada proektov kotorye pochti garantirovano budut opublikovany v avtoritetnom zhurnale ustranyaya smeshenie publikacij i maksimiziruya prozrachnost Etot mehanizm takzhe obespechivaet vypolnenie raboty bolee korrektno s podderzhkoj sponsora a takzhe mozhet povysit administrativnuyu effektivnost dlya sponsora v kotorom process rassmotreniya po krajnej mere chastichno upravlyaetsya zhurnalom pri etom sponsor sohranyaet osnovnuyu rol v prinyatii reshenij kakuyu rabotu podderzhivat Posle odnovremennogo rassmotreniya i sponsorom i zhurnalom samye silnye predlozheniya poluchayut finansovuyu podderzhku sponsora i principialnoe soglasie na publikaciyu zhurnalom Avtory poluchayut vygodu ot togo chto ih publikacii prinimayutsya v uvazhaemom zhurnale do nachala provedeniya issledovanij i cherez mehanizm kotoryj ne tolko minimiziruet predvzyatost issledovatelej no i ustranyaet stimul dlya avtorov k predvzyatosti publikacij Poetomu dokumenty skoree vsego okazhutsya soderzhatelnymi i horosho citiruemymi Nauchnoe soobshestvo izvlekaet vygodu iz uvelicheniya obyoma issledovanij kotorye yavlyayutsya svoevremennymi vazhnymi transparantnymi i vosproizvodimymi Drugie preimushestva Format preregistrirovannyh issledovanij soblyudaet gipotetiko deduktivnuyu model nauchnogo metoda i isklyuchaet razlichnye somnitelnye metody issledovanij vklyuchaya nizkuyu statisticheskuyu moshnost izbiratelnuyu otchyotnost o rezultatah i predvzyatost publikacij pozvolyaya pri etom svobodno provodit pilotnye nezaregistrirovannye analizy i soobshat o poluchennyh rezultatah Stimulirovanie pryamyh replikacij Replikacii mogut byt dorogostoyashimi i prinosyat nemnogo polzy dlya karery avtorov Dlya obespecheniya ubeditelnosti pryamoj replikacii chasto trebuetsya gorazdo bolshaya vyborka chem v ishodnom issledovanii a takzhe posle zaversheniya replikacii issledovanie mozhet byt trudno opublikovat poskolku mnogie zhurnaly otkazyvayutsya ot neyo nezavisimo ot rezultatov Do teh por poka ne budet obespechena predvaritelnaya publikaciya uchenye ne smogut imet nikakogo strategicheskogo smysla provodit pryamye replikacii V sluchae preregistrirovannyh issledovanij poluchenie principialnogo soglasiya obespechivaet uverennost v publikacii i takim obrazom dayot uchenym samyj silnyj stimul k pryamomu tirazhirovaniyu predydushej raboty Publikaciya vseh rezultatov Poskolku preregistrirovannye issledovaniya ne podverzheny predvzyatosti k publikacii oni garantiruyut chto nauchnye issledovaniya vysokogo kachestva publikuetsya nezavisimo ot rezultata Eto oznachaet chto avtory mogut publikovat kazhdyj kachestvennyj eksperiment a ne vyborochno publikovat issledovaniya kotorye dali polozhitelnye rezultaty Povyshenie vosproizvodimosti issledovanij Tak kak preregistrirovannye issledovaniya nejtralizovyvayut razlichnye somnitelnye metody nauchnogo issledovaniya takie kak p hacking Data dredging i nizkuyu statisticheskuyu moshnost vpolne veroyatno chto rezultaty takih issledovanij budut v srednem bolee vosproizvodimy chem v rezultatah obychnyh issledovanij Eto v svoyu ochered pomozhet sformirovat reputaciyu uchastvuyushih uchenyh kak doverennyh generatorov znanij Otlichie preregistrirovanyh issledovanij ot drugih formatovOtlichie preregistrirovanyh issledovanij ot klinicheskih ispytanij Format preregistrirovanyh issledovanij primenyaetsya kak k klinicheskim tak i k neklinicheskim issledovaniyam i vyhodit za ramki registracii klinicheskih ispytanij Vo pervyh v sluchae preregistrirovanyh issledovanij processa recenzirovaniya nepreryven ot pervogo etapa do publikovaniya rezultatov chto obespechivaet vernost avtorov zaregistrirovannomu protokolu Eto osobenno vazhno uchityvaya chto tolko 1 iz 3 recenzentov klinicheskih issledovanij sravnivayut pervonachalnye protokoly avtorov s ih okonchatelnymi predstavlennymi rukopisyami Matieu Chan amp Ravaud 2013 1 Vo vtoryh v otlichie ot preregistrirovanyh issledovanij bolshinstvo form registracii klinicheskih ispytanij naprimer clinicaltrials gov 2 ne provodit ekspertizu izucheniya protokolov issledovaniya chto dayot vozmozhnost avtoram dazhe neosoznanno 3 ostavlyat dostatochnogo prostora dlya manyovra v metodah ili predlagaemyh analizah dlya vyborochnogo predstavleniya zhelaemyh rezultatov Dzhon Levenshtejn amp Prelec 2011 4 ili izmenyat apriornye gipotezy posle togo kak rezultaty stali izvestny Kerr 1998 5 V tretih dazhe v teh ogranichennyh sluchayah kogda zhurnaly delayut obzor i publikuyut pervonachalnye protokoly ispytanij naprimer zhurnal LancetThe Lancet BMC protokol 6 ni odin iz etih formatov dayot nikakih garantij chto okonchatelnye itogi budut opublikovany v zhurnale Eti osobennosti formata preregistrirovanyh issledovanij otlichayut eyo ot sushestvuyushih sistem predvaritelnoj registracii klinicheskih ispytanij Otlichie recenzirovaniya protokolov issledovaniya preregistrirovanyh issledovanij ot recenzirovaniya protokolov issledovanij finansiruemyh za schet grantov I v teh i v drugih sluchayah protokol issledovaniya prohodit predvaritelnoe recenzirovanie no sushestvuet takzhe neskolko razlichij mezhdu etimi vidami recenzirovaniya Recenzirovanie protokolov issledovanij finansiruemyh za schet grantov kak pravilo vklyuchaet tolko obshee ili priblizitelnoe opisanie metodov kotorye budut ispolzovatsya v to vremya kak pervyj etap preregistrirovanyh issledovanij vklyuchaet poetapnyj otchyot eksperimentalnyh procedur i plana analiza Protokoly issledovanij finansiruemyh za schet grantov redko publikuyutsya i issledovateli chasto ot nih otklonyayutsya Preregistrirovanye issledovaniya prednaznacheny dlya vseh variantov issledovanij a ne tolko dlya issledovanij finansiruemyh za schet grantov Spisok zhurnalovV nastoyashee vremya 88 zhurnalov ispolzuyut format preregistrirovanyh issledovanij libo kak obychnyj variant predstavleniya rezultatov libo kak edinichnyj specialnyj vypusk Drugie zhurnaly predlagayut nekotorye osobennosti formata Regulyarno obnovlyaemyj spisok mozhno posmotret zdes na vkladke Participating Journals 7 Tablica kotoraya sravnivaet osobennosti preregistrirovanyh issledovanij v raznyh zhurnalah nahoditsya zdes 8 OgranicheniyaNe yavlyaetsya panacej dlya vseh oblastej nauki 9 Format preregistrirovanyh issledovanij ne byla predlozhen v kachestve panacei dlya vseh oblastej nauki Dannaya model podhodit dlya lyuboj oblasti v kotoroj sushestvuet predvzyatost publikacii zhurnaly vyborochno publikuyut rezultaty kotorye yavlyayutsya statisticheski znachimymi ili soderzhashimi zhelatelnye rezultaty p hacking Data dredging v issledovaniyah gde vyvody zavisyat ot vybrannyh metodov statisticheskoj obrabotki issledovateli vyborochno soobshayut o statisticheski znachimyh rezultatah HARKing izmenenie pervonachalnoj gipotezy posle togo kak stali izvestny rezultaty nizkaya statisticheskaya moshnost nedostatochnost razmer vyborki dlya obnaruzheniya realnogo effekta Nedostatochnaya statisticheskaya moshnost ne tolko umenshaet shans obnaruzhivat effekt no ona takzhe umenshaet shans chto nablyudaemyj effekt realno sushestvuet otsutstvie pryamoj replikacii nedostatochnoe chislo issledovanij napravlennyh na ustanovlenie vosproizvodimosti putem maksimalno blizkogo povtoreniya metodov predydushih eksperimentov Esli ni odnoj iz etih problem v etoj oblasti net ili primenyaemyj podhod ne obuslovlen gipotezoj to model preregistrirovanyh issledovanij ne nesyot nikakih preimushestv Dopolnitelnaya rabota dlya recenzentov Ekspertnaya ocenka v sootvetstvii s modelyu preregistrirovanyh issledovanij proishodit bolee tshatelno chem obychnoe recenzirovanie No v obychnom processe recenzirovaniya rukopisi chasto posledovatelno otvergayutsya neskolkimi zhurnalami prohodit cherez mnogih recenzentov pered tem kak budet najden zhurnal kotoryj opublikuet statyu Pri primenenii modeli preregistrirovanyh issledovanij obhodyatsya po krajnej mere dve problemy kotorye privodyat k takomu sistematicheskomu otkazu i sledovatelno dopolnitelnoj nagruzke na recenzentov Vo pervyh redaktory i recenzenty rukopisi na pervom etape imeyut vozmozhnost pomoch avtoram ispravit metodologicheskie nedostatki do nachala sbora dannyh Vo vtoryh poskolku publikaciya stati ne mozhet byt otvergnuta iz za rezultata eto pozvolyaet izbezhat obshej prichiny obychnogo otkaza chto rezultaty ne schitayutsya dostatochno novymi ili novatorskimi V celom obshaya rabochaya nagruzka recenzenta v ramkah modeli preregistrirovanyh issledovanij primerno analogichna nagruzke pri obychnoj publikacii Naprimer v ramkah obychnogo issledovaniya statya predstavlyaetsya posledovatelno chetyryom zhurnalam i pervye tri zhurnala otvergayut eyo posle tryoh recenzij Chetvyortyj zhurnal prinimaet rukopis posle 3 recenzij i 3 povtornyh recenzij Vsego rukopis uvidit do 12 recenzentov i projdet 15 raundov recenzirovaniya Teper rassmotrim chto moglo by proizojti esli by issledovanie bylo predstavleno do sbora dannyh v kachestve pervogo etapa preregistrirovanogo issledovaniya ocenennogo tremya recenzentami Dazhe esli on prohodit cherez tri raunda rassmotreniya na pervom etape plyus dva raunda rassmotreniya vtorom etape obshaya nagruzka recenzenta 15 raundov sovpadaet s obychnoj modelyu 15 raundov Recenzenty mogut ukrast idei avtorov na pervom etape recenzirovaniya Takaya vozmozhnost sushestvuet hotya i ochen maloveroyatna Tolko nebolshaya gruppa lyudej budet znat ob ideyah izlozhennyh v rukopisi na pervom etape vklyuchaya redaktorov i nebolshoj nabor recenzentov Krome togo rukopis pervogo etapa ne budet opublikovana do zaversheniya issledovaniya Posle polucheniya principialnogo soglasiya na publikaciyu zhurnal ne mozhet otklonit statyu na zaklyuchitelnom vtorom etape recenzirovaniya na osnovanii togo chto analogichnaya rabota byla opublikovana v drugom meste Poetomu dazhe v maloveroyatnom sluchae kogda recenzent smozhet zavershit predvaritelnuyu registraciyu proekta ranshe avtorov takaya strategiya ne dast bolshogo preimushestva dlya karery prestupnika osobenno potomu chto v opublikovannoj state data podachi protokola na pervyj etap recenzirovaniya budet predshestvovat date podachi protokola na pervyj etap recenzirovaniya u konkurenta Registraciya protokola uzhe provedyonnogo issledovaniya V tekushem formate preregistrirovanyh issledovanij popytka zaregistrirovat protokol uzhe provedyonnogo issledovaniya budet yavlyatsya moshennichestvom Tak kak pri predstavlenii avtorami rukopisi na vtorom etape k nej neobhodimo prilozhit laboratornyj zhurnal v kotorom ukazan diapazon dat v techenie kotoryh osushestvlyalsya sbor dannyh Vse avtory takzhe dolzhny podtverdit chto predostavlennye dannye ne byli sobrany do momenta polucheniya principialnogo soglasiya na publikaciyu krome pilotnyh dannyh vklyuchyonnyh v predstavlenie pervogo etapa PrimechaniyaDaniel Simons Professor at University of Illinois Urbana Champaign co editor of Registered Replication Reports at Perspectives on Psychological Science and incoming chief editor of Advances in Methods and Practices in Psychological Science Registered Reports eliminates the bias against negative results in publishing because the results are not known at the time of review neopr https cos io rr Data obrasheniya 26 dekabrya 2017 Arhivirovano 13 yanvarya 2018 goda Chris Chambers Professor at Cardiff University Section Editor for Registered Reports at Cortex European Journal of Neuroscience and Royal Society Open Science Chair of the Registered Reports Committee supported by the Center for Open Science Because the study is accepted in advance the incentives for authors change from producing the most beautiful story to the most accurate one neopr https cos io rr Data obrasheniya 26 dekabrya 2017 Arhivirovano 13 yanvarya 2018 goda
