Плохая vs хорошая наука: отличительные признаки

По каким критериям можно определить публикации «плохой» науки?

1. Сенсационные заголовки

Заголовки предназначены для привлечения аудитории к клику и чтению статьи. В лучшем случае они чрезмерно упрощают результаты исследования. В худшем - они сенсационные и искажают их.

2. Неверно истолкованные, искаженные результаты

Новостные публикации иногда искажают или неправильно интерпретируют результаты исследований ради хорошей истории. При возможности для получения информации ознакомьтесь с оригинальным исследованием, а не полагайтесь на статью на ее основе.

3. Конфликт интересов

Многие компании используют ученых для проведения исследований и публикации результатов. Это не обязательно приводит к искажению данных, их следует анализировать с учетом этой информации. Исследования также могут быть искажены для личной или финансовой выгоды.

4. Взаимосвязь и причины

Будьте осторожны, не путайте взаимосвязь событий и причины. Корреляция между двумя переменными не означает, что одна может быть причиной другой.

Как, например, начиная с 1800-х годов, проявлений глобального потепления стало больше, число пиратов - меньше. Однако отсутствие пиратов не является причиной глобального потепления. 

5. Спекулятивный язык

Домыслы и предположения из исследований таковыми и являются. Обращайте внимание на слова «может», «возможно», «мог бы» и другие: маловероятно, что исследование предоставляет веские доказательства для любых заключений, которым они предшествуют.

6. Размер выборки очень мал

Чем меньше размер выборки, тем меньше уверенности в результатах исследования. Сделанные авторами выводы следует рассматривать с учетом этого. Надо заметить, что в некоторых случаях маленькая выборка неизбежна (например, при исследовании редких, орфанных заболеваний – прим. автора). Особая причина для подозрений - случаи, когда большая выборка была возможна, но исследователи не воспользовались возможностью.

7. Нерепрезентативная выборка

В клинических испытаниях исследователи выбирают людей, которые являются представителями большой когорты населения. Если выборка отличается от населения в целом, выводы могут также отличаться.

8. Отсутствие контрольной группы

В клинических испытаниях результаты следует сравнивать с группой контроля, не получавшей исследуемый препарат (вмешательство – прим. автора). Распределение в группы должно быть действительно случайным. В общих экспериментах должен использоваться контрольный тест, где все переменные контролируются.

9. Не используется «ослепление» участников или слепое тестирование

Чтобы предотвратить любую предвзятость, участники не должны знать, отнесены они в исследуемую или контрольную группу. В двойном слепом испытании до его окончания об этом не знают даже исследователи. Обратите внимание: «слепое» исследование не всегда выполнимо или этично.

10. Избирательный подход к результатам, «снятие сливок»

Выбор данных из экспериментов, которые поддерживают вывод исследования, игнорирование данных, которые не поддерживают.

Если в статье делается вывод на основании некоторых, не всех полученных результатов, это может означать избирательный подход, «снятие сливок».

11. Воспроизводимость результатов

Результаты должны быть воспроизведены независимыми исследователями и проверены в широком диапазоне условий и состояний (если это возможно), чтобы гарантировать возможность обобщения данных. Чрезвычайные утверждения и заявления исключительной силы требуют доказательств такого же уровня - то есть гораздо больше, чем одного независимого исследования.

12. Публикация в журналах и цитирование

Исследование, опубликованное в крупном журнале, проходит процесс рецензирования. Несмотря на это, оно может быть ошибочным, его следует оценивать с учетом этих соображений. Точно также высокий уровень цитирований не всегда указывает на высокую ценность исследования.