Розділіть набір даних на підгрупу за підгрупою, доки ви не отримаєте p < 0,05 — тоді подивіться новий зразок і визначте, чи було ваше відкриття справжнім чи випадковим.
Лікування не має реального ефекту, тому будь-яке значення, яке ви знайдете, є шумом. Відфільтруйте дані за підгрупами та повторіть тест стільки разів, скільки потрібно, щоб натрапити на значення p нижче 0,05, а потім надішліть свій «знахід» судді. Поворот: перевірка реплікації бере новий незалежний зразок і повторно перевіряє вашу точну заяву. Реальні ефекти зберігаються; p-hacks зникають — і ця прогалина — весь урок.
Cherry Picker — це p-hacking, численні порівняння та чому реплікація має значення — цілісність статистики.
Фільтрування на підгрупи й повторний запуск тесту, доки щось не виявиться значущим, — це видобування даних, p-хакінг: проведення багатьох тестів і звітування лише про ті, що дали значущий результат.
Оригінальний задум полягає в тому, що лікування не має реального ефекту, тож кожен знайдений вами результат — шум за побудовою.
Це єдиний чесний спосіб цьому навчити. Абстрактно p-хакінг звучить як шахрайство, до якого уважна людина ніколи не вдасться; виконання його на даних, гарантовано порожніх, показує, як легко з’являється значущість, і це проблема множинних порівнянь, а не вада характеру.
Cherry Picker — це статистична гра про р-злом, численні порівняння та важливість реплікації. Це оригінальна безкоштовна браузерна гра, створена для PlayPendium.