Definicja

Wielokrotne testowanie

Inna nazwa: problem wielokrotnych porównań. Kategoria: rzetelna analiza i raportowanie.

Wielokrotne testowanie występuje, gdy z jednego zbioru danych wyciąga się wnioski na podstawie wielu testów, wyników, punktów czasu lub analiz. Przy większej liczbie testów rośnie szansa, że przynajmniej jeden wynik przekroczy próg przez przypadek.

Rodzina i cel kontroli. Najpierw trzeba jawnie określić rodzinę wniosków oraz to, czy chcemy kontrolować prawdopodobieństwo co najmniej jednego błędu pierwszego rodzaju, czy oczekiwany odsetek fałszywych odkryć. Dobór procedury zależy od celu, zależności testów i rozróżnienia analiz potwierdzających od eksploracyjnych.

Częsty błąd. Korygowanie tylko tych wyników, które po obejrzeniu danych uznano za niewygodne, albo przedstawianie wielu niekorygowanych testów jako niezależnych dowodów.

Przykład syntetyczny. Dla pięciu wartości p: 0,003; 0,012; 0,021; 0,040 i 0,180 poprawka Bonferroniego ustala próg 0,010. Wynik 0,012 nie przechodzi tej konkretnej kontroli, choć może mieć inne znaczenie w procedurze FDR.

Jak to zapisać w pracy. Zdefiniowano rodzinę pięciu analiz wtórnych i zastosowano poprawkę Bonferroniego przy skorygowanym progu α = 0,010; raportowano także nieskorygowane wartości p oraz wielkości efektu z CI.

Dane są syntetyczne; obliczenia odtwarza docs/dane/przyklady-slownik-g10.py.

Powiązane hasła: Wartość p, Poprawka Bonferroniego, Odsetek fałszywych odkryć FDR, Prerejestracja

Jeśli masz wiele wyników lub porównań, Wyceń projekt.