Treść wpisu

Ile osób muszę przebadać

„Minimum trzydzieści osób” pojawia się w niejednym seminarium metodologicznym jako gotowa odpowiedź, i niejedna praca zbiera dokładnie tyle, żeby mieć to za sobą. Problem w tym, że liczba trzydzieści nie wynika z niczego, co dotyczy Twojego badania. Wynika z badania kogoś innego, sprzed dekad, o zupełnie innym pytaniu.

Skąd wzięło się „30” i dlaczego nie działa

Trzydzieści obserwacji to próg, przy którym rozkład średniej z próby zaczyna przypominać rozkład normalny nawet wtedy, gdy sama zmienna nim nie jest, zgodnie z centralnym twierdzeniem granicznym. To ułatwienie techniczne w konkretnym kontekście, nie recepta na liczebność próby. Z czasem ta uwaga oderwała się od swojego źródła i zaczęła krążyć jako uniwersalna zasada, mimo że sam efekt, który chcesz wykryć, i wybrany test statystyczny nie mają z tym twierdzeniem nic wspólnego.

Skutek jest przewidywalny. Badanie z małym, ale realnym efektem i trzydziestoma osobami zwykle wychodzi nieistotne, nie dlatego, że efektu nie ma, tylko dlatego, że próba nie miała szans go wykryć. Odwrotnie, badanie z bardzo dużym efektem może wystarczyć przy piętnastu osobach. Sama liczba nic nie mówi bez odniesienia do tego, czego szukasz.

Trzy pytania przed obliczeniem

Liczebność próby oblicza się z trzech elementów, i żadnego nie da się pominąć.

Pierwsze: jaki test zastosujesz. Test t dla dwóch grup wymaga innej liczebności niż korelacja albo analiza wariancji dla trzech grup, nawet przy tym samym efekcie.

Drugie: jakiej wielkości efektu się spodziewasz. Tu pomaga literatura z Twojej dziedziny (podobne badania, podobne narzędzie pomiarowe) albo, gdy takiej literatury nie ma, konwencjonalne wartości Cohena: 0,20 dla efektu słabego, 0,50 dla umiarkowanego, 0,80 dla silnego, w jednostkach d.

Trzecie: jaką moc chcesz osiągnąć, czyli jakie ma być prawdopodobieństwo wykrycia efektu, jeśli on naprawdę istnieje. Konwencjonalnie przyjmuje się moc 0,80, co oznacza akceptację jednej szansy na pięć, że realny efekt przejdzie niezauważony.

Przykład z pielęgniarstwa

Poniższe liczby są policzone, nie wpisane. Skrypt docs/dane/przyklady-b2.py liczy je wprost ze wzoru na moc testu t Studenta dla dwóch prób niezależnych, przy dwustronnym poziomie istotności 0,05 i mocy 0,80.

Planowane porównanie dwóch oddziałów pod względem poziomu wypalenia zawodowego pielęgniarek, test t dla prób niezależnych. Przy efekcie słabym, d = 0,30, potrzeba 176 osób w każdej grupie, 352 łącznie. Przy efekcie umiarkowanym, d = 0,50, potrzeba 64 osób w grupie, 128 łącznie. Przy efekcie silnym, d = 0,80, wystarczy 26 osób w grupie, 52 łącznie.

Różnica między tymi trzema scenariuszami jest ponad sześciokrotna, mimo że każdy z nich to wciąż jedno i to samo badanie, ten sam test, ta sama moc. Zmienia się tylko założenie o tym, jak duża jest różnica, której szukasz, a to założenie decyduje o liczbie osób bardziej niż cokolwiek innego w projekcie badania.

Co zrobić, gdy uczelnia narzuca liczbę, a badanie jej nie uzasadnia

Niektóre programy studiów mają swój własny, sztywny wymóg liczebności, niezależny od tego, jaki efekt jest realistyczny w danym temacie. Gdy tak jest, warto rozdzielić dwie rzeczy w metodologii: formalny wymóg uczelni, spełniony liczbą osób, i analizę mocy przeprowadzoną osobno, pokazującą, jaki najmniejszy efekt ta liczebność faktycznie wykrywa.

Przy trzydziestu osobach w grupie i efekcie umiarkowanym, d = 0,50, moc wynosi zaledwie 0,48, czyli mniej niż rzut monetą na wykrycie realnej różnicy. Podanie tej liczby wprost w ograniczeniach pracy jest uczciwsze niż milczenie na jej temat, i zwykle działa na korzyść studentki podczas obrony, bo pokazuje, że rozumie, co jej liczebność faktycznie mówi.

Co zrobić, gdy dane już są zebrane i jest ich mało

Czasem pytanie o liczebność pojawia się już po zbiórce danych, kiedy zmienić nic się nie da. W takiej sytuacji planowanie liczebności z góry nie ma zastosowania, licz analizę czułości: jaki najmniejszy efekt Twoja próba wykrywa z rozsądną mocą, zamiast mocy po fakcie liczonej z uzyskanego wyniku, co jest metodologicznie puste.

Przy dwudziestu osobach w grupie i tym samym efekcie umiarkowanym, d = 0,50, moc spada do 0,34. Warto to napisać wprost w dyskusji: przy tej liczebności praca miała ograniczoną zdolność wykrycia efektu tej wielkości, co tłumaczy zarówno wynik istotny, jeśli wyszedł mimo niskiej mocy, jak i nieistotny, jeśli efekt istnieje, ale próba była zbyt mała, by go złapać.

Zanim zaczniesz zbierać dane

Analiza mocy najwięcej daje przed zbiórką danych, nie po niej. To jedyny moment, w którym liczebność próby jeszcze można zmienić, zamiast tylko ją tłumaczyć. Jeśli nie wiesz, jaki efekt założyć, albo nie masz pewności, który test pasuje do Twojego projektu badania, konsultacja przed zbiórką danych kosztuje mniej czasu niż powtarzanie badania po tym, jak liczebność okaże się za mała. Definicja i tabela orientacyjnych liczebności są też w haśle liczebność próby.