Treść wpisu

Co znaczy p poniżej 0,05, a czego nie znaczy

Wynik testu wyszedł istotny, p jest poniżej 0,05, a mimo to promotor pyta „i co z tego wynika”. Pytanie jest zasadne. Sama istotność statystyczna nie mówi tyle, ile większość prac zakłada, i mylenie tych dwóch rzeczy to jeden z najczęstszych powodów, dla których obrona części statystycznej idzie źle.

Jedno zdanie definicji, bez wzoru

Wartość p mówi, jak bardzo zebrane dane pasują do świata, w którym badany efekt nie istnieje. Nic więcej. Nie mówi, czy efekt istnieje naprawdę, jak duży jest, ani czy ma znaczenie praktyczne. Próg 0,05 to umowa przyjęta w latach trzydziestych dwudziestego wieku, nie prawo natury i nie granica między prawdą a fałszem.

Cztery zdania, które promotor podkreśli na czerwono

Te cztery zdania pojawiają się w pracach dyplomowych regularnie, i każde jest błędem interpretacyjnym, nie tylko potknięciem językowym.

„Wartość p wynosi 0,03, więc istnieje 97% szans, że hipoteza jest prawdziwa.” Wartość p nic nie mówi o prawdopodobieństwie hipotezy. Mówi o prawdopodobieństwie takich albo bardziej skrajnych danych, gdyby hipotezy zerowej nie dało się odrzucić.

„Wynik nieistotny dowodzi, że nie ma różnicy między grupami.” Brak dowodu na różnicę nie jest dowodem na jej brak. Wynik nieistotny równie dobrze może oznaczać zbyt małą próbę.

„Im mniejsze p, tym silniejszy efekt.” Wartość p zależy od liczebności próby tak samo mocno jak od wielkości efektu. Duża próba potrafi zamienić znikomą różnicę w wynik istotny.

„Test wyszedł istotny, więc różnica ma znaczenie praktyczne.” Znaczenie praktyczne ocenia wielkość efektu, nie p. Różnica półtora punktu na skali stu punktów może być istotna statystycznie i jednocześnie nieistotna klinicznie.

Dlaczego p = 0,049 i p = 0,051 to praktycznie ten sam wynik

Dwa niemal identyczne zbiory danych, ten sam efekt w populacji, ta sama liczebność, mogą wylądować po dwóch stronach progu 0,05. Poniższy przykład jest symulowany, żeby to pokazać, i nie pochodzi z żadnego zlecenia. Liczby policzył skrypt docs/dane/przyklady-b6.py z ustalonym ziarnem losowym.

Dwie grupy po trzydzieści trzy osoby, natężenie bólu w skali VAS po sześciu tygodniach dwóch programów fizjoterapii. W pierwszym zbiorze wynik testu t wyniósł t(64) = 2,00; p = 0,049; d = 0,49. W drugim, przy tych samych parametrach populacji i tej samej liczebności, tylko innym losowaniu próby: t(64) = 1,98; p = 0,052; d = 0,49.

Wielkość efektu jest identyczna co do dwóch miejsc po przecinku. Różni się wyłącznie to, po której stronie umownej linii wylądował wynik, a to zależy od tego, które trzydzieści trzy osoby akurat trafiły do próby. Traktowanie tej granicy jak muru między odkryciem a jego brakiem nie ma uzasadnienia w samych danych.

Z tego wynikają dwie praktyczne konsekwencje. Pierwsza: próg istotności trzeba ustalić przed zebraniem danych, nie po zobaczeniu wyniku, bo dobieranie progu do tego, co akurat wyszło, jest dokładnie tym błędem, przed którym ostrzega Amerykańskie Towarzystwo Statystyczne w swoim oświadczeniu z 2016 roku. Druga: wynik tuż nad progiem opisuje się jako wynik na granicy istotności, z podaniem dokładnej wartości p i wielkości efektu, a nie jako porażkę badania. Czytelnik pracy, który widzi obie liczby, sam oceni, jak blisko było do drugiej strony.

Po co obok p podaje się wielkość efektu

Wielkość efektu odpowiada na pytanie, które p pomija: jak duża jest różnica. Standardy raportowania wyników ilościowych APA (JARS) wymagają podania wielkości efektu przy każdym teście wnioskowania, właśnie dlatego, że sam wynik istotności tego nie robi.

Dwie prace mogą mieć identyczne p, a zupełnie różną wielkość efektu, jeżeli różnią się liczebnością próby. Mała próba z dużym efektem i duża próba ze znikomym efektem potrafią dać ten sam próg istotności. Bez wielkości efektu czytelnik pracy nie odróżni jednego od drugiego.

Jak to zapisać w pracy

Zapis w standardzie APA 7 po polsku ma stały porządek: symbol testu kursywą, stopnie swobody w nawiasie, wartość statystyki, wartość p, wielkość efektu.

„Natężenie bólu po programie A było wyższe niż po programie B, t(64) = 2,00; p = 0,049; d = 0,49, co odpowiada efektowi umiarkowanemu.”

Przecinek dziesiętny, zero wiodące przed przecinkiem, wartość p do trzech miejsc po przecinku, poniżej 0,001 zapisywana jako p < 0,001, nigdy jako p = 0,000. Symbole łacińskie kursywą, litery greckie prosto. Gwiazdki istotności w nawiasach obok liczb, bez opisowego „istotne na poziomie wysoce istotnym”, którego standard nie przewiduje.

Zdanie z wynikiem nie kończy opisu. Kolejne zdanie mówi, co ta różnica znaczy dla pytania badawczego, nie tylko czy przekroczyła próg.

Kiedy warto zapytać kogoś z zewnątrz

Sam wynik testu i sama wartość p rzadko są problemem. Problemem bywa opis: czy zdanie wynikowe rozróżnia istotność statystyczną od znaczenia praktycznego, czy wielkość efektu w ogóle jest podana, czy wynik na granicy progu jest opisany uczciwie. To da się sprawdzić w rozmowie, zanim promotor to zrobi za Ciebie czerwonym długopisem. Krótsza, słownikowa wersja tego tematu, z zapisem wyniku wg APA 7, jest w haśle wartość p.