Treść wpisu

Wyszło nieistotnie. Co teraz

Test wyszedł nieistotny, termin oddania pracy jest blisko, a wartość p na ekranie wygląda jak wyrok na cały rozdział z wynikami. Nie jest. Wynik nieistotny to wynik, tylko trzeba go opisać inaczej niż istotny.

Co znaczy „nie odrzuciliśmy hipotezy zerowej”

Wartość p mówi jedno: jak bardzo zebrane dane są niezgodne z modelem, w którym różnicy nie ma. Nie podaje prawdopodobieństwa, że Twoja hipoteza jest prawdziwa, i nie mierzy wielkości efektu. Amerykańskie Towarzystwo Statystyczne wypisało to w sześciu punktach w 2016 roku, w dużej mierze dlatego, że p od dekad bywa czytane jako werdykt o prawdziwości hipotezy.

Stąd bierze się rozróżnienie, które promotor wyłapuje od razu. „Nie wykazano różnicy” i „wykazano brak różnicy” to dwa różne zdania, a w pracy wolno napisać tylko pierwsze. Altman i Bland zamknęli to w tytule notatki w BMJ z 1995 roku: brak dowodu nie jest dowodem braku. Badanie, które nie wykryło efektu, bardzo często po prostu nie miało czym go wykryć.

Dlaczego wyszło nieistotnie

Powody sprowadzają się do trzech i tylko jeden z nich znaczy, że efektu nie ma.

Próba bywa za mała jak na wielkość efektu, którego szukasz. Zmienność w grupach bywa tak duża, że różnica ginie w rozrzucie. Albo efekt rzeczywiście jest bliski zeru.

Dwa pierwsze powody mówią o precyzji pomiaru, nie o naturze zjawiska. Odróżnia się je od trzeciego nie przez wpatrywanie się w p, tylko przez policzenie wielkości efektu razem z przedziałem ufności.

Ten sam efekt, dwie liczebności

Poniższe dane są symulowane, żeby pokazać jedną rzecz, i nie pochodzą z żadnego zlecenia. Wszystkie liczby policzył skrypt docs/dane/przyklady-b1.py z ustalonym ziarnem losowym.

Badanie porównuje ćwiczenia oddechowe przed zabiegiem z brakiem takich ćwiczeń. Zmienna zależna to nasilenie lęku na skali od 0 do 40 punktów, wyższy wynik znaczy silniejszy lęk. W populacji różnica wynosi 2,1 punktu, czyli d = 0,35. Z tej samej populacji losujemy dwie próby, jedną małą i jedną dużą.

Mała próba, N = 30, po piętnaście osób w grupie. Grupa kontrolna: M = 24,6; SD = 5,4. Grupa z ćwiczeniami: M = 22,8; SD = 4,1. Wynik testu t dla prób niezależnych: t(28) = 1,02; p = 0,317; d = 0,37; 95% CI [−0,35; 1,09]. Różnica średnich wyniosła 1,8 punktu, 95% CI [−1,8; 5,4].

Duża próba, N = 300, po sto pięćdziesiąt osób w grupie. Grupa kontrolna: M = 23,5; SD = 5,8. Grupa z ćwiczeniami: M = 21,3; SD = 5,6. Wynik: t(298) = 3,29; p = 0,001; d = 0,38; 95% CI [0,15; 0,61]. Różnica średnich wyniosła 2,2 punktu, 95% CI [0,9; 3,5].

Obserwowana wielkość efektu jest w obu próbach praktycznie taka sama, 0,37 i 0,38. Różni się szerokość przedziału ufności. Przy trzydziestu osobach mieści się w nim i spadek lęku, i jego wzrost, więc dane nie rozstrzygają niczego. Przy trzystu przedział leży w całości po jednej stronie zera.

Do tego dochodzi moc. Przy N = 30 szansa wykrycia efektu wielkości d = 0,35 wynosi 0,15, czyli takie badanie znajduje go mniej więcej raz na siedem powtórzeń. Przy N = 300 moc wynosi 0,86. Najmniejszy efekt, jaki próba trzydziestoosobowa wykrywa z mocą 0,80, to d = 1,06, a więc różnica bardzo duża jak na badania w naukach o zdrowiu. Żeby wykryć d = 0,35 z mocą 0,80, potrzeba 130 osób w grupie, razem 260.

Co policzyć teraz

Zacznij od wielkości efektu z przedziałem ufności dla każdego testu wnioskowania, który jest w pracy. Standardy raportowania APA (JARS) wymagają obu tych wartości przy każdym takim teście, a przy wyniku nieistotnym to one niosą całą informację: przedział pokazuje, jakie efekty dane wykluczają, a jakich nie.

Policz też, jaki najmniejszy efekt Twoja liczebność wykrywa z sensowną mocą. To jest analiza czułości i robi się ją na parametrach badania, nie na wyniku. Mocy liczonej po fakcie z uzyskanego p nie podawaj: Hoenig i Heisey pokazali w 2001 roku, że jest ona jednoznaczną funkcją p i nie wnosi nic nowego do interpretacji.

Sprawdź jeszcze założenia testu, bo złamane założenie zmienia sens wyniku bardziej niż sam próg 0,05. Kierunek różnicy możesz opisać, ale bez orzekania o istotności, na przykład „średnia w grupie z ćwiczeniami była niższa, różnica nie osiągnęła istotności statystycznej”.

Czego nie robić

Nie usuwaj obserwacji, które psują wynik. Nie licz kolejnych testów, aż któryś wypadnie po Twojej myśli. Nie dobieraj osób do próby dopóty, dopóki p nie spadnie poniżej progu. Nie zmieniaj hipotezy po zobaczeniu wyników i nie przenoś jej cicho do innej zmiennej.

To nie są przesadne skrupuły. Simmons, Nelson i Simonsohn policzyli w 2011 roku, że badacz korzystający ze wszystkich takich swobód naraz podnosi odsetek fałszywych odkryć z zakładanych 5% do około 61%. Recenzent, który zna te mechanizmy, rozpozna je po niespójnych stopniach swobody i po hipotezie, która nie pasuje do opisanej metody.

Trzy zdania do dyskusji

Nieistotny wynik opisuje się krócej niż istotny. Wystarczy schemat trzech zdań, który wypełniasz swoimi liczbami.

Zdanie pierwsze podaje wynik formalnie, z testem, stopniami swobody, wartością p i wielkością efektu z przedziałem. Zdanie drugie mówi, co z tego wynika, czyli że dane nie dały podstaw do przyjęcia hipotezy, przy czym przedział ufności nadal obejmuje efekty o określonej wielkości. Zdanie trzecie wskazuje ograniczenie i kierunek dalszych badań: liczebność próby, moc, jednorodność grupy, sposób pomiaru zmiennej.

W przykładzie z małej próby wyglądałoby to tak: „Nie stwierdzono istotnej statystycznie różnicy w nasileniu lęku między grupami, t(28) = 1,02; p = 0,317; d = 0,37; 95% CI [−0,35; 1,09]. Przedział ufności obejmował zarówno brak różnicy, jak i efekty umiarkowane, wynik nie pozwala więc rozstrzygnąć o skuteczności ćwiczeń oddechowych. Przy liczebności N = 30 moc wykrycia efektu wielkości d = 0,35 wynosiła 0,15, co ogranicza wnioskowanie i uzasadnia powtórzenie badania na większej próbie”.

Trzy zdania, żadnego usprawiedliwiania się i żadnego tłumaczenia, dlaczego „prawie wyszło”.

Gdzie kończy się nasza rola

Dyskusji ani żadnego rozdziału pracy nie napiszemy za Ciebie. Przygotowujemy wzorzec opisu oparty na Twoich wynikach, ten sam schemat, który widzisz wyżej, wypełniony liczbami z Twoich danych, i wyjaśniamy, skąd każda z nich się wzięła. Tekst do pracy powstaje po Twojej stronie.

Jeśli chcesz zrozumieć własny wynik przed rozmową z promotorem, najszybciej załatwia to konsultacja: pół godziny kosztuje 150 zł, godzina 300 zł. Szczegóły są na stronie konsultacji.