Treść wpisu

Uwagi promotora do części statystycznej. Jak odpowiedzieć

Praca wraca z komentarzami przy tabelach i przy akapicie z wynikami, a termin stoi. Zanim zaczniesz cokolwiek liczyć od nowa, przypisz każdą uwagę do jednej z trzech kategorii. Tylko jedna z nich wymaga wracania do danych.

Forma. Uwaga dotyczy zapisu: układu tabeli, podpisu, kursywy, brakującej wartości, którą da się dopisać bez powtarzania testu. Wyniki zostają takie same.

Interpretacja. Liczby są dobre, ale zdanie o nich mówi więcej albo co innego niż test. Poprawka jest w słowach.

Metoda. Test nie pasuje do danych albo złamane zostało założenie. To jedyna kategoria, która wymaga przeliczenia, i jedyna, w której wniosek może się zmienić.

Pierwszy krok jest mechaniczny. Przepisz wszystkie uwagi do jednej listy, każdą w osobnym wierszu, i postaw przy niej literę F, I albo M. Kilkanaście komentarzy rozsypanych po marginesie wygląda groźnie. Ta sama lista, w której dziesięć pozycji to zapis, dwie interpretacja i jedna metoda, wygląda jak wieczór pracy i jedna rzecz do przemyślenia.

Uwaga o formie

„Tabela niezgodna z APA” (pielęgniarstwo)

Uwaga brzmi ogólnie, ale sprowadza się do kilku konkretów. W tabeli APA numer jest pogrubiony, tytuł stoi w wierszu pod numerem i jest zapisany kursywą, po numerze ani po tytule nie ma kropki. Każda kolumna, także pierwsza, ma nagłówek. Linie są tylko poziome. Skróty nietypowe, nazwy grup i oznaczenia wyjaśnia adnotacja pod tabelą. Przy estymatorach, czyli przy średnich czy korelacjach, podaje się przedziały ufności z podanym poziomem, na przykład 95%.

Co zrobić: popraw jedną tabelę do końca, potem przenieś ten sam wzór na pozostałe. To jest godzina, nie wieczór, i nie dotyka liczb.

„Proszę uzupełnić o wielkość efektu” (psychologia)

Ta uwaga wygląda na zarzut wobec analizy, a dotyczy zapisu. Standardy raportowania badań ilościowych APA (JARS) wymagają, żeby przy każdym teście wnioskowania podać wielkość efektu i przedział ufności, gdy jest to możliwe. Brakuje liczby, nie brakuje analizy.

W porównaniu nasilenia stresu w dwóch grupach studentek (n = 45 i n = 45) wynik brzmiał: t(88) = 2,22; p = 0,029. Grupa kontrolna uzyskała wyższe wyniki (M = 26,2; SD = 5,9) niż grupa uczestnicząca w zajęciach (M = 23,3; SD = 6,5). Wielkość efektu liczy się z tych samych średnich i odchyleń, które już są w tabeli: d Cohena = 0,47; 95% CI [0,05; 0,89], efekt słaby. Testu nie trzeba powtarzać.

Ten przedział jest szeroki. Dolna granica leży tuż przy zerze, więc dane są zgodne zarówno z efektem prawie żadnym, jak i z dużym. Jedno zdanie o tym w opisie wyników zamyka pytanie, które i tak padnie na obronie.

Uwaga o interpretacji

„Z tego nie wynika, że program obniżył masę ciała” (dietetyka)

Test pokazał różnicę między grupami. Zdanie w pracy mówi o przyczynie. Jeżeli badanie było obserwacyjne, bez losowego przydziału do grup, to z różnicy nie wynika, co ją wywołało.

Co zrobić: wypisz z opisu wyników wszystkie zdania z czasownikiem sprawczym, czyli „wpłynął”, „spowodował”, „obniżył”, „poprawił”. Przy każdym sprawdź, czy projekt badania go uzasadnia. Zamiana jest zwykle prosta: „program obniżył masę ciała” zmienia się w „uczestniczki programu uzyskały niższe wyniki niż osoby z grupy porównawczej”.

Dwa inne zdania z tej samej kategorii wracają najczęściej. Wynik istotny statystycznie nie oznacza dużego, od tego jest wielkość efektu. Brak istotności nie oznacza, że różnicy nie ma, oznacza tylko brak podstaw do odrzucenia hipotezy zerowej. Żadna z tych poprawek nie wymaga liczenia.

Uwaga o metodzie

„Dlaczego test parametryczny przy tej liczebności?” (położnictwo)

Sama liczebność niczego nie przesądza, promotor pyta o rozkład i o to, czy założenia zostały sprawdzone i opisane. Standardy raportowania wprost wymagają zgłoszenia problemów z założeniami, które mogą wpływać na trafność wniosków.

W porównaniu satysfakcji z opieki okołoporodowej w dwóch grupach (n = 24 i n = 26) rozkłady były skośne, z wyraźnym nagromadzeniem wysokich ocen: W = 0,89; p = 0,013 oraz W = 0,88; p = 0,006 w teście Shapiro-Wilka. Wariancje były jednorodne, F = 0,01; p = 0,926. Test t dał wynik nieistotny, t(48) = 1,55; p = 0,129. Test U Manna-Whitneya, właściwy dla takiego rozkładu, dał wynik istotny: Z = 1,98; p = 0,048; r = 0,28, efekt słaby. Mediany wyniosły 89,0 i 83,0.

Wniosek się zmienił, i właśnie dlatego ta kategoria jest inna niż dwie poprzednie. Zmienia się nie tylko akapit z wynikami, ale też fragment dyskusji, który się na nim opiera.

Jedno zastrzeżenie, bez którego ten przykład czyta się źle. To nie jest instrukcja, żeby policzyć oba testy i wybrać korzystniejszy. Wybór testu wynika z rozkładu i z projektu badania, a decyzja zapada przed zobaczeniem wyniku. Tutaj rozkład był skośny, więc test nieparametryczny był właściwy od początku, niezależnie od tego, co pokazał. Liczenie do skutku promotor rozpozna, bo zobaczy w pracy dwie wersje tej samej analizy bez uzasadnienia, dlaczego została wybrana ta druga.

Gdy uwaga jest niejasna

Zdarza się uwaga w rodzaju „a co z grupą kontrolną?”, dopisana ołówkiem przy tabeli z porównaniem, w pracy z fizjoterapii, w której grupa kontrolna była. Może chodzić o brakującą liczebność w tabeli, o osobne statystyki opisowe albo o zarzut, że porównanie objęło nie te grupy, co trzeba. Trzy różne rzeczy, trzy różne nakłady pracy.

Dopytaj, zanim zaczniesz poprawiać. Zasady są cztery. Jedna sprawa w jednej wiadomości. Cytuj uwagę dosłownie, żeby było wiadomo, o którym miejscu mowa. Napisz, jak ją rozumiesz, bo to zamienia pytanie otwarte na pytanie o potwierdzenie. Zadaj pytanie zamknięte z dwiema możliwościami, bo na takie łatwiej odpisać jednym zdaniem.

W praktyce brzmi to tak: „Przy tabeli 4 jest uwaga »a co z grupą kontrolną?«. Rozumiem ją tak, że w tabeli ma się znaleźć liczebność i statystyki opisowe grupy kontrolnej. Czy o to chodzi, czy raczej o osobne porównanie z grupą kontrolną, którego w tej wersji nie ma?”.

Przy okazji warto zapytać o jedną rzecz więcej: czy uwaga jest warunkiem przyjęcia pracy, czy propozycją do rozważenia. Odpowiedź decyduje o kolejności, w jakiej robisz poprawki, gdy zostało kilka dni.

Kiedy uwaga jest nowym zakresem badania

Część uwag wygląda na drobiazg, a jest kolejnym badaniem. Sygnały są cztery: uwaga wymaga zmiennej, której nie ma w zebranych danych; wymaga danych od osób, których nie było w badaniu; zmienia pytanie badawcze; albo wymaga innego modelu niż zaplanowany, na przykład analizy mediacji tam, gdzie były zaplanowane korelacje.

Sprawdzenie jest szybkie. Otwórz plik z danymi i zobacz, czy potrzebna kolumna w ogóle istnieje. Jeżeli nie, to nie jest poprawka, tylko nowe zbieranie danych, i trzeba to nazwać wprost w odpowiedzi, razem z realnym terminem. Uwaga typu „warto byłoby jeszcze sprawdzić, czy to samo działa u osób powyżej pięćdziesiątego roku życia” bywa myśleniem na głos, a nie poleceniem, i tym bardziej warto o to dopytać, zamiast zakładać najgorsze.

Gdzie kończy się samodzielna poprawka

Uwagi o formie i o interpretacji da się zrobić w jeden wieczór, mając ten tekst pod ręką. Uwaga o metodzie bywa trudniejsza, bo wymaga rozstrzygnięcia, który test jest właściwy, i przeliczenia analizy razem z opisem.

Jeżeli analiza powstała u nas, uwagi promotora i recenzenta do wykonanych analiz są w cenie przez 6 miesięcy od przekazania raportu. Jeżeli powstała gdzie indziej albo samodzielnie, pojedyncza uwaga metodologiczna mieści się zwykle w jednej konsultacji. Nie piszemy za Ciebie rozdziałów pracy ani dyskusji. Przygotowujemy opracowanie statystyczne i opis wyników, na podstawie którego piszesz własny tekst i wiesz, co przedstawiasz na obronie.

Liczby w przykładach policzono na danych symulowanych na potrzeby tego tekstu, skryptem docs/dane/przyklady-b7.py z ustalonym ziarnem losowym. Nie pochodzą z żadnego zlecenia ani z realnego badania.