Treść wpisu

Analiza policzona przez narzędzie AI. Dziesięć sygnałów do sprawdzenia

Coraz więcej osób wkleja surowe dane albo pytanie o test statystyczny do narzędzia językowego i dostaje z powrotem gładko sformułowany wynik, gotowy do wklejenia w rozdział z wynikami. Problem w tym, że narzędzie językowe generuje tekst, który brzmi jak wynik analizy, nie zawsze taki, który z niej faktycznie wynika. Odróżnienie jednego od drugiego zajmuje dziesięć minut, jeśli wiesz, czego szukać.

Dlaczego to w ogóle problem, skoro ludzie też się mylą

Błędy w raportowaniu statystyk nie są wynalazkiem sztucznej inteligencji. Analiza ponad ćwierć miliona wartości p opublikowanych w ośmiu czasopismach psychologicznych w latach 1985-2013 wykazała, że w połowie artykułów stosujących testy istotności znalazła się przynajmniej jedna wartość p niezgodna z podaną statystyką testu i stopniami swobody. Ludzie robią ten błąd regularnie, a nikt tego nie sprawdza, bo sprawdzenie każdej liczby ręcznie jest żmudne.

Narzędzie językowe dorzuca do tego własną wadę: generuje najbardziej prawdopodobny ciąg słów, nie wynik obliczenia. Jeśli nie ma dostępu do środowiska, w którym faktycznie policzy dane (a większość rozmów z chatbotem go nie ma), liczby w odpowiedzi mogą być tylko stylistycznie prawdopodobne, nie matematycznie poprawne.

Dziesięć sygnałów

Pierwszy: stopnie swobody nie pasują do liczebności próby. Dla dwóch grup niezależnych stopnie swobody testu t to liczba osób minus dwa. Jeśli masz trzydzieści osiem osób, a wynik podaje sto dwadzieścia stopni swobody, ktoś skopiował liczbę z innego kontekstu.

Drugi: wartość p nie zgadza się ze statystyką testu i stopniami swobody. To da się sprawdzić w kalkulatorze rozkładu t online w kilkanaście sekund, i to jedyny sygnał z tej listy, który wymaga narzędzia zamiast samej uwagi.

Trzeci: wielkość efektu podana bez przeliczenia. Jeśli masz średnie i odchylenia obu grup, d Cohena da się policzyć z tych samych liczb. Wartość, która nie zgadza się z tym przeliczeniem, została wpisana, nie obliczona.

Czwarty: test dobrany do niewłaściwej skali zmiennej, na przykład korelacja Pearsona dla pojedynczej pozycji kwestionariusza o pięciu odpowiedziach, gdzie właściwy wybór to korelacja rangowa.

Piąty: brak wzmianki o założeniach testu. Test t i ANOVA zakładają rozkład zbliżony do normalnego i porównywalne wariancje grup. Odpowiedź, która przeskakuje od danych prosto do wyniku testu, pomija krok, który w rzeczywistej analizie się nie pomija.

Szósty: liczebności grup nie sumują się do liczebności całej próby. Prosty rachunek, a często pomijany.

Siódmy: precyzja niedopasowana do konwencji. Wartość p zapisana jako 0,0328756142 wygląda na obliczoną, ale żaden standard raportowania nie każe podawać tylu miejsc. Odwrotny sygnał to p = 0,000, zapis, którego standard APA zabrania, bo żadna wartość p nie jest dokładnie zerem.

Ósmy: brak źródła liczb. Jeśli nie da się prześledzić, z których surowych danych wynik powstał, nie da się go też zweryfikować.

Dziewiąty: interpretacja mocniejsza niż uzasadnia pojedynczy test. Sformułowania „udowodniono” albo „potwierdzono” przy jednym teście na jednej próbie idą dalej, niż statystyka na to pozwala.

Dziesiąty, najprostszy do sprawdzenia samodzielnie: zmień kilka liczb w danych wejściowych i zapytaj jeszcze raz. Jeśli opis wyniku brzmi tak samo dobrze niezależnie od tego, co wkleiłaś, prawdopodobnie nie powstał z tych konkretnych danych.

Jeden przykład, trzy niezgodności

Poniższy przykład jest zmyślony, żeby pokazać mechanizm błędu, nie prawdziwy wynik żadnego badania. Student wkleił dane z dwóch grup, osiemnaście i dwadzieścia osób, porównanie dziennego spożycia energii po dwóch dietach, i dostał odpowiedź z trzema niezgodnościami naraz.

Co podało narzędzie	Co wynika z danych	Niezgodność
t(120) = 1,20	18 + 20 osób, stopnie swobody = 36	Stopnie swobody nie pasują do liczebności o ponad trzysta procent
p = 0,001	Dla t = 1,20 przy df = 36 poprawna wartość to p = 0,238	Wynik nieistotny podano jako silnie istotny
d = 0,45	Z podanych średnich (24,0 i 20,0) i odchyleń (6,0 i 6,5) wynika d = 0,64	Wielkość efektu nie zgadza się z własnymi danymi wejściowymi

Każda z tych trzech liczb osobno wygląda wiarygodnie. Razem, po sprawdzeniu pierwszego sygnału z listy, pokazują, że cały wynik trzeba przeliczyć od nowa, nie tylko poprawić zapis.

Co zrobić z takim wynikiem

Wynik z niezgodnym stopniem swobody albo niezgodną wartością p nie nadaje się do poprawki kosmetycznej, bo nie wiadomo, która z liczb jest prawdziwa, a która wygenerowana. Bezpieczniej policzyć od nowa z surowych danych niż zgadywać, którą z trzech niezgodnych liczb zostawić.

Jeśli masz gotowy wynik z narzędzia AI i nie masz pewności, czy się zgadza, sprawdzenie istniejącej analizy jest częścią bezpłatnej wyceny, niezależnie od tego, ile błędów w niej znajdziemy.