Obserwacja odstająca
Obserwacja odstająca: jak rozpoznać nietypowy wynik, sprawdzić jego pochodzenie i uniknąć automatycznego usuwania poprawnych danych.
Definicja
Obserwacja odstająca
Inne nazwy: wartość odstająca, outlier, obserwacja skrajna. Kategoria: jakość danych.
Obserwacja odstająca wyraźnie różni się od pozostałych wartości według przyjętego kryterium albo modelu. Może być błędem zapisu, pomiaru lub kodowania, ale może też być poprawnym, naukowo ważnym wynikiem albo sygnałem niewłaściwego modelu rozkładu. Etykieta „odstająca” nie przesądza o przyczynie ani o usunięciu obserwacji.
Jak z nią postąpić. Najpierw trzeba sprawdzić formularz źródłowy, jednostkę, zakres skali, duplikaty i procedurę pomiaru. Następnie ocenia się wykresy, wpływ punktu na wynik oraz zgodność kryterium wykrywania z rozkładem i projektem. Jeżeli wartość jest prawidłowa, można zachować ją i zastosować metodę odporną albo pokazać analizę wrażliwości z obserwacją i bez niej. Usunięcie wymaga jawnej reguły i uzasadnienia niezależnego od tego, czy wynik stał się istotny.
Częsty błąd. Automatyczne kasowanie każdej wartości poza „wąsami” wykresu pudełkowego. Granice oparte na 1,5 IQR są regułą oznaczania punktów do kontroli, nie dowodem błędu. Testy odstających mają własne założenia, a naruszenie normalności może samo tworzyć wiele oznaczeń.
Przykład syntetyczny. W skali z zakresem od 0 do 40 zapisano wynik 65. Kontrola formularza wykazuje, że omyłkowo wpisano 65 zamiast 35, więc wartość należy skorygować i udokumentować. Gdyby 65 było prawidłowym czasem wykonania zadania bez górnej granicy, samo odstępstwo od pozostałych wyników nie uzasadniałoby usunięcia.
Jak to zapisać w pracy. Potencjalne obserwacje odstające oznaczono na wykresie pudełkowym i zweryfikowano w danych źródłowych. Jedną oczywistą pomyłkę zapisu skorygowano na podstawie formularza; poprawne wartości skrajne zachowano i uwzględniono w analizie wrażliwości.
Przykład jest syntetyczny i ilustruje dwie możliwe przyczyny wartości skrajnej.
Powiązane hasła: Kwartyle i rozstęp międzykwartylowy, Mediana i średnia, Skośność, Odchylenie standardowe
Jeśli pojedyncze wyniki silnie zmieniają analizę, Wyceń projekt.
Wracasz do słownika?
Zobacz pozostałe hasła albo wyceń swój projekt.