Definicja

Walidacja krzyżowa

Inne nazwy: cross-validation, CV, walidacja k-krotna. Kategoria: modele statystyczne.

Walidacja krzyżowa ocenia procedurę modelowania przez wielokrotne rozdzielenie dostępnych danych na część uczącą i część oceniającą. W walidacji k-krotnej model jest uczony kolejno na k - 1 foldach i oceniany na pozostałym foldzie, a wyniki ze wszystkich foldów są podsumowywane.

Co jest walidowane. W każdym foldzie od nowa trzeba wykonać wszystkie kroki zależne od danych, w tym imputację, standaryzację, selekcję cech i strojenie modelu. Wykonanie ich wcześniej na całym zbiorze powoduje przeciek informacji i zwykle zawyża ocenę. Schemat podziału musi respektować strukturę danych, na przykład osoby, klastry i czas, aby powiązane obserwacje nie trafiły po obu stronach tego samego podziału.

Walidacja wewnętrzna a zewnętrzna. Zwykła walidacja krzyżowa wykorzystuje tę samą próbę źródłową, dlatego jest walidacją wewnętrzną. Walidacja zewnętrzna ocenia zamrożony model w nowych danych uczestników, okresu, placówki lub populacji, które nie służyły do rozwoju modelu. CV nie zastępuje takiego sprawdzenia przenoszalności.

Częsty błąd. Wybór cech na całym zbiorze, a następnie CV tylko końcowego modelu. Fold oceniający wpłynął wtedy na wybór predyktorów, więc nie jest niezależnym sprawdzianem procedury.

Przykład syntetyczny. Pięciokrotna CV regresji liniowej dała MAE kolejno 0,278; 0,276; 0,234; 0,275 i 0,480. Średnie MAE wyniosło 0,309, a odchylenie standardowe wyników foldów 0,097. Podano wszystkie foldy, ponieważ sama średnia ukrywa ich zmienność.

Jak to zapisać w pracy. Zastosowano pięciokrotną walidację krzyżową z tasowaniem i ziarnem 20260909. Cały preprocessing oraz dopasowanie wykonywano osobno wewnątrz każdego foldu; średnie MAE wyniosło 0,309, a SD = 0,097 między wynikami foldów. Opisano jednostkę podziału, sposób strojenia i odrębny status walidacji zewnętrznej.

Dane i wyniki są syntetyczne; odtwarza je docs/dane/przyklady-slownik-g07b.py.

Powiązane hasła: Współczynnik determinacji, Regresja liniowa, braki danych, format długi i szeroki

Jeśli chcesz ocenić cały proces modelowania bez przecieku danych, Wyceń projekt.