Definicja

Regresja liniowa

Inne nazwy: model liniowy, OLS przy estymacji metodą najmniejszych kwadratów. Kategoria: modele statystyczne.

Regresja liniowa opisuje warunkową średnią wyniku jako liniową kombinację predyktorów. Współczynnik predyktora oznacza oczekiwaną zmianę wyniku przy wzroście tego predyktora o jednostkę, przy stałych wartościach pozostałych predyktorów i w zakresie danych. Reszta jest różnicą między wartością zaobserwowaną a dopasowaną.

Cel i granice. Ten sam zapis równania może służyć opisowi zależności, wnioskowaniu albo predykcji, ale te cele wymagają innych kryteriów oceny. Dobre dopasowanie w próbie nie dowodzi trafnej predykcji poza próbą, a współczynnik regresji sam nie ma interpretacji przyczynowej. Liniowość dotyczy postaci średniej warunkowej, natomiast poprawność błędów standardowych i przedziałów ufności zależy także od założeń o resztach, projekcie i doborze modelu. Predykcja dla wartości predyktora poza zaobserwowanym zakresem jest ekstrapolacją i może być zawodna nawet przy dobrym dopasowaniu w próbie.

Częsty błąd. Zdanie „X wpływa na Y”, oparte wyłącznie na dodatnim współczynniku z danych obserwacyjnych. Model pokazuje zależność warunkową przy przyjętej specyfikacji, nie usuwa automatycznie zakłócenia, błędu pomiaru ani odwróconej przyczynowości.

Przykład syntetyczny. Dla 12 obserwacji model dał wyraz wolny 1,229, nachylenie 1,862, R² = 0,9983 i skorygowane R² = 0,9981. Największa bezwzględna reszta wyniosła 0,427. Predykcja dla x = 20 wyniosła 38,474, ale x w danych mieściło się od 1 do 12, więc jest to ekstrapolacja, a nie zweryfikowana trafność.

Jak to zapisać w pracy. Dopasowano model liniowy Y ~ X. Współczynnik X wyniósł b = 1,86; podano 95% CI, p, R² i skorygowane R², zakres X oraz diagnostykę reszt. Nie nadano współczynnikowi interpretacji przyczynowej, ponieważ projekt jej nie identyfikuje.

Dane i wyniki są syntetyczne; odtwarza je docs/dane/przyklady-slownik-g07a.py.

Powiązane hasła: reszty modelu, liniowość i monotoniczność, współliniowość, obserwacja odstająca

Jeśli model ma służyć decyzji lub predykcji, Wyceń projekt.