Milline on peamine erinevus katuseharja ja väikseima ruudu regressiooni vahel?


Vastus 1:

Vähimate ruutude puhul teatate lihtsalt lahenduse, mis annab väikseima ruutude arvu summa.

Ridge'is minimeerite ruutude vigade summa pluss „trahv”, mis on regressioonikoefitsientide summa, korrutatuna trahvi skaleerimise teguriga. Selle tagajärg on see, et Ridge "kahandab" koefitsiente nulli lähedale, st at eelistab koefitsiente, mis on nullilähedased.


Vastus 2:

Lineaarne regressioon

Regressioon on tehnika, mida kasutatakse muutujate vaheliste seoste modelleerimiseks ja analüüsimiseks ning sageli nende muutuste panuse ja konkreetse tulemuse koostootmise vahel.

Lineaarne regressioon tähendab regressioonimudelit, mis koosneb täielikult lineaarsetest muutujatest. Alustades lihtsast juhtumist, on ühe muutuja lineaarne regressioon tehnika, mida kasutatakse ühe sisendiga sõltumatu muutuja (tunnusmuutuja) ja väljundist sõltuva muutuja vahelise suhte modelleerimiseks, kasutades lineaarset mudelit, st joont.

Üldisem juhtum on mitme muutujaga lineaarne regressioon, kus luuakse mudel suheteks mitmete sõltumatute sisendmuutujate (tunnusmuutujad) ja väljundist sõltuva muutuja vahel. Mudel jääb lineaarseks, kuna väljund on sisendmuutujate lineaarne kombinatsioon. Mitme muutujaga lineaarset regressiooni saame modelleerida järgmiselt:

Y = a_1 * X_1 + a_2 * X_2 + a_3 * X_3 ……. a_n * X_n + b

Kui a_n on koefitsiendid, X_n on muutujad ja b on erapoolik. Nagu näeme, ei hõlma see funktsioon mingeid mittelineaarsusi ja sobib seega ainult lineaarselt eraldatavate andmete modelleerimiseks. Seda on üsna lihtne mõista, kuna me lihtsalt kaalume iga tunnusmuutuja X_n olulisust, kasutades koefitsientide kaalu a_n. Me määrame need kaalud a_n ja stohastilise gradiendi laskumise (SGD) nihke diagonaal. Vaadake visuaalsema pildi saamiseks allolevat illustratsiooni!

Illustratsioon selle kohta, kuidas gradiendi laskumine leiab lineaarse regressiooni jaoks optimaalsed parameetrid

Mõned põhipunktid lineaarse regressiooni kohta:

  • Kiire ja lihtne modelleerida ning see on eriti kasulik siis, kui modelleeritav suhe pole eriti keeruline ja kui teil pole palju andmeid.Väga mõistlik ja tõlgendatav on väga intuitiivne.Linear-regressioon on kõrvalnähtude suhtes väga tundlik.

Ridge regressioon

Tavaline lineaarne või polünoomne regressioon ebaõnnestub juhul, kui tunnusmuutujate hulgas on kõrge kollineaarsus. Kollineaarsus on ligilähedaste suhete olemasolu sõltumatute muutujate vahel. Kõrge kollineaarsuse olemasolu saab kindlaks teha mitmel erineval viisil:

  • Regressioonikordaja ei ole märkimisväärne, kuigi teoreetiliselt peaks see muutuja Y-ga väga korrelatsioonis olema. X-tunnusmuutuja lisamisel või kustutamisel muutuvad regressioonikoefitsiendid dramaatiliselt. .

Esmalt saame vaadata standardse lineaarse regressiooni optimeerimise funktsiooni, et saada ülevaade sellest, kuidas harju regressioon aitab:

min || Xw - y || ²

Kui X tähistab tunnusmuutujaid, tähistab w kaalu ja maapealset tõde. Ridge'i regressioon on parandusmeede, mis võetakse mudeli regressiooniprognoosijate muutujate kollineaarsuse leevendamiseks. Kollineaarsus on nähtus, mille korral saab mitme regressioonimudeli ühte tunnusmuutujat teistest lineaarselt ennustada olulise täpsusega. Kuna tunnusmuutujad on sel viisil nii korrelatsioonis, on lõplik regressioonimudel üsna piiratud ja lähenduses jäik, st sellel on suur dispersioon.

Selle probleemi leevendamiseks lisab Ridge Regression muutujatele väikese ruuduga kallutatud teguri:

min || Xw - y || ² + z || sisse || ²

Selline ruudukujuline tegur tõmbab tunnusmuutuja koefitsiendid sellest jäikusest eemale, viies mudelisse väikese koguse eelpinget, kuid vähendades oluliselt dispersiooni.

Mõned peamised punktid Ridge'i regressiooni kohta:

  • Selle regressiooni eeldused on samad kui väikseima ruudu regressioon, välja arvatud normaalsus. Seda ei saa eeldada. See kahandab koefitsientide väärtust, kuid ei jõua nullini, mis näitab, et funktsiooni valimisel pole funktsiooni