Mis on ekspertide jaoks erinev Bayesi ja sagedamini kasutatavate lähenemisviiside vahel?


Vastus 1:

K: Mitu sagedasti kulub lambipirni vahetamiseks? A: Noh, leidub erinevaid kaitstavaid vastuseid ...

K: Kui palju Bayesilasi kulub lambipirni vahetamiseks? A: Kõik sõltub teie eelnevast!

Jutustaja: Olgu p tundmatu tõenäosusjaotus. Prognoosija on funktsioon, mis üritab vastata küsimusele p kohta, andes p-st valimisse kuuluva andmekogumi.

Statistika koosneb suuresti hinnangute kujundamisest ja analüüsist ...

Freddy Frequentist: Siin on hinnang, mille just koostasin! Ja ma suudan tõestada, et selle jaotuseperekonna kõigi p-de korral töötab minu hinnang "hästi".

Jutustaja: palun selgitage meie publikule, et see töötab hästi. Võite oma käsi lainetada.

Freddy (kätega vehkimine): Pole tähtis, mis p on, annab minu prognoosija alates p-st valimisse kuuluvatele andmekogumitele üldiselt üsna täpsed vastused. Muidugi ebaõnnestub see aeg-ajalt esindusliku andmestiku korral, kuid halba õnne ei saa vältida.

Basia Bayesian: palju õnne! Kas see on optimaalne "hästi töötades"? Tahan alati optimaalset.

Freddy: Oh, selle probleemi jaoks pole ühte parimat hindajat. Kuid vähemalt suudan tõestada, et minu oma on "lubatav". See tähendab, et mõni teine ​​hindaja võib mõne p-i korral mu hindest üle lüüa, kuid mitte kõigi p-i korral.

Basia: Okei ... kuidas oleks lood jaotustega p, mis te praktikas eeldate? Kas teie hinnang sobib neile eriti hästi?

Freddy: Kes teab, mis praktikas tekib?

Basia: Ilmselt teete küll. Olete juba eeldanud, et p tuleb konkreetsest perest. Kui ei, siis pole teie hinnangul garantiisid.

Freddy: Ok, sa said mu kätte. Kuid minu eeldus on üsna leebe. Inimestel on sageli mõjuvatel põhjustel [nt keskse piiri teoreem] arvata, et nende andmeid genereeriv levik pärineb enam-vähem minu perest. Tahan, et minu hindaja töötaks hästi seni, kuni p on selles peres.

Basia: Kuid oma tegeliku andmestiku saate teadlastelt. Kas neil pole konkreetsemaid teaduslikke mõtteid selle kohta, mis p tõenäoliselt on? Siis saaksite seda arvesse võttes paremaid tulemusi.

Freddy: See kõlab kahtlaselt. Teadlased soovivad objektiivseid järeldusi, mitte järeldusi, mis kajastaksid nende olemasolevaid eeldusi.

Basia: eesmärk ?? Antropoloogid ja ajakirjanikud väidavad, et objektiivse vaatepunktina pole sellist asja: nagu füüsikas, annate alati oma tugiraami. Kõige rohkem saab andmete abil teie olemasolevaid veendumusi värskendada. Kas te ei pööranud filosoofiatunnis tähelepanu? Skeptikud väidavad, et pole midagi kindlat teada. Eksistentsialistid ütlevad meile, et te ei saa oma vabast tahtest loobuda, nii palju kui soovite. Võite proovida sellest vastutusest loobuda, võttes omaks mõne põhimõtte, näiteks seaduse või lojaalsuse või religiooni - või sagedasuse! -, kuid see on vaid kaudne viis oma valikute tegemiseks.

Freddy: Blah blah blah. Statistika on matemaatika, mitte filosoofia.

Basia: statistika on epistemoloogia. Teie ja mina jätkame vana filosoofilist vestlust: kuidas saaksime andmetest midagi õigesti järeldada? Jah, meie kaasaegsed matemaatilised tööriistad võimaldavad meil rangelt täpseid järeldusi teha, kuid ainult siis, kui oleme teinud oletused. Isegi matemaatikud peavad endale võtma teatud aksioomid. Andmete käsitlemisel peame tegema ka oletusi selle kohta, kust andmed pärinesid. Ei mingeid eeldusi ega järeldusi. Elu imeb seda teed.

Freddy: Kuid ma tegin juba kerge eelduse ja leiutasin hea kalkulaatori! Kogu teie lüüasaamise jutt ei anna mulle paremat.

Basia: Ei, ma ei anna teile ühte hindajat. Annan teile võimaluse tuletada automaatselt parem hinnang, tehes rohkem oletusi. Teie töö on garanteeritud, et see töötab kõigi perekonna p korral üsna hästi, kuid minu puhul töötab see paremini tavalise p puhul.

Freddy: tüüpiline ?? Ma analüüsin halvimat juhtumit. Kas soovite teha keskmise juhtumi analüüsi, siis milline on keskmine juhtum? Kas ma peaksin kõigi p keskmiselt võrdselt olema?

Basioloogia: Pange lihtsalt oma eelnev jaotus p-le kirja, mis kajastab teie tegelikke veendumusi - enne katset - selle kohta, kuhu p võib langeda. Kui te pole milleski kindel, peaks teie eelnev olema "tasane" ja kohtlema kõiki p-sid enam-vähem võrdselt.

Freddy: Ja kui ma olen juba varasema levitamise kirja pannud ...?

Basia: siis kukub lihtsalt Bayesi prognoosija välja! Kujundamisest pole midagi järele jäänud. Andmekogumi korral kaalub Bayes'i hinnang lihtsalt teie varasemat usku iga hüpoteesi p suhtes vastavalt selle hüpoteesi tõenäosusele andmestiku genereerimisel. Kui teil on kahjumifunktsioon, siis langevad optimaalsed otsused välja uutest tõekspidamistest, jällegi ilma Bayesiani otsusteooriata edasise kujunduseta.

Freddy: "Optimaalsed" otsused ... kui usute eelmist.

Basia: Hei, tunnistasite, et teil pole põhimõttelist viisi lubatavate hinnangute hulgast valida. Ka erinevad prognoosijad teevad erinevaid ennustusi.

Pean oma eelneva täpsustama. Mul ei ole põhimõttelist viisi erinevate prioonide vahel valida; Mul peaks lihtsalt olema eelnev veendumus. Aga vähemalt olen ma selles selgesõnaline! Nii et see, kes minu ettekannet loeb, näeb täpselt, mis mu järeldustele viis. Ma ei libise ringi erinevate hinnangutega. Minu hinnang nõuab kõigi andmete kasutamist. Bayesia põhimõtete kohaselt viivad andmed ja eelnev lahutamatult järelduste juurde.

Muidugi võivad minu lugejad minuga vabalt vaielda selle üle, kas minu eelmine esindab teaduslike teadmiste hetkeseisu. Saame testida, kuidas erinevad prioorid mõjutaksid järeldusi.

Jutustaja: tänan teid ergutava arutelu eest! See läheb väga tl; dr. Publik on nüüd vaba lahkuma.

Freddy: Ma näen, et sa tõesti tahad andmetest välja pigistada iga väärtuse languse. Kuid miks proovida määratleda üks tõeline kalkulaator? Kaevandus on piisavalt hea. Ma võin siduda oma hinnanguri kallutatuse ja dispersiooni funktsioonina andmekogumi suurusest, nii et saan teile tõestada, et suured vead ei ole praktiliste andmekogumite puhul eriti tõenäolised.

Minu hinnangulist on praktilise asjana ka lihtne arvutada. Tegelikult jõudsin selleni selleni: oletasin lihtsa mõistliku protseduuri ja tõestasin siis, et sellel on head omadused. Teie Bayesia hinnangut oli piisavalt lihtne matemaatiliselt üles kirjutada, kuid võib-olla on see rataste arvutamiseks ratas, mis muudab ka analüüsi raskeks.

Basia: See on õiglane. Tegelikult pole mul tavaliselt praktilist võimalust seda täpselt arvutada. Ma pean kavandama juhusliku algoritmi või variatsioonilise lähenduse. Nii et minu praktilised järeldused ei järeldu lahutamatult andmetest ja eelnevatest. Neid mõjutab ka arvutuslik lähend.

Kuid võib-olla peaks andmete põhjal täpsete järelduste tegemine olema arvutuslikult intensiivne. Kui inimesed seda teevad, on teaduslik arutluskäik üsna seotud. Teaduslikud protsessid on keerukad, mis põhjustab keerukate mudelite perekondi. Teaduslikud katsed annavad heterogeenseid, mürarikkaid ja mittetäielikke andmeid.

Bayesi lähenemisviis lahendab kogu selle keerukuse sujuvalt. Kui olete oma mudeli välja töötanud, koosneb bayesianism ühest lihtsast statistilisest põhimõttest, mida praktikas toetab arvutuslike trikkide kogu.

Freddy: Ma luban teile, et ka nendes väljamõeldud olukordades muutuvad sagedamini esinevad hinnangud arvutuslikult kalliks. Samuti tunnistan, et mul oleks raske välja töötada sellise olukorra hindajat (rääkimata paljudest seotud olukordadest), millel oleks olnud provokatiivselt head sagedased omadused.

Ma langesin tõenäoliselt maksimaalse tõenäosuse hindaja juurde. See on nagu teie Bayesia prognoosija mahavõetud versioon, nii et seda on vähemalt sama teostatav arvutada. Ja see ei vaja eelnevat.

Basia: Ma pole hullu maksimaalse tõenäosuse pärast. See ignoreerib eelmises osas sisalduvat teavet. Ja see annab tagumise ebakindluse esinemise asemel ainult rumal hinnang. See viib teid halvemate otsusteni.

Freddy: Ehk lisan siis korravalvuri. Vaatamata sellele väheneb teie eelneva mõju andmekogu kasvades ja ka tagumine ebakindlus. Nii et vähemalt lepime omavahel kokku lõpmatus andmepiiris. Ja sel hetkel lepime ka tõega: ka mina pole hullu võimaliku tõenäosuse hindamise üle, aga vähemalt on see järjepidev.

Jutustaja: Ok siis! Tore näha teid kokkuleppel.

Freddy: Hei, asjatundmatu publik! Loodetavasti oli teil lõbus. Võite väljapääsuna meid hääletada.

Kuid Basia, meie kahe vahel, ei jaga ma endiselt teie filosoofilist seisukohta selle kohta, mida me hinnanguliselt tahame. Laskem lõpmatu andmetega fantaasia alla. Meil on piiratud andmed, nii et soovime, et hindaja risk väheneks kiiresti vastavalt andmekogumi suurusele. Kui ma kaaluksin keeruka mudeli hindajat, prooviksin tõestada, et ta tegi seda igasuguse jaotuse korral perekonnas. See ei eeldaks eelnevat.

Basia: Aga mida te mõtlete "igasuguse jaotuse kohta perekonnas"? Kas keerukate mudelite puhul on see isegi loomulik kontseptsioon? Lubage mul visandada Bayesia põhihierarhiline mudel:

  1. tõmmake hüperparameetrid varasemate jaotuse tõmbeparameetrite hulgast, mida kontrollivad jaotused, mida kontrollivad hüperparameetrid, parameetrite juhitavate jaotuste andmed

Mis siin perekond on?

Freddy: Siin käsitleksin hüperparameetreid ja parameetreid erinevalt. Olen nõus eeldama, et p-l on teie hierarhiline vorm: nagu te juba varem juhtisite tähelepanu, aktsepteerin p-i raskeid piiranguid. Ma viskan teie eelneva üle ainult hüperparameetritest, mis on pehme kitsendus lk. Kõik hüperparameetrite sätted on erineva jaotusega p, nii et tahan kujundada sagedase meetodi, mis sobib hästi iga sellise seadistuse jaoks.

Basia: Kuid te ei visanud jaotusi, mis parameetreid genereerivad.

Freddy: Õige. Nii et ma pean neid parameetreid 2. etapis käsitlema tähelepanematute andmetena, mis saadakse mudeli teel sammu 3 juurde. Nad on "ebameeldivuste" muutujad. Nii et kui ma keskmiselt juhuslike andmekogumite keskmist, teen ka parameetrite keskmise juhtumi analüüsi. Kuid kuna ma üritan näidata, et see analüüs sobib hästi igasuguse jaotuse jaoks, analüüsin hüperparameetrite halvimal juhul analüüsi.

Basia: Mis on teie motivatsioon neid kahte taset nii erinevalt kohelda ??

Freddy: Oh, ma eristan alati kahte taset. Seal on mõned jaotused. Komplekti iga jaotuse jaoks tahan keskmiselt hästi hakkama saada.

Basia: vaatate seda kolmetasandilist hierarhilist mudelit ja näete jaotuste komplekti jaotuste vahel. Kasutades eelnevat hüperparameetrite kohal, muundan selle jaotuseks jaotuste jaotuseks. Või samaväärselt üks suur jaotus. Seega analüüsin kõike lihtsalt keskmisel juhul. Ma ei näe, miks te tõmbaksite erilise piiri minu mudeli 1. ja 2. taseme vahele.

Freddy: Aga ma ei pea seda sinna joonistama. Saan seda joonistada kuhu iganes ma valin. Tahad täielikult välja visata halvima juhtumi analüüsi. Kuid pean segama halvima ja keskmise juhtumi analüüsi erineval viisil.

Kui tõmban piiri 1. tasemest kõrgemale, siis on kõik keskmisel juhul ja minu analüüs on eristatav Bayesi analüüsist. Sel juhul sisaldab perekond ainult ühte jaotust p, mis genereerib hüperparameetrid, parameetrid ja andmed. Nii et minu hinnang ei hinda p teadaolevaid omadusi. See on kahjulike muutujate, st p ja vaadeldava andmekogumi väärtuste imputeerimine.

Ja siin ei sõltu minu hindaja risk enam p-st. See on keskmine kõige kohta, sealhulgas hüperparameetrid.

Basia: Tore! See on see, mida ma alati viin miinimumini. Minu hinnang on määratletud selgelt selleks, et minimeerida Bayesi riski - see tähendab prognoosi eeldatavat kaotust vastavalt andmestiku tagumisele osale. Kuna minu hinnang minimeerib kõigi antud andmekogumite jaoks Bayesi riski, vähendab see ka teie räägitavat sagedasemat riski, mis lisaks arvestab kõigi võimalike andmekogumite keskmist.

Freddy: Jah, teie prognoosija näeb välja ideaalne lahendus, kui tõmban piiri üle 1. taseme, aktsepteerides teie eelistust mudeli osana. Kuid see on üks, üsna nõrk tulemus. Valides teistes kohtades joone tõmbamise, saan sõnastada ka täiendavaid teoreeme hinnangute kohta. Teoreemid, mis sisaldavad sümbolit, kuna nad analüüsivad halvimat juhtumit.

Basia: See "nõrk tulemus" on kõik, mida ma kunagi praktikas vajan. Teie täiendavad teoreemid on piisavalt tõesed, kuid kuidas need teid aidata saavad?

Freddy: Noh, mul on mugavam soovitada teadlastele hindajat. Ma võin neile öelda, millised teadaolevad omadused sellel on, sealhulgas mitmesugused halvimate omadustega omadused.

Basia: Kuid ka teine ​​sagedane autor võib sama hästi soovitada teistsugust prognoosijat, millel on ka head omadused, kuid mis teeb erinevaid ennustusi.

Teie teoreemid on lihtsalt rääkivad punktid; nad ajavad küsimuse segamini. Ma ei vaja soovituse tegemiseks ühtegi teoreemi. Minu Bayesian soovitus on tuletada prognoosija otse teie teaduslikest eeldustest ja insenerieesmärkidest. Ma ütlen alati teadlastele, et nad kasutaksid üldist Bayesi reeglit: kui nad tegelikult usaldavad oma ja varasemat mudelit, siis on andmete põhjal parim ennustus see, mis vähendab Bayesi riski.

Freddy: Ma arvan, et sa toetud tegelikult kogu klassi teoreemile. Mis teie arvates lahendab kogu statistika. Mida sa siis terve päeva teed? Peab olema nõme töö.

Basia: Noh, ma aitan teadlastel vormistada oma mudeli, eelneva ja kaotuse funktsiooni. See ei nõua uusi statistilisi teoreeme, kuid matemaatikat on veel vaja teha. Võimalik, et pean kavandama ja analüüsima uusi tõenäosusjaotusi. Samuti kavandan ja analüüsin algoritme, mis aitavad teadlastel parimat ennustust arvutada.

Freddy: Nad väärivad teadmist, kas see "parim ennustus" ka midagi head annab. Nii et võib-olla peaksin teie Bayes'i hinnangu andjat sageli analüüsima.

Basia: Miks vaevata? Ma lihtsalt hoiataksin neid Bayesi riskiga nende tegeliku ennustamise eest. See arv on väga kasulik teave, kuna see sõltub nende tegelikust andmekogumist.

Teie sagedane analüüs peaks pöörama sama palju tähelepanu jaotustele p, mille tegelik andmekogu välistab. Keda huvitab, et nendel hästi läheks ?? Eriti kui "hästi läheb" tähendab keskmise jõudlust paljude fiktiivsete andmekogumite korral. Need ei oma tähtsust.

Freddy: Aga mis siis, kui teadlastel pole veel "tegelikku andmestikku"? Nad analüüsivad paljusid andmekogumeid. Nad peavad eelnevalt tegema mõned otsused. Esiteks, kas nad peaksid teie statistikatarkvara kasutusele võtma? Teiseks, kui palju andmeid nad peaksid koguma?

Need on tõepoolest küsimused selle kohta, kui hästi teie tarkvara või minu tarkvara keskmisele n-ndale andmekogumile jaotusvahemiku jaoks p sobib. Igal tarkvarakarbil peaks olema toitumisteabe kleebis koos vastustega neile küsimustele.

Basia: Ok, kuid see kleebis ei pea keskenduma halvimal juhul lk. Teadlastel on üle p. Minu tarkvara konsulteerib eelnevaga ja teie oma mitte. Kuid mõlemal juhul tahavad teadlased teada saada, kui hästi tarkvara nende varasemate hulgast valitud p jaotuste korral hakkama saab. Ma oskasin seda nende jaoks hinnata, võttes varasematest jaotustest ja andmekogumitest valim.

Freddy: Põhimõtteliselt võiksid. Kuid praktikas võiksite kleebise avaldada enne, kui teate, kes tarkvara kasutab. Sagedased teoreemid on kenad ja kantavad - just nagu toitumissildid, on ka nende eesmärk aidata palju erinevaid kasutajaid, kellel võib olla erinev vanus.

Saame sõnastada sagedase hinnangu, ilma kasutaja eelnevat teadmata. Ja võime avaldada selle halvimal juhul tekkiva riski kasutaja teadmata. Kasutaja teab, et halvimal juhul on vähemalt keskmise riskiriski ülaosa, sõltumata sellest, kuidas nad keskmist eelistavad.

Basia: Ma arvan, et teie vastuväide taandub jällegi arvutuslike ebamugavuste tekitamiseks! Soovite välja töötada üldhinnangud ja tõestada üldisi teoreeme ... et vältida selliste spetsiifiliste arvutuste tegemist, mis annaksid teile täpsetes olukordades parima võimaliku vastuse.

Pole ime, et statistika on ajalooliselt keskendunud üldistele teoreemidele. Rohkem teha polnud arvutuslikult teostatav. Võib-olla olen ma Bayesi päritolu, sest ma tulin vanusesse, mis oli ümbritsetud arvutusvõimest ja sellistest tehnikatest nagu MCMC. Ma austan teoreetiliste piiride üldist ja elegantsi, lihtsal juhul, kui neid saate. Kuid hindan ka masinõpet, mis keskendub konkreetsete ennustamissüsteemide jõudluse mõõtmisele ja maksimeerimisele, selle asemel, et nõrgemate süsteemide kohta laiemaid teoreeme tõestada.


Vastus 2:

Kõik huvitavad ja enamasti väga kehtivad vastused.

Lisan selle:

Kui soovite näiteks sõda võita, leida uut ravimit, teenida börsil raha, ennustada ilma või ennustada valimiste tulemusi, on kõige parem kasutada Bayesani lähenemisviisi.

Teisisõnu, Bayesi lähenemisviis on see, mis tõesti toimib. (eeldusel, et pakute seda oma parimate teadmistega kasutatavate mudelite ja nendes sisalduvate parameetrite väärtuste kohta).

Selle selgitus on see, et võimalus seisneb tegelikkuse modelleerimises ja Baysia lähenemisviis annab teile parema modelleerimisjõu.


Vastus 3:

Arvan, et teised on sellele konkreetsele küsimusele täpselt vastanud, kuid lisaksin ka, et bayeslane on rohkem kooskõlas sellega, kuidas me kõik uut teavet töötleme ... isegi kui te olete tegelikult ... sagedamini tegutsev inimene.

Ütleme, et päikesetõusu valdkonna tuntud asjatundja ütleb teile, et tema äsja loodud ennustusmudel (algoritm) ütleb, et päikesetõus hakkab tulema oodatust palju hiljem. Tegelikult ootab ta nädala jooksul päikesetõusu kell 8:00. Teie loomulik ja loogiline reaktsioon sellele on võtta olemasolev arusaam (et päikesetõus on viimasel ajal olnud umbes kella kuueni) ja muuta oma ootusi järgmise nädala päikesetõusuks.

Teete seda isegi siis, kui mudel näib kasutavat heli-matemaatikat ja te ei leia algoritmis ega sisendites loogikat. Teil on aastaid täheldatud andmeid, mis ütlevad, et päikesetõus on järgmisel nädalal kella 6 paiku.

See on Bayesia lähenemisviisi nukrakujuline ja mittetemaatikaversioon.

Isegi neil, kes võivad leiu absoluutarvudes ümber lükata, on tõenäoline, et Bayesi usk on nende tuum.