Kuidas ma saan eristada EM-algoritmi ja MLE-i erinevust?


Vastus 1:

Ootuste maksimeerimise algoritm (EM) püüab leida varjatud muutujatega mudeli parameetritele maksimaalse tõenäosuse hinnangu (MLE). Parameetrid ei ole varjatud muutujad, need on protsessis marginaliseeritud. Ehkki EM-ile ei ole tagatud, et see läheneks globaalsele maksimumile, on see siiski tagatud, et see läheneb maksimaalsele ja parandab mudeli tõenäosust igal sammul. Tüüpiline näide on Baum-Welchi algoritm, mida kasutatakse olekuruumi mudelite sobitamiseks.


Vastus 2:

Uurin seda kontseptsiooni nüüd ja loodan, et mu vastus on õige, kuid tahaksin ka tagasisidet parandada.

Nii et minu arvates on MLE viis tõenäosusfunktsiooni hindamiseks, võtmata arvesse priori tõenäosusi. Teisisõnu, kui veeretame stantsi 5 saamiseks, omistab MLE jaotusele kõrgeima skoori (nimetagem seda Batmani jaotuseks), mille tõenäosus on 1 3-l väljundil ja 0 teistel (mis on vastupidine -intuitiivne)

EM-algoritm võtab siiski eelnevalt arvesse teadmist, et 5-i tõenäosus ausal survel on 1/6. Seetõttu võetakse seda arvesse EM-algoritmi E-sammu loomisel. Tegelikkuses on selle saavutamiseks erinevaid viise, näiteks Bayesian priorside, Markovi mudelite jne kaudu.

Kui keegi leiab minu arusaamise tõttu vea, soovitage seda muuta.


Vastus 3:

MLE pakub funktsiooni Objective, mida tuleb antud andmete jaoks optimeerida.

Optimeerimist saab ise teha mitmel erineval viisil. EM (Expectation Maximization) on üks optimeerimise viise, kasutada saab ka kõiki muid optimeerimise tüüpe.

Lühidalt MLE määratleb optimeerimise eesmärgi, samal ajal kui EM lahendab selle iteratiivselt.