| E step
Local Information
$\gamma, \phi$ 는 document 마다 Learning 필요
| M step
Global Information
$\alpha, \beta$ 는 전체 Loop 정보
| LDA Evaluation
잘 만들어졌는지 잘 안만들어졌는지 확인하는 방법
어떤 단어가 어떤 주제에 대해서 얼마만큼 나타났는지 확인 ...
Topic 1 ... Word1 이 가장 잘 설명
Topic 2 ...
Topic 3 ... Word3 과 Word4 가 가장 잘 설명
$\textup{P}(w_{d, n} \mid \alpha, \beta)$ ... 확률은 매우 작은 값일 것이기 때문에 log likelihood 로 표현
Unsupervised Learning
그러나 supervised setting 으로 만들어서 평가 (Held-out)
Reference
문일철 교수님 강의
https://www.youtube.com/watch?v=o15iSaJOQ9A&list=PLzZ7PPT4KK5qpd-1VF4qmFMlpnr1is7Pu&index=56
https://www.youtube.com/watch?v=o15iSaJOQ9A&list=PLzZ7PPT4KK5qpd-1VF4qmFMlpnr1is7Pu&index=57
'Study > Lecture - Advance 1' 카테고리의 다른 글
| Variational Inference - Summary (0) | 2023.11.29 |
|---|---|
| W3.L18. Parameter Optimization of ELBO (0) | 2023.11.29 |
| W3.L16-17. Optimization of ELBO (0) | 2023.11.29 |
| W3.L14-15. Derivation of the other terms (0) | 2023.11.28 |
| W3.L12-13. Dirichlet Distribution (0) | 2023.11.16 |
