W2.L6-9. 중간 Summary

ln P(E) formulation

 

 

$Q(H \mid E, \lambda) = P(H, E \mid \theta)$ 일 때  $\text{ln} P (E \mid \theta) $ 와 같아진다.

그러니 $Q(H \mid E, \lambda) = P(H, E \mid \theta)$ 를 만족시키는 $ Q(H \mid E, \lambda) $ 를 찾아보자.

 

 

Q 잡아보기

 

Example Model

 

개별 $q_{\mu}$, $q_{\tau}$ 각각 최적화해보면

 

$q_{\mu}$ ~ Normal Distribution

$q_{\tau}$ ~ Gamma Distribution

 

Since the two terms are interlocked, we need a coordinated optimization.

(1) $a^{*}$, $\mu^{*}$ 계산

(2) $\lambda^{*}$ 초기값 random 하게 잡고, $b^{*}$, $\lambda^{*}$ ... iteratively 계산 ...

 

 

개별 $q$ 최적화의 결과

$P(H, E \mid \theta)$ 를 가장 잘 근사할 수 있는 $Q(H \mid E, \lambda) $ 도출 완료!

 

 

 

Reference
문일철 교수님 강의