W1.L1-5. 중간 Summary

1. Variational Transform

Variational Transform:
복잡한 함수 → 단순한 형태로 Approximation!
공짜는 아니고 Variational parameter $\lambda$ 를 introduce 하여 이를 잘 조절하여 simplification 가능
(대신 그 과정에서 최적화해야하는 variational parameter 발생)
$$f(x) = min_{\lambda} \left\{ \lambda^{T} x - f^{*}(\lambda) \right\}$$
 

2. Applying to Probability Function

확률도 함수의 형태! Probability distribution function!
알 수 없는 Complex 확률 모델을 우리가 잘 알고 있는 Simple 확률 모델로 Transform 가능
 

 

3.  ln P(E) formulation

우리가 궁금한 것. 알아내고 싶은 확률: Evidence 가 Given 일 때 알려지지 않은 Hidden 에 대한 확률
$$P(H \mid E) = \frac{P(H, E)}{P(E)} $$
 
계산하기 위해서는 $P(H,E)$ 그리고 $P(E)$ 필요
하지만 Evidence에 대한 확률 $P(E)=\sum_{H}P(H,E)$ 계산이 쉽지가 않다 (전체 marginalization 어려움)
그래서 우리는 $P(E)$ 라는 것을 Approximation 해보자!

4. ELBO

자 그러면 $Q(H \mid E, \lambda) = P(H \mid E, \theta)$ 일 때 Lower Bound가 최대인 것을 알겠고

'$Q$'를 한 번 잡아보자!
1. 가급적 단순한 형태면 좋겠고
2. 가장 좋은 후보는 '$P$' 와 동일한 확률분포 ... $\lambda$와 $\theta$ 또한 동일하게 ...
3. 하지만 '$P$'가 복잡하니깐 단순화해보자

5. Mean Field Approximation

Q 의 형태는 일단 마음대로 잡아놓고, $\lambda$ optimization을 통해 그 차이를 최대한 줄여보는 형식으로 접근해보자

$$Q(H) = \prod_{i \leq \mid H \mid } q_{i}(H_{i} \mid \lambda_{i})$$
 
$q_{i}$ : Hidden 들의 각 개별적 확률 분포
개별 variational parameter ($\lambda_{i}$) 가 주어진 상황에서는 $q_{i}$ 가 모두 각각 독립 가정
(단순 곱셈 형태)

$Q(H)$ 를 ELBO 수식에 대입하고
개별 $\lambda_{i}$ 관점에서 전개하면

특정 Hidden Variable의 Variational Parameter를 Optimization하려고 하면
그 특정한 H.V 제외한 나머지 V.P는 모두 홀드하고
P 라는 확률모델이 주어진 상황에서 Expectation 에 대해 최적화 수행!

이 방법으로 1, ... , n 까지 모든 개별 $q$ 에 대해 진행

즉, 제안한 P 확률모델의 Hidden과 Evidence를 활용해서 Expectation을 찾고
그 Expectation을 Maximize 시켜줄 수 있도록 $\lambda$ 를 잡는다!