Study/Lecture - Basic (38) 썸네일형 리스트형 W2.L4. Entropy & Info. Gain | Introduction Decision Tree 에서 어떤 Attribute 가 더 나은 것인가? 어떤 나뭇가지가 데이터를 잘 구분하는가? 누가 더 Decision 잘 하는가? Better attribute? Reducing the most "uncertainty" 이런 불확실성의 정도를 나타낼 수 있는 지표 (정량적으로 A9 가 A1 보다 좋다.) | Entropy '높은 엔트로피' 는 '큰 불확실성' 을 의미한다. Entropy of a random variable - Features are random variables - Higher entropy means more uncertainty 만약 동전이 항상 앞면? 불확실성이 없다. 항상 반반 확률? 불확실성이 높다. 그 확률분포가 얼만큼 확실한.. W2.L1-3. Rule-Based ML | Perfect World A perfect world for rule-based learning 밖에 놀러나간다는 현상은 오직 6 가지의 Features 에 의해 결정된다. Sky Temperature Humid Wind Water Forecast Enjoy Sports Sunny Warm Normal Strong Warm Same Yes Sunny Warm High Strong Warm Same Yes Rainy Cold High Strong Warm Change No Sunny Warm High Strong Cool Change Yes | Function Approximation Instance $ X $ - Four instances - Features $ O $ : < Sunny, Warm, .. W1.L4. Probability & Distribution | Probability $ P(E) \in \mathbb{R} $ $ P(E) \geqslant 0 $ $ P(\Omega) = 1 $ $ P(E_1 \cup E_2 \cup \ ... \ ) = \sum_{i=1}^{\infty} P(E_i) $ when a sequence of mutually exclusive If $ A \subseteq B$ then $P(A) \leqslant P(B) $ $ P(\varnothing) = 0 $ $ 0 \leqslant P(E) \leqslant 1 $ $ P(A \cup B)=P(A) + P(B) - P(A \sqcap B) $ $ P(E^C) = 1 - P(E) $ | Conditional Probability B 라는 조건이 참인 경우, A 의 확률 $.. W1.L3. MAP | Introduction 잠깐! MLE가 다가 아닙니다! 회장님께서 처음에 추측한 5:5 아냐? 라는 "사전정보" 를 추론과정에 도입할 수 있습니다. 사전정보를 가미한 $ \theta $ 를 추론해보자! | Bayes' Theorem $$ P(\theta \mid D) = \frac{P(D \mid \theta) \cdot P(\theta)}{P(D)} $$ $$ Posterior=\frac{Likelihood \cdot Prior \ Knowledge}{Normalizing \ Constant} $$ $ P(\theta \mid D) $ : Data 가 주어졌을 때 $ \theta $ 가 사실일 확률 $P(D\mid\theta)$ : $\theta$ 가 주어졌을 때 Data 를 관측할 Likeli.. W1.L2. MLE | Introduction Thumbtack 던졌을 때, Head가 나올 확률은? ... 5:5 일까? 일단 몇 번 던져봅니다! 그러면 ... Head: $ \frac{3}{5} $ ... Tail: $ \frac{2}{5} $ | Binomial Distribution Discrete probability distribution "n" independent yes/no experiments (Bernoulli experiment) Filps are i.i.d. (Independent Identically Distributed) $$ P(H)=\theta $$ $$ P(T)=1-\theta $$ $$ P(H, H, T, H, T)= \theta^3 \cdot (1-\theta)^2 $$ Let's say.. W1.L1. Motivation 열심히 하자. 그림 출처: https://www.louisbouchard.ai/openais-new-model-dall-e-2-is-amazing/ 이전 1 2 3 4 5 다음
