Cross entropy loss in machine learning

맨날 그냥 사용하기만 하는 cross entropy loss에 대해 공부해보려 한다.

Cost/Loss function

$E (w) = \frac{1}{2} \sum_{d \in D} (y_{d} - {\hat{y}}_{d})^{2} w h e r e | D | = 학 습 집 합 의 크 기$
$E(w)=\frac{1}{2}\sum_{d\in{D}}(y_{d}-\hat{y}_{d})^{2} \quad where \;\left\vert D \right\vert=학습집합의\; 크기$

$E (w) = \frac{1}{2} \frac{1}{| D |} \sum_{d \in D} (y_{d} - {\hat{y}}_{d})^{2} w h e r e | D | = 학 습 집 합 의 크 기$
$E(w)=\frac{1}{2}\frac{1}{\left\vert D \right\vert}\sum_{d\in{D}}(y_{d}-\hat{y}_{d})^{2} \quad where \;\left\vert D \right\vert=학습집합의\; 크기$

사건이 드물게 발생할수록 정보가 커야 함.
의 확률을 수치화 해 보면?
- log는 곱셈을 덧셈 연산으로 바꿔줌
$\frac{1}{p(x)}\times \frac{1}{p(y)}$ 의 양 변에 log를 취한게 최종 정보량으로 정의 됨
$i n f o r m a t i o n = l o g (\frac{1}{p (x)} \times \frac{1}{p (y)}) = l o g \frac{1}{p (x)} + l o g \frac{1}{p (y)}$
$information=log(\frac{1}{p(x)}\times \frac{1}{p(y)})=log\frac{1}{p(x)}+log\frac{1}{p(y)}$
$i n f o r m a t i o n \equiv l o g (p (x))^{- 1} = - l o g (p (x))$
$information\equiv log(p(x))^{-1}=-log(p(x))$

정보량의 기댓값
확률변수 의 기댓값에 대한 공식
- $E[X]=\sum_{x}xp(x)\quad$
- $p(x)$ : 확률변수 $X$ 의 분포함수(확률질량함수, 확률밀도함수)
$E[aX+b]=\sum_{x}(ax+b)p(x)$ 이므로
$E[f(x)]=\sum_{x}f(x)p(x)$ 가 성립함
따라서, $-log(p(x))$ 에 대해서 다음이 성립
$E [- l o g (p (x))] = \sum_{x} - l o g (p (x)) p (x)$
$E[-log(p(x))]=\sum_{x}-log(p(x))p(x)$
$e n t r o p y \equiv \sum_{x} - p (x) l o g (p (x))$
$entropy\equiv \sum_{x}-p(x)log(p(x))$

다른 사건의 확률을 곱해서 entropy를 계산한 것
예를 들어 0 또는 1만 가지는 확률변수 $X$ 가 있을 때(Bernoulli),
$e n t r o p y = - p (x = 0) l o g (p (X = 0)) - p (X = 1) l o g (p (X = 1))$
$entropy=-p(x=0)log(p(X=0))-p(X=1)log(p(X=1))$
$c r o s s - e n t r o p y = - p (X = 1) l o g (p (X = 0)) - p (X = 0) l o g (p (X = 1))$
$cross-entropy=-p(X=1)log(p(X=0))-p(X=0)log(p(X=1))$

$E(w)\equiv \frac{1}{2}\frac{1}{\left\vert D \right\vert}\sum_{d\in D}(y_{d}-\hat{y}_d)^{2}$ 일 때,
$c r o s s - e n t r o p y l o s s \equiv E (w) \equiv \frac{1}{| D |} \sum_{d \in D} (- y_{d} l o g ({\hat{y}}_{d}) - (1 - y_{d}) l o g (1 - {\hat{y}}_{d}))$
- 우 항 sum 안쪽의 식은 베르누이 확률변수를 n회 시행해서 얻은 샘플로부터 베르누이 확률변수의 평균과 분산을 추정하는 어떤 방법으로부터 유도 가능
- Maximum likelihood estimation

$c r o s s - e n t r o p y l o s s \equiv E (w) \equiv \frac{1}{| D |} \sum_{d \in D} (- y_{d} l o g ({\hat{y}}_{d}) - (1 - y_{d}) l o g (1 - {\hat{y}}_{d}))$
$cross-entropy loss\equiv E(w)\equiv \frac{1}{\left\vert D \right\vert}\sum_{d\in D}(-y_{d}log(\hat{y}_{d})-(1-y_{d})log(1-\hat{y}_{d}))$
신경망 출력이 0~1 사이의 확률로 나오는 경우 loss 함수로 사용 할 수 있음

https://www.slideshare.net/jaepilko10/ss-91071277