목록엔트로피개념 (1)

미래를 예측하는 데이터분석가

[딥러닝] 정보이론, 엔트로피(Entropy), KL divergence, 크로스엔트로피(Cross-Entropy) 개념, 정리, TIL 복습하기!!!!

정보이론: 엔트로피, KL 발산, 크로스엔트로피1. 정보량과 엔트로피: 불확실성의 총합정보량: 어떤 사건이 발생할 확률이 낮을수록 정보량이 큽니다.예:"내일 해가 뜹니다"는 너무 당연해서 정보량이 낮음."내일 외계인이 방문합니다"는 매우 희박하니 정보량이 큼.수식: 정보량 ( I(x) = -\log P(x) )( P(x) ): 사건이 일어날 확률 (0~1).( P(x) )가 1에 가까울수록 ( I(x) )는 작아지고, 0에 가까울수록 ( I(x) )는 커짐.엔트로피엔트로피는 전체 사건에 대한 평균 정보량입니다.확률이 골고루 분포되어 있을수록(불확실성이 클수록) 엔트로피가 커집니다.예:동전을 던질 때 앞/뒤가 나올 확률이 같으면 엔트로피가 최대.항상 "앞"만 나오면 엔트로피는 0.수식: ( H(X) = -..
PYTHON/Deep Learning 2024. 12. 21. 17:42
이전 Prev 1 Next 다음