미래를 예측하는 데이터분석가

정보이론: 엔트로피, KL 발산, 크로스엔트로피1. 정보량과 엔트로피: 불확실성의 총합정보량: 어떤 사건이 발생할 확률이 낮을수록 정보량이 큽니다.예:"내일 해가 뜹니다"는 너무 당연해서 정보량이 낮음."내일 외계인이 방문합니다"는 매우 희박하니 정보량이 큼.수식: 정보량 ( I(x) = -\log P(x) )( P(x) ): 사건이 일어날 확률 (0~1).( P(x) )가 1에 가까울수록 ( I(x) )는 작아지고, 0에 가까울수록 ( I(x) )는 커짐.엔트로피엔트로피는 전체 사건에 대한 평균 정보량입니다.확률이 골고루 분포되어 있을수록(불확실성이 클수록) 엔트로피가 커집니다.예:동전을 던질 때 앞/뒤가 나올 확률이 같으면 엔트로피가 최대.항상 "앞"만 나오면 엔트로피는 0.수식: ( H(X) = -..

1. 문자를 날짜로 datetime이용해 변환하기 datetime 모듈이용 import pandas as pd import datetime as dt a = pd.DataFrame({'date':['2020-01-01','2020-02-11','2020-03-03'], 'color':['red','red','blue'], 'age': [20,30,40]}) a date color age 0 2020-01-01 red 20 1 2020-02-11 red 30 2 2020-03-03 blue 40 date의 데이터타입이 여기서 string 즉, 문자열이다. 그러나 날짜 데이터를 분석할 때에 datetime형으로 타입을 바꿔주면 분석하기 수월하다. 그래서 데이터타입 변경을 해보자. a['date'] = pd...

1. 중복된 행 조회 및 삭제 duplicated, drop_duplicates 함수를 이용해보자 duplicated() 이런 데이터가 주어진다고 하자. name age blood 정국 24 A 진 28 B 태형 26 O 정국 24 A 남준 26 AB duplicated() : 중복된 행이 나타나면 True 아니면 False를 나타내는 Boolean 마스크 생성 bts.duplicated() 0 False 1 False 2 False 3 True 4 False name이 정국인 행과 똑같은 행이 3번째에 또 나와 True값이 나왔다. 그러나 만약 특정 열만 비교해 중복값을 뽑아내고 싶다면 옵션값에 subset을 이용하면 된다. subset['age'] bts.duplicated(subset=['age']..

구두점 삭제 # 구두점 삭제 import unicodedata import sys # 텍스트를 만듬 text_data = ['Hi!!!! I. Love. This. Song....', '10000% Agree!!!! #LoveIT', 'Right?!?!?!'] # 구두점 문자로 이룯어진 딕셔너리 생성 punctuation = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P')) # 문자열의 구두점을 삭제 [string.translate(punctuation) for string in text_data] [Output] ['Hi I Love This Song', '10000 Agree Lo..