미래를 예측하는 데이터분석가

구글에서 제공하는 데이터분석 과정을 수료하면 수료증을 주는 과정을 듣고 있다. IT업계의 최고봉인 구글 직원분들이 현직에서 일하면서 배우는 인싸이트를 들을 수 있다는 것이 가장 큰 장점이다. 어떻게 기업 데이터에 적용되고 활용되는지가 분석을 하는 것 보다 중요하다고 느끼는 요즘이다. 데이터분석의 6단계 1. Ask 2. Prepare 3. Process 4. Analyze 5. Share 6. Act 이렇게 6단계라고 소개하고 있다. Ask 분석을 하기전에 어떤 프로젝트를 진행할지 질문하고, 정하는 것이 1단계다. 예를 들면, 신입이 첫 해에 무엇부터 배워야 성공적인 한해를 보낼 수 있을까? 프로젝트를 진행할 데이터가 충분하게 모였는가? 등을 질문하는 것이다. Prepare 어떤 프로젝트를 할지 정했으면..

Machine Learning by professor Andrew Ng in Coursera Day 9 - Model Representation I 뉴런 네트워크를 구성하는 요소는 크게 2가지 activation과 weight로 구성되어져있다. 안에서 이루어지는 계산 과정은 x값들이 주어지면 a의 갯수에 맞게 theta의 차원이 정해진다. 그리고 h라는 함수에 넣어 최종적으로 하나의 activation node를 구하기 위해서 계산한다. 우선 x1,x2,x3와 a1,a2,a3가 있으므로 x행렬 X theta행렬 = 3X1이 되어야한다. 고로 theta는 3 X 4이고 (activation node 개수 X (x개수 + 1 ) )가 된다. Model Representation II 뉴런 네트워크가 계속해서..

Machine Learning by professor Andrew Ng in Coursera Day 8 -The Problem of Overfitting 첫 번째 그림은 underfit or high bias된 경우이다. 모델이 데이터에 잘 적합하지 않으면 발생하는 문제이며 높은 편향이 발생하게 된다. 두 번째는 대체로 잘 적합해 좋은 모델이며 마지막으로 다항식이 매우 많은 모델은 과적합 즉 overfit or high variance를 일으킨다. 특히 과적합은 높은 분산을 가지게 되고 데이터는 적고 feature들이 많을 경우 많이 생긴다. 하지만 다른 데이터에 일반화시키지 못한다는 치명적인 단점이 존재해 과적합을 다루는 방법에 대해 소개한다. feature수를 줄이거나 정규화를 사용하는 방법이다. 정..

Machine Learning by professor Andrew Ng in Coursera Day 8 - Multiclass Classification: One-vs-all Multiclass Classification: One-vs-all 다중분류의 로직은 단일 로지스틱 회귀를 이용해 0~n까지의 값을 각각 확률P가 가장 큰 값으로 분류하는 파라미터를 선택하고 n번 반복하게 된다.