미래를 예측하는 데이터분석가

Machine Learning by professor Andrew Ng in Coursera Day 8 - Multiclass Classification: One-vs-all Multiclass Classification: One-vs-all 다중분류의 로직은 단일 로지스틱 회귀를 이용해 0~n까지의 값을 각각 확률P가 가장 큰 값으로 분류하는 파라미터를 선택하고 n번 반복하게 된다.

Machine Learning by professor Andrew Ng in Coursera Day 7 - Logistic Regression Model Cost Function 선형함수인경우와 다르게 비선형함수인 Logistic Regression의 경우에 Cost Function 그래프로 non-convex형태가 되어 global Minimum을 그래프가 울퉁불퉁해 찾을 수 없게 됩니다. 그래서 선을 smooth하게 바꿔주기위해 Cost Function을 다음과 같이 새로 정의하게 됩니다. 위 그림과 같이 y=0과 y=1일 때 그래프를 그리면 다음과 같습니다. 예측값이 1인데 실제값이 0이고 예측값이 0인데 실제값이 1이면 Cost Function은 무한대로 발산하게 됩니다. Simplified Co..

Machine Learning by professor Andrew Ng in Coursera Day 5 - Computing Parameters Analytically Normal Equation 정규방정식을 이용할 때 파라미터값을 구해주는 식은 위와 같다. 우선 정규방정식을 이용하면 스케일링을 해주지 않아도 된다는 점이 있고 위와 같이 특징들이 존재한다. 그레디언트의 경우 learning_rate를 설정해야하고 반복을 계속해서 진행하지만 정규방정식의 경우 그럴 필요가 없다. 그리고 속도면에서 feature수가 급격히 늘어날 수록 정규방정식의 속도가 느리기 때문에 그레디언트로 구하는 것이 낫다. 이런 점들을 잘 고려해 알고리즘을 설정하는 것이 중요하다고 생각한다. Normal Equation Noninv..

Machine Learning by professor Andrew Ng in Coursera Day 4 - Linear Regression with Multiple Variables Multivariate Linear Regression 즉, 다변량 회귀에서 Gradient Descent알고리즘이 어떻게 계산되는지를 배웠다. 우선 위의 식을 보면 회귀의 절편값과 기울기들이 θ0, θ1, θ2로나타난다. 회귀식은 H(x) = θ0 + θ1x1+ θ2x2+...+θnxn이다. 여기서 위의 식들을 유추하는 과정은 day-2에 설명하셨고 Cost Function을 각 θi로 미분하여 기울기를 구해 각 θi에서 빼주면서 Cost Function이 가장 작아지는 최적의 파라미터값을 찾는 방법이었다. 그 식들을 간단..