데이터분석/ML 이론 2

과대적합, 과소적합 및 해결방법

과대적합(overfitting) 모델이 훈련 세트에 과하게 적합한 상태가 되었을 때 발생하는 문제를 말한다. 모델을 지나치게 복잡하게 학습하여 훈련 데이터 셋에서는 모델 성능이 높지만 다른 데이터가 주어졌을 때에는 정확한 예측/분류를 못한다는 것이다. 예를 들어, 중간고사 시험을 위해 중간고사에 대한 답지를 모델에게 학습 시켰을 때 중간고사 시험에 대한 테스트 점수는 높겠지만 기말고사 시험 문제를 주었을 때에는 점수가 낮게 나오는 것으로 비유할 수 있다. 발생 원인 데이터 세트 내 데이터가 충분하지 못한 경우 데이터 세트 내 분산이 크거나 노이즈가 큰 경우 모델의 복잡도가 큰 경우 과도하게 큰 epoch로 학습한 경우 해결 방법 데이터 양 늘리기 데이터 양이 적어서 해당 데이터의 특징 패턴, 노이즈까지 ..

경사 하강법(Gradient descent)

1차 근삿값 발견용 최적화 알고리즘, 1차 미분계수를 이용해 함수의 최소값을 찾아가는 방법 학습률만큼 계속 이동하면서 학습하기 때문에 적절한 학습률을 지정해줘야 한다. 이때 비용함수을 사용하여 이 값을 최소화하는 방식을 사용한다. 비용 함수(Cost function) 예측 값과 실제 결과 간의 차이를 비용(Cost)라 하며, 이 Cost를 제곱해서 더한 함수로 만든 것을 비용 함수라고 한다. 제곱했기 때문에 이차함수의 형태를 가지게 되므로 이를 최소화하는 매개변수를 찾아가게끔 경사 하강법을 적용한다. 가설함수의 형태를 결정짓는 것은 매개변수(parameter)라 부르는 θ 이고 이 값을 적절하게 조정하여 실제값 y에 가장 근접한 가설함수를 Training set을 이용하여 도출해야 한다. 경사 하강법의 ..