드롭아웃1 [핸즈온 머신러닝] 11장 심층 신경망 훈련하기 (11.4) 4. 규제를 사용해 과대적합 피하기 1) L1과 L2 규제 신경망의 연결 가중치를 제한하기 위해 L2 규제를 사용하거나 희소 모델을 만들기 위해 L1 규제 사용 가능 keras.regularizers.l1_l2() 2) 드롭아웃 심층 신경망에서 가장 인기 있는 규제 기법 중 하나 최고 성능을 내는 신경망 조차도 드롭아웃을 적용해서 정확도를 1~2% 높임 하이퍼파라미터 p를 드롭아웃 비율이라 하며 10% ~ 50% 사이로 지정 임시적으로 드롭아웃될 확률 p를 가짐 -> 이번 훈련 스텝에는 완전히 무시되지만 다음 스텝에는 활성화 될 수 있음 훈련이 끝난 후에는 더는 드롭아웃을 적용하지 않음 층이 클 때는 드롭아웃 비율을 늘리고 작은층에는 드롭아웃 비율을 낮추는 것이 도움이 됨 일반적으로 출력층을 제외한 맨 .. 2022. 3. 8. 이전 1 다음