그레이디언트 폭주1 [핸즈온 머신러닝] 11장 심층 신경망 훈련하기 (11.1 ~ 11.3) 훈련 중 마주할 수 있는 문제들 그레이디언트 소실, 폭주 문제 데이터 불충분, 레이블 작업에 많은 비용 훈련이 극단적으로 느려짐 과대적합 1. 그레이디언트 소실과 폭주 문제 그레이디언트 소실 : 알고리즘이 하위층으로 진행될수록 그레이디언트가 점점 작아지는 경우 그레이디언트 폭주 : 그레이디언트가 점점 커져서 여러 층이 비정상적으로 큰 가중치로 갱신되는 경우 1) 글로럿과 He 초기화 각 층의 출력에 대한 분산이 입력과 같아야 함 역방향에서 층을 통과하기 전과 후의 그레이디언트 분산이 동일해야 함 keras.layers.Dense(10, activation="relu", kernel_initializer="he_normal") 2) 수렴하지 않는 활성화 함수 활성화 함수를 잘못 선택하면 그레이디언트의 소실.. 2022. 2. 18. 이전 1 다음
