8장. 고급 인공신경망 구현 심층신경망은 사라지는 기울기(Vanishing Gradient)라는 한계에 부딪혔다. 층을 여러 개 쌓으면 복잡한 기능을 하는 모델을 구현할 수 있지만, 연결강도의 변화량이 0에 가까워져 연결강도가 조정되지 않는 문제가 발생했다. 해결 방법으로는 1. 활성화 함수를 바꾸기 2. 적절한 가중치 초기화 활성화 함수 1. sigmoid(시그모이드) 시그모이드의 미분값은 0일 때 max값으로 1/4를 갖는다. 오차역전파 알고리즘을 이용했을 때, 층의 개수가 많아지면 (1/4) * (1/4) * ... * (1/4) 가 계속 곱해지는데, 이는 점점 0에 가까워진다. 따라서 시그모이드 함수는 vanishing gradient라는 한계를 가지고 있다. 2. tanh(하이퍼볼릭 탄젠트) 하..