[기계학습] 기말고사 정리 9장

9장. 신경망 부흥의 시작, 합성곱신경망

기존의 신경망은 특징추출기와 분류기가 따로 있는 형태였다.

합성곱 신경망(CNN)은 특징 추출기와 분류기가 합쳐져 있는 형태로,

분류기의 오류역전파를 이용해 특징 추출기의 filter 계수를 조정한다.

 

하나의 뉴런을 활성화시키는 데 영향을 미치는 시각 정보의 영역을 receptive field라고 한다.

즉, 모든 데이터가 아닌 일부 receptive field만 수용 영역에 mapping함으로써

fully connected에 비해 연결강도가 줄어든다.

 

convolution layer에서는 convolution과 pooling이 일어나는데,

pooling은 compact한 정보 추출에 이용된다.

 

합성곱신경망은 특징을 추출하는 방법도 함께 학습하므로 특징을 추출하는 과정이 필요하지 않다는 것이 장점이다.

학습을 통해 filter 계수를 조정하고, 이를 통해 더 좋은 필터를 생성한다는 점이 합성곱 신경망의 핵심 idea이다.

 

인공신경망은 이미지 입력이 불가능하여 flatten이 필요하다.

이 과정에서 2차원 이미지를 1차원 벡터로 변환하니 특징이 잘 보이지 않는 문제가 발생하였다.

=> 이미지가 직접 들어갈 수 있는 합성곱 신경망

 

Pooling

특정 영역을 하나의 특징으로 변환하는

정보요약 계층을 통해 이미지를 적절한 크기로 줄이는 과정

feature map의 크기가 줄어들면, 연결강도의 개수도 줄어든다.

overfitting의 가능성이 줄어들고, 잡음도 줄어든다.

- max pooling

- average pooling

 

 

box filter, weighted box filter, gaussian filter는 노이즈를 줄이고, 블러링을 위해 사용한다.

윤곽선을 찾아내는 필터로는 라플라시안이 있다.

합성곱 신경망의 기본 아이디어

- 자동적으로 학습을 통해 필터의 계수가 결정된다.

 

padding : 이미지 크기가 작아지는 것을 방지하기 위해 입력 이미지 주변에 값을 덧대어 채워주는 일

 

GoogleNet

인셉션

하나의 5*5 필터보다 두 개의 3*3 필터가 더 효율적이다.

1*1 필터를 이용해 feature map의 크기를 줄여 연결강도 개수를 줄인다.

 

전이학습(transfer learning)

연결강도를 기존의 pretraining된 적절한 값으로 시작

일부 계층을 잘라서 가져오고, 이 계층들이 가진 파라미터는 변경되지 않도록 fix

새로운 작업에 맞는 출력을 내도록 새롭게 구성해서 붙이기