CNN이 잘 동작하는 이유

• 출처: https://laonple.blog.me/220594258301
  • 공부하다가, 문득 생각나서 정리해봄

Receptive Field

• Receptive Field, 즉 수용영역은 외부 자극이 전체 영향을 끼치는 것이 아니라, 특정 영역에만 영향을 준다는 의미
• 영상에서 특정 위치에 있는 픽셀들은 그 주변에 있는 일부 픽셀들과만 correlation이 높음
  • 따라서 해당 위치에서 멀어질수록 그 영향력은 감소하게 됨
• 이와 유사하게 영상해석에서 인식알고리즘 수행 시 영상 전체 영역에 대해 서로 동일한 연관성으로 처리하지 않고, 특정 범위에 한정해 처리한다면 훨씬 효과적이게 됨
• 이러한 RF의 특성을 영상정보에만 한정짓지 않고 locality를 갖는 모든 신호들에 유사하게 적용할 수 있다는 아이디어에 기반해 출현한 것이 CNN

CNN의 특징

• Locality(Local Connectivity)
  • CNN은 RF와 유사하게 local 정보를 활용함
    • 공간적으로 인접한 신호들에 대한 correlation 관계를 비선형 필터를 적용해 추출함
  • 이런 필터를 여러 개를 적용하면 다양한 local 특징을 추출할 수 있게 됨
  • 일련의 convolution과 pooling등의 subsampling을 통해 영상의 spatial한 크기가 줄어들게 되고, 그 과정에서 local feature들에 대한 filter연산을 반복적으로 적용하며 점차 global한 feature들을 얻을 수 있게 됨
• Shared Weights
  • Convolution 연산 수행 시, 동일한 계수(kernel값들)를 갖는 filter를 전체 영상(혹은 feature map)에 대해 반복적으로 사용(sliding window 연산)함으로 변수의 수를 획기적으로 줄일 수 있음
  • Topology, 즉 영상 내 객체의 크기나 위치에 무관한 항상성(invariance)을 얻을 수 있게 됨
    • Filter(convolution) 연산과 pooling 등 sub-sampling 연산과정을 통해 feature map에는 local feature가 아닌 global feature에 대한 정보들이 담기게 됨
      • Spatial 방향으로 작아질수록 더 global한 feature가 얻어짐