[퍼센트마이닝] 융합동아리 4회차

3주차 목표

컴퓨터비전 최신 논문 리뷰, 딥러닝 모델 실습

---

컴퓨터비전

컴퓨터에게 시각 데이터 처리 능력을 부여하는 기술

 

CNN(Convolution Neural Networks)

- 컨볼루션 신경망

-  이미지나 영상 데이터 처리에 쓰임

- Convolution(전처리)

- DNN은 1차원 형태의 데이터를 사용하는데, 영상 데이터를 1차원 형태로 변화시키며 공간적 / 지역적 정보가 손실됨

=> 영상 데이터를 그대로 받아 공간적 / 지역적 정보를 유지하는 해결책이 CNN

 

1. Image Classification

- 이미지가 들어왔을 때, 그 이미지가 어떤 클래스에 해당하는지 판단

Challenges

1. Illumination(빛에 의해 사물이 잘 보이지 않는 경우)

2. Occlusion(가려져서 잘 보이지 않는 경우)

3. Deformation(자세, 모양의 변형)

4. Background clutter(배경과 비슷한)

2. Object Detection

- 이미지에서 물체가 어디에 위치해있는지 판단

- classification + localization

 

3. Semantic Segmentation

- 이미지에 물체가 무엇인지 픽셀 단위로 분류

- 배경도 포함

- 같은 클래스이면 같은 색으로 분할

- 사전에 정의된 클래스에 대해서만 가능

- 객체 하나하나를 분류할 수 있는 능력은 X

4. Instance Segmentation

- 이미지에 물체가 어디에 있는지 픽셀 단위로 판단

- 배경은 X

5. Panoptic Segmentation

- Semantic + Instance

 

6. Video Object Segmentation(VOS)

- tracking까지 같이 해주는

- 객체, 배경 분할

    1) unsupervised VOS

        - 힌트가 없는, 사람에 대한 지도 x, 영상의 주인공을 찾는다.

    2) semi-supervised VOS

        - 1frame에 한해 target 객체를 설정(annotation)

    3) interactive VOS

        - 사람이 선의 형태로 정보를 제공 => 빠르다.

        - 1frame에 대해 정보를 얻고 전파

 

객체탐지와 분할(Object Detection)

- R-CNNs

- YOLO

- FCN

 

Video

- Optical Flow

    - 영상 내 물체의 움직임 패턴을 예측

    - 연속된 프레임 사이에서 움직이는 물체의 픽셀 강도는 변함이 없다.

    - 이웃하는 픽셀은 비슷한 움직임을 갖는다.

- Object Tracking

    - 물체를 추적

    - 동일 객체로 인식되면, 그 물체를 계속 tracking하는 것

- Action Recognization

    - 전체 프레임에서 서로 다른 동작을 굽려해내는 것

 

3D Vision

- Open 3D

- SLAM

- AR

 

GAN(Generative Adversarial Network), 생석적 적대 신경망

- 진짜 같은 가짜를 만들어내는 것을 목표로 하는 딥러닝 알고리즘

- Generative Model : 실존하지 않지만 있을 법한 이미지를 생성할 수 있는 모델

- 서로 적대적으로 학습하면 결과적으로 같이 발전한다.

---

딥러닝 모델 실습

1. Object Detection