narlo의 Devlog

KAIST 산업및시스템공학과 문일철교수님 1.1. Motivations - abundance of data - 텍스트 데이터 - 네트워크 데이터 - 이미지 데이터 - 시계열 데이터 머신러닝 응용 예시 - 스팸 판별(document classification) - 주가 지수 예측 - 차 번호판 인식 - SNS 추천 - 헬리콥터 컨트롤(로봇의 행동 결정) 머신러닝 - Supervised Learning - Unsupervised Learning - Reinforcement Learning Supervised Learning - supervision이 있는 것들 - 스팸 필터링(축적된 데이터 이용), automatic grading, automatic categorization - classification ..

1~11주차 총정리 데이터를 활용하여 모델에 쓰이는 파라미터를 적절한 값으로 찾아내는 것 즉, 데이터를 얼마나 잘 뽑아내서 훈련에 사용하느냐가 중요하다. 편향된 데이터인 경우 성능이 별로 좋지 않다. 레이블을 가진 데이터를 얻기 쉽지 않기 때문에 결국에는 데이터 싸움이다. 누가 좋은 데이터를 가졌느냐가 관건 (데이터의 중요성) 선형회귀 y = wx + b w와 b가 파라미터 k-nn 알고리즘 지도학습을 사용 주변에 인접해 있는 데이터를 이용해 클래스를 추정하는 방식 k-means algorithm 비지도학습 평균값으로 각각 클래스에 대해 대표적으로 나타내는 것 평균값을 업데이트하며 성능을 개선 k개의 평균값을 초기화 : 데이터 중 임의로 골라 사용 초기값에 따라 성능이 달라질 수 있음 k개의 평균과 새 ..

13장. 인공지능의 현재와 미래 인공신경망은 빅데이터 환경, 병렬 컴퓨팅 인프라, 컴퓨터 비전 기술의 발전에 힘입어 비약적으로 발전하기 시작했다. 합성곱 신경망(CNN)이 기존의 성능을 능가한 이유는 특징 추출기와 분류기가 따로 있었던 기존 모델과 다르게 특징 추출기와 분류기가 합쳐져 Convolution Layer의 필터 계수를 분류기의 오류역전파를 이용해 조정할 수 있었다. 활용 객체위치파악, 객체탐지, 비디오와 텍스트 처리 순환신경망(RNN)은 타임 시리즈 데이터를 주로 다루며, 현재 입력과 과거 출력을 합해 출력을 만든다. 활용 시퀀스-투-시퀀스 학습 분야(번역) YOLO YOLO는 실시간 객체 탐지를 위한 모델로, 특정 이미지에서 경계상자(Bounding Box)로 영역을 설정하고, 영역내에 물..

10장. 순환 신경망 피드포워드 신경망 신호가 오직 출력층 방향으로만 향하는 신경망 단점 : 한 시점의 이미지나 정보만을 이용한다. 순환신경망(RNN, Recurrent Neural Network) 자연어 처리에 유용하다. ex) 네이버 파파고 시간에 따라 순차적으로 제공되는 정보를 다룰 수 있는 신경망 n:m 방식의 기법이며 다대다 혹은 시퀀스-대-시퀀스 매칭이라고 부름 자기 자신에게 신호를 되먹임(feedback)하여 출력을 만들어낸다. 이미지 캡션(컴퓨터가 사진을보고 적절한 설명을 자동으로 붙이는 것) 합성곱 신경망으로 이미지 특성을 파악하고, 특징을 임베딩 공간으로 보낸 뒤 이 공간의 위치를 바탕으로 이미지를 설명할 수 있는 캡션을 생성한다. 순환신경망 구조 순환신경망의 각 계층을 순환 셀, 셀이..

9장. 신경망 부흥의 시작, 합성곱신경망 기존의 신경망은 특징추출기와 분류기가 따로 있는 형태였다. 합성곱 신경망(CNN)은 특징 추출기와 분류기가 합쳐져 있는 형태로, 분류기의 오류역전파를 이용해 특징 추출기의 filter 계수를 조정한다. 하나의 뉴런을 활성화시키는 데 영향을 미치는 시각 정보의 영역을 receptive field라고 한다. 즉, 모든 데이터가 아닌 일부 receptive field만 수용 영역에 mapping함으로써 fully connected에 비해 연결강도가 줄어든다. convolution layer에서는 convolution과 pooling이 일어나는데, pooling은 compact한 정보 추출에 이용된다. 합성곱신경망은 특징을 추출하는 방법도 함께 학습하므로 특징을 추출하는..

8장. 고급 인공신경망 구현 심층신경망은 사라지는 기울기(Vanishing Gradient)라는 한계에 부딪혔다. 층을 여러 개 쌓으면 복잡한 기능을 하는 모델을 구현할 수 있지만, 연결강도의 변화량이 0에 가까워져 연결강도가 조정되지 않는 문제가 발생했다. 해결 방법으로는 1. 활성화 함수를 바꾸기 2. 적절한 가중치 초기화 활성화 함수 1. sigmoid(시그모이드) 시그모이드의 미분값은 0일 때 max값으로 1/4를 갖는다. 오차역전파 알고리즘을 이용했을 때, 층의 개수가 많아지면 (1/4) * (1/4) * ... * (1/4) 가 계속 곱해지는데, 이는 점점 0에 가까워진다. 따라서 시그모이드 함수는 vanishing gradient라는 한계를 가지고 있다. 2. tanh(하이퍼볼릭 탄젠트) 하..