-
딥러닝
종류
합성곱 신경망 CNN
3차원 데이터의 공간적 정보를 유지한 채 다음 층으로 보낸다.
영상인식, 컴퓨터비전
순환 신경망 RNN
순차적 정보를 보낸다.
음성 인식
딥비리프망 DBN
영상과 음성의 복원
합성곱 신경망 CNN
이미지 분류에 주로 사용
가장 유용한 특성을 자동으로 학습특성 계층 학습
- 입력층에 가까운 층은 저수준 특성(대략적 모양)을 추출
- 뒤쪽으로 갈수록 고수준을 특성(복잡한 모양과 패턴)을 추출
- 저수준 특성을 연결하여 고수준을 특성을 만들어 특성 계층을 구성
- 맨 뒤쪽 층은 완전연결층으로 분류나 예측
CNN의 특징
입력 이미지로부터 특성맵(feature map)을 생성
희소 연결파라미터 공유
전형적인 CNN 아키텍처
- 여러개의 합성곱(conv)층과 풀링(pooling)층으로 이루어져 있다.
- 풀링은 가중치가 없다.
- 마지막에는 하나 이상의 완전연결층이다.
2D 합성곱
패딩(padding)
입력 데이터의 외곽에 지정된 픽셀만큼 특정 값(보통 0)으로 채워 넣은 것
필터와 스트라이드로 인해 특성맵의 크기가 입력데이터보다 줄어드는 것을 방지
스트라이드(stride) : 필터를 순회하는 간격
서브샘플링 = 풀링
최대 풀링과 평균 풀링이 있다.
풀링의 장점
잡음(noise) 혹은 국부적 변화에 영향을 덜 받는다.
특성 크기를 줄여 계싼 효율성의 높인다.
드롭아웃(dropout)
작은 네트워크는 과소적합, 너무 큰 네트워크는 과대적합을 유발한다. 이 문제를 해결하기 위해서 드롭아웃을 사용한다.
훈련 시 정방향 계산에서 은닉 유닛의 일부를 정해진 확률(보통 0.5)로 랜덤하게 드롭아웃