-
인공신경망
뇌에 있는 뉴런(neuron)의 네트워크에서 영감을 받은 머신 러닝 모델이다.
초기 대표 인공신경망은 다층 퍼셉트론(MLP)
단순 퍼셉트론
입력에 가중치를 곱한 가중합에 대하여 계단함수를 사용하여 클래스 레이블을 예측하고, 이 때 발생하는 오차를 바탕으로 가중치를 수정하여 레이블을 더 잘 예측하도록 학습
<출처> Python Machine Learning, 3rd Ed. 그림 2-4 향상된 러셉트론
<출처> Python Machine Learning, 3rd Ed. 그림 2-9 비용함수를(혹은 목적함수) : SSE
-> 비용함수를 최소화하도록 가중치를 학습한다.
활성화 함수 : φ( * )
선형 함수 : φ( * ) = z
비선형 함수: φ( * ) = 1/(1 + e^(-z)) -> 로지스틱 함수
경사하강법(GD : gradient descent)
- 주어진 범위 내에서 최대(혹은 최소)를 구하는 최적화 알고리즘
- 최소를 구하기 위해서는 비용함수의 미분값(기울기, 그레디언트:gradient) ∇j(w)의 반대 방향으로 조금씩 가중치를 업데이트(∇ : del 혹은 nebla)
에포크 : 전체 훈련 샘플이 네트워크를 한 번 통과하는 것
퍼셉트론의 하이퍼파라미터 : 훈련율, 에포크 횟수
경사하강법을 적용하는 방법
- 배치(batch) GD -> 덩어리
- 모든 훈련 샘플을 기반으로 가중치를 업데이트
- 훈련 데이터셋이 아주 큰 경우, 학습이 매우 느려짐
- 확률적(stochastic) GD(SGD)
- 무작위로 선택된 훈련 샘플에 대하여 가중치를 업데이트
- 온라인 경사하강법
- 실시간 데이터에 적합
- 미니 배치(mini-batch) GD
- 무작위로 선택된 적은 수의 훈련 데이터로 배치 GD
- 학습이 빠름
MLP 다중 퍼셉트론
입력층과 출력층 사이에 (하나 이상의) 은닉층(hidden layer)이 존재한다.
미니 배치를 처리하여 가중치를 업데이트를 한다.
완전연결층(fully connected layer) = 밀집층(dense layer)
-> 모든 층의 뉴런은 다음 층의 뉴런과 완전히 연결되어 있다
피드포워드 신경망
<출처> Python Machine Learning, 3rd Ed. 그림 12-2 -> 신호가 입력에서 출력으로 한 방향으로만 흐른다.
역전파
가중치를 바꿔주는 알고리즘으로 중요한 부분이다.
그레디언트를 자동으로 계산하는 효율적 기법, 연쇄법칙을 사용하여 자동 미분한다.
활성함수
로지스틱 함수
하이퍼볼릭 탄젠트 함수
렐루 함수
MLP 주의사항
특성은 표준화가 되어야 한다.
가중치는 랜덤하게 초기화해야 한다. 다양한 알고리즘을 써야한다.
분류를 위한 MLP
하이퍼파라미터 이진 분류 다진분류 입력층과 은닉층 회귀와 동일 회귀와 동일 출력 유닉 수 1개 클래스마다 1개 출력층의 활성화 함수 로지스틱 함수 소프트맥스 함수 손실 함수 크로스 엔트로피 크로스 엔트로피 손실 vs 지표
손실(loss) : 옵티마이저가 최소화하는 대상 ex) 크로스 엔트로피
크로스 엔트로피(cross-entropy)
지표(metric) : 모형의 성능을 평가 ex)정확도(accuracy)=정분류율