[Coursera] Advanced Learning Algorithms - 3

참고

• 아래의 깃허브 주소를 통해 더 자세한 내용 확인 가능
  Sugyeong Github - Machine Learning Study

Activation Function

• sigmoid function
  • 입력값을 0과 1사이의 값으로 변환
  • 기울기 소실 현상 발생
• ReLU function
  • 0보다 큰 입력값의 경우 그대로 출력
  • 0 이하의 값은 다음 층에 전달 X : dying ReLU 현상
  • sigmoid function이 가지고 있는 기울기 소실 현상 완화
• ELU function
  • dying ReLU 현상을 해결한 함수
  • 파라미터를 이용하여 입력값이 0이하 일 때 지수함수 부분의 scale 조절 가능
• softmax function
  • ReLU 함수를 부드럽게 근사시킨 함수
  • 전 구간에서 미분이 가능한 함수

Multiclass Classification

• 타깃이 가질 수 있는 값이 3개 이상
• 타깃의 종류가 여러 개이기 때문에 출력 값도 여러 개
• 입력값 하나당 하나의 클래스에만 대응될 수 있음
  • Loss function of Multiclass Classification
    • 이진 교차 엔트로피의 일반화 버전인 크로스 엔트로피 손실함수 사용

Back Propagation

• 순전파 과정을 역행하는 과정
• 오차를 기반으로 가중치 값들을 업데이트 하기 위해 사용
• 각 층마다 활성화 함수를 사용
• 손실 함수를 통해 실제 정답과의 오차를 계산하여 가중치를 차례로 업데이트

• 아래의 깃허브 주소를 통해 더 자세한 내용 확인 가능
  Sugyeong Github - Machine Learning Study

* 공부를 목적으로 정리한 내용으로 내용의 두서가 없고 부실할 수 있음