[Coursera] Advanced Learning Algorithms - 2

참고

• 아래의 깃허브 주소를 통해 더 자세한 내용 확인 가능
  Sugyoeng Github - Machine Learning Study

Overfitting Solutions

• 더 많은 데이터 수집
• 모델 복잡도 줄이기
• 정규화

Regularization

1. L1 regularization

   • 가중치의 절댓값을 제약하는 방식
   • 특정 가중치를 0으로 만들어 feature selection 효과를 줌으로써 불필요한 특성 제거

2. L2 regularization

   • 가중치의 제곱을 제약하는 방식
   • 가중치를 0으로 만들지 않고, 작은 값으로 만들어 모든 특성이 조금씩 모델에 영향을 줄 수 있도록 함

Neural Networks

• 사람의 뇌를 모방할 수 있는 기계를 만들기 위한 아주 오래된 알고리즘

• 데이터를 처리하도록 컴퓨터를 가르치는 인공지능 방식

• 입력층, 은닉층, 출력층으로 구성

  1. input layer
     • 입력 벡터가 자리잡는 층
  2. output layer
     • 최종 출력값이 자리잡는 층
  3. hidden layer
     • 입력층과 출력층 사이에 위치하는 모든 층
     • 신경망에서 더욱 복잡한 연상을 위해 가상의 뉴런을 생성하는 것

Perceptron

• 인지한 정보를 활용해 뉴런처럼 작동하는 인공 세포
• 다수의 입력을 받아 하나의 신호로 출력

1. single-layer perceptron

   • 은닉층 없이 레이어가 하나만 존재하는 퍼셉트롬
   • 주어진 데이터에 대해 가장 알맞은 선형 모델을 찾음

2. multi-layer perceptron

   • 층이 2개 이상 존재하는 신경망
   • 비선형으로 분포하는 데이터들에 대해 학습 가능
   • 은닉층 2개 이상인 다층 퍼셉트론을 깊은 신경망이라고 함

TensorFlow

• 구글에서 제공하는 머신러닝 프레임워크
• 인공 신경망같은 기계학습 응용프로그램 및 딥러닝에 사용
• 계산 구조, 목표 함수만 정의하면 자동으로 미분 계산 처리

• 아래의 깃허브 주소를 통해 더 자세한 내용 확인 가능
  Sugyoeng Github - Machine Learning Study

* 공부를 목적으로 정리한 내용으로 내용의 두서가 없고 부실할 수 있음