내일배움캠프 AI - 29일차 TIL, 2022.10.12

스파르타 코딩클럽 내일배움캠프 AI 웹개발자양성과정 3회차

2022.10.12. 29일차 - TIL

 

 

1. 머신러닝 원격강의

• 선형회귀, 논리회귀 모두 1차 함수 -> 실제 직선으로 설명할 수 없는 문제 多
• 선형회귀를 여러번 반복해도 그냥 선형
• 따라서, 선형회귀 사이에 비선형을 넣어 이러한 문제를 해결
• 층(Layer)을 여러개 쌓는다 = Deep Learning = Deep neural networks = Multilayer Perceptron(MLP)
• AND, OR 문제

선형회귀로 해결 가능!

    - y = w0 + w1x1 + w2x2 의 논리 회귀로 표현 가능
    - 다음과 같은 퍼셉트론모양 가능

    - But, XOR 문제는 해결 불가 -> 퍼셉트론을 여러개 붙인 MLP 개념을 도입했지만 해당 모델 학습이 불가하다는 의견과 함께 딥러닝 기술 후퇴 -> 그래서 나온 아이디어가 '역전파'

• Backpropagation(역전파)
  - W(weight)와 b(bias)를 이용해 주어진 입력을 가지고 출력을 만든다
  - 만들어낸 출력이 정답값과 다를 경우 W와 b를 조절한다
  - 출력에서 Error(오차)를 발견해 뒤에서 앞으로 점차 조절한다
• Deep Neural Networks 구성
  - Input layer(입력층) : 네트워크의 입력 부분, 우리가 학습시키고 싶은 x값들
  - Output layer(출력층) : 네트워크의 출력 부분, 우리가 예측한 값이자 y값
  - Hidden layer(은닉층) : 입력층과 출력층을 제외한 중간층 -> 완전연결(Fully connected layer = Dense layer) 계층으로 이루어짐
• 보통 뉴럴 네트워크는 은닉층에 중간 부분을 넓게 만들면서 노드의 개수가 늘어나다가 줄어드는 방식으로 구성
• 비선형을 위한 활성화 함수는 은닉층 바로 뒤에 위치
• 네트워크 너비 : 은닉층의 개수를 그대로 두고 은닉층의 노드 개수를 조절
• 네트워크 깊이 : 은닉층의 개수를 조절 -> 두개를 혼용해서 사용 가능
• 딥러닝 주요 개념
  - Batch : 데이터셋을 작은 단위로 쪼개서 학습시킬 때 쪼개는 단위
  - Iteration : 해당 Batch로 전체 데이터셋을 학습시키기 위해 반복하는 과정
  - Epoch : 반복 학습을 시킬 때 전체 데이터셋을 돌리는 횟수
  - Activation functions : 
  - Overfitting :Training loss는 낮아지지만 Validation loss가 높아지는 시점
  - Underfitting : Vlidation loss가 충분히 낮아지지 못한 시점
• 딥러닝 주요 스킬
  - Data augmentation()

 

 

 

 

Related

https://wikidocs.net/24958

https://kyu9341.github.io/MachineLearning/2019/11/23/marchinelearning3/