2023. 11. 3. 14:31ㆍML&DL
단층 퍼셉트론 (SLP)
- 입력층과 출력층으로만 이루어져있음
다층 퍼셉트론 (MLP)
- 다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망
- 네트워크는 입력층, 은닉층, 출력층 방향으로 연결되어 있음. 각 층내의 연결과 출력층에서 입력층으로 직접적 연결이 없음.
- 이를 전방향(feedforward) 네트워크 또는 순전파라고 한다.
Fully-connected layer(FC) / Dense layer
- 이전 층의 모든 뉴런과 연결되어 있는 층.
- 다층 퍼셉트론은 은닉층과 출력층에 있는 모든 뉴런은 바로 이전 층의 모든 뉴런과 연결되어 있음.
활성화 함수 (Activation Function)
- ReLU
- Sigmoid
- Softmax
- 하이퍼볼릭탄젠트
선형 회귀 (Linear Regression)
- 수식 : y= wx + b (w: 가중치 b: 편향)
- 목표 : 오차를 최소로 만드는 w 와 b를 찾아내는 것
- 오차의 크기를 구하는 가장 기본적인 방법은 모든 오차를 더 하는 것
1) 제곱 오차 : 모든 오차를 제곱하여 더하는 방법
2) 평균 제곱 오차 : 모든 오차를 제곱하여 더하고 평균으로 나눔
Cost function
- 실제값과 예측값에 대한 오차식
- 목적 함수 = 비용 함수 = 손실함수
- 인공 신경망은 기본적으로 cost function을 최소화 하는 w와 b를 찾는 것
Gradient Descent
- 선형 회귀를 포함한 인공 신경망에서는 비용 함수를 최소화하는 매개 변수를 찾는 것이 목적
- 이때 옵티마이저(Optimizer)라는 알고리즘 사용
- 경사 하강법은 한 점에서 순간 변화율 또는 접선에서의 기울기 개념 사용
- 최적의 learining rate 값을 찾아야함 => 정답이 없음
1) 학습하고자 하는 가설을 세운다
< y = wx + b >
-x는 입력데이터 y는 타겟 데이터
-w와 b는 파라미터라고 부르며 적절한 값을 찾아내야함
2) 가설의 성능 측정할 수 있는 손실 함수(Loss Function) 을 정의한다.
- 대표적인 손실 함수는 평균 제곱 오차(MSE)
3) 손실 함수 L을 최소화 할 수 있는 학습 알고리즘을 설계한다.
- w와 b(파라미터)를 초기화한 후 파라미터를 적절한 값으로 계속 업데이트 => 최적화(Optimization) 기법 ex) 경사 하강법
로지스틱 회귀 (Logistic Regression)
- 수식 : y = sigmoid(wx+b)
- 두개의 선택지 중에서 정답을 고르는 문제에 사용하는 모델
- 1 또는 0
ex) 합격 / 불합격
Sigmoid function
- 입력값이 커지면 1에 수렴, 작으면 0에 수렴
- 출력값은 0 ~ 1 사이 값을 가지는데 0.5 이상이면 1, 0.5 미만이면 0 으로 이진 분류에 사용할 수 있음
Cost function
- 크로스 엔트로피 함수 사용
| 선형 회귀(Linear Regression) | 로지스틱 회귀(Logistic Regression) | |
| 가설 | y = wx + b | y = sigmoid(wx+b) |
| 손실 함수 | MSE | Cross-Entropy |
| 문제 | 회귀 문제, 예측값이 연속적인 값 | 이진 분류 문제, 예측값이 0 또는 1 |
소프트맥스 회귀 (Softmax Regression)
- 수식 : y= softmax(wx+b)
- 세 개 이상의 선택지 중에서 장답을 고르는 문제
- 다중 클래스 분류 문제에 사용
ex) 붓꽃 분류 문제
Cost function
- 크로스 엔트로피 함수 사용 (로지스틱 회귀과 동일한 함수)
