[Deep Learning] Forward propagation

순전파(Forward propagation)

뉴럴 네트워크 모델의 입력층부터 출력층까지 순서대로 변수들을 계산하고 저장하는 것을 의미한다.

한개의 은닉층(hidden layer)를 갖는 딥 네트워크를 예로 들어 단계별로 어떻게 계산되는지 살펴보자.

 

1. 먼저, 은닉층의 가중치 파라미터인 W^(1)과 입력값 x를 곱하여 중간 변수 z를 정의한다. (간단하게 식을 구성하기 위해 편향(bias) 항목은 생략)
2.  중간 변수 z를 활성화 함수(activation function)에 입력해서 벡터 길이가 h인 은닉층 변수를 얻는다. (은닉 변수 h도 중간 변수)
3. 출력층의 가중치 W^(2) 만을 사용한다고 가정하면, 벡터 길이가 q인 출력층의 변수 o를 W^(2) x h로 계산할 수 있다.
4. 손실 함수(loss function)를 l 이라고 하고, 샘플 레이블을 y라고 가정하면, 하나의 데이터 샘플에 대한 손실(Loss)값을 다음과 같이 계산할 수 있다.   L =l(o, y) 
5. L2 norm 정규화(regularization)의 정의에 따라, 하이퍼파라미터 gamma가 주어졌을 때 정규화 항목은 다음과 같다.

   6. 여기서 행렬의 Frobenius norm은 행렬을 벡터로 바꾼 후 계산하는 L2 norm과 같다. 

   7. 마지막으로, 한개의 데이터 샘플에 대한 모델의 정규화된 손실(regularized loss) 값을 계산한다.

• J = L + s
• J : 주어진 데이터 샘플에 대한 목표 함수(objective function). 즉, 목표 함수(objective function).

순전파(forward propagation)의 연산 그래프

 

 

---

References

https://ko.d2l.ai/chapter_deep-learning-basics/backprop.html