cs231n 4강 정리

▶ 초심공룡을 아는가, 그 모임엔 막내가 정말 치명적이다.

이번강은 정말 어렵다. 강의의 내용은 미분, 수학 계산이 전부라고 봐도 된다.

도저히 지금 나의 미약한 두뇌로는 이해할 수 없어 간단한 요약 정리만 한다.

4강의 주제는 Back propagation, Neural Network 개념 이다.

 

1. Back propagation

- 인공 신경망은 굉장히 거대할 것이다

- Gradient 공식을 일일이 직접 사용하여 모든 매개변수를 구하는 것은 불가능하다

- 그래서 Back propagation을 사용한다

- Back propagation 이란 Chain rule 공식을 사용해 모든 입력값 및 변수들에 대한 Gradient를 계산하는 것이다

- Back propagation을 하기 위해서 Forward 와 Backward 를 구현한다

- Forward 는 정방향으로 연산의 결과를 계산하며 Gradient 계산에 필요한 값을 메모리에 저장한다

- Backward 는 Forward로 얻은 값들에 Chain rule 를 적용시켜 Input 값이 Loss값에 어떤 영향을 미치는지 계산한다

- (Input 값이 Loss값에 어떤 영향을 미치는지 = Gradient 값)

- 이 링크로 가면 알 수 있을것이다. https://youtu.be/1Q_etC_GHHk

 

Back propagation 요약

 

2. Neural Network

- 남은 강의에서 지겹도록 공부할 것이다

- 열심히 듣고 이해하도록 노력해보자