코세라 - 03 Gradient Descent

Gradient Descent

Cost function J를 최소화하기 위한 방법

머신러닝 전반에 사용되는 개념

문제 정의

제일 먼저 해야할 것은 params을 초기화 하는 것이다. 초기화를 잘해줘야 다른 시작보다 빠르게 최저점을 찾을 수 있다.

한 점에서 주위를 보고 어디가 가장 경사가 급한지 보고 그 지점으로 learning rate라는 보폭만큼 걸어 나간다.

이 과정을 반복하여 minima를 찾는다.

:= 은 할당받는 것을 의미한다. (assignment)

α = learning rate

update를 진행할 때 계산을 먼저 진행 하고서 두 파라미터를 업데이트하는 것이 더 자연스럽다. Incorrect 부분을 보면 𝜃1을 계산하게 되면 값이 바뀌기 때문에 옳게 업데이트 한다고 볼 수 없다.

 

 

gradient descent를 이용해서 cost function

 

위와 같은 방법을 Batch Gradient Descent 라고 한다.

Batch : gradient descent의 각 스텝이 모든 학습 examples를 사용하는 것

모든 데이터들의 error구하고 summation하는 것을 의미한다.