Mathematics for Artificial Intelligence 5강: 딥러닝 학습방법 이해하기

신경망을 수식으로 분해하려면 우선 선형모델을 먼저 이해해야 한다.

행렬은 데이터를 모아놓은 행렬 A, 다른 벡터로 보내는 가중치 행렬 W

d개의 변수로 p개의 선형모델을 만들어서 p개의 잠재변수를 설명하는 모델을 상상해볼 수 있다.

딥러닝에서 화살표는 가중치 w가 결정짓고, 출력 벡터 o에 softmax 함수를 합성하면 확률벡터가 되므로 특정 클래스 k에 속할 확률로 해석할 수 있다.

 

소프트맥스 연산

• 소프트맥스(softmax) 함수는 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다.
• 분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 예측한다.

softmax 함수를 통해 R에 있는 벡터를 확률벡터로 변환할 수 있다.

(예: [1, 2, 0] -> [0.24, 0.67, 0.09])

import numpy as np
def softmax(vec):
    deunmerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True))
    numerator = np.sum(denumerator, axis=-1, keepdims=True)
    val = denumerator / numerator
    return val
    
vec = np.array([[1, 2, 0], [-1, 0, 1], [-10, 0, 10]])
softmax(vec)

• 학습의 경우 소프트맥스를 쓰고, 그렇지 않은 경우엔 사용하지 않다.

활성함수

• 활성함수(activation function)는 R 위에 정의된 비선형(nonlinear) 함수로서 딥러닝에서 매우 중요한 개념이다.
• 활성함수를 쓰지 않으면 딥러닝은 선형모형과 차이가 없다.
• 시그모이드(sigmoid) 함수나 tanh 함수는 전통적으로 많이 쓰이던 활성함수지만 딥러닝에선 ReLU 함수를 많이 쓰고 있다.
• 신경망은 선형모델과 활성함수(activation function)를 합성한 함수이다. x를 입력으로 받아 중간에 z라는 변수, 그 변수인 은닉벡터를 통해 선형모델이 반복적으로 사용하는데, 중간에 활성함수를 사용해야 한다. 투레이어 신경망으로 말하는건 가중치 행렬이기 떄문이다.
• 다층(multi-layer) 퍼셉트론(MLP)은 신경망이 여러층 합성된 함수이다.
• 순전파(forward propagation): 학습이 아닌 주어진 입력이 왔을 때, 출력물을 나타내는 과정.
• 이론적으로 2층 신경망으로도 임의의 연속함수를 근사할 수 있다.
• 층이 깊을 수록 목적함수를 근사하는데 필요한 뉴런(노드)의 숫자가 훨씬 빨리 줄어들어 좀 더 효율적으로 학습이 가능하다.
• 복잡한 함수일 수록 최적화가 어렵기에 층이 높아질 수록 딥러닝 모델은 학습하기가 어려워진다.
• 딥러닝에서 층을 많이 쌓는 것은 적은 노드로도 복잡한 계산을 할 수 있기 때문이다.

딥러닝 학습원리: 역전파 알고리즘

• 딥러닝은 역전파(backpropagation) 알고리즘을 이용하여 각 층에 사용된 패러미터 {W, b}를 학습한다.
• 각 층 패러미터의 그레디언트 벡터는 윗층부터 역순으로 계산하게 된다. (합성함수의 미분법인 연쇄법칙을 이용)

역전파 알고리즘 원리

• 역전파 알고리즘은 합성함수 미분법인 연쇄법칙(chain-rule) 기반 자동미분(auto-differentiation)을 사용한다.

z = (x+y)2

확률적 경사하강법으로 번갈아 학습하여 주어진 목적식을 최소화하는 딥러닝의 학습 원리가 된다.