BOOTCAMP/boostcamp AI Tech Pre-Course(17)
-
Linear Transformation
Transformation A transformation, function, or mapping, T maps an input x to an output y Mathematical notation: T: x -> y Domain: Set of all the possible values of x (정의역) Co-domain: Set of all the possible values of y (공역) Image: a mapped output y, given x Range: Set of all the output values mapped by each x in the domain (치역) Note: the output mapped by a particular x is uniquely determined. Lin..
2023.01.03 -
Deep Learning Basics Lecture2: Neural Networks & Multi-Layer Perceptron
Neural Networks "Neural networks are computing system as vaguely inspired by the biological neural networks that constitute animal brains." Neural networks are function approximators that stack affine transformations followed by nonlinear transformations. ex) GoogLeNet, ResNet Linear Neural Networks We compute the partial derivatives w.r.t the optimization variables. Then, we iteratively update ..
2023.01.03 -
Mathematics for Artificial Intelligence 5강: 딥러닝 학습방법 이해하기
신경망을 수식으로 분해하려면 우선 선형모델을 먼저 이해해야 한다. 행렬은 데이터를 모아놓은 행렬 A, 다른 벡터로 보내는 가중치 행렬 W d개의 변수로 p개의 선형모델을 만들어서 p개의 잠재변수를 설명하는 모델을 상상해볼 수 있다. 딥러닝에서 화살표는 가중치 w가 결정짓고, 출력 벡터 o에 softmax 함수를 합성하면 확률벡터가 되므로 특정 클래스 k에 속할 확률로 해석할 수 있다. 소프트맥스 연산 소프트맥스(softmax) 함수는 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. 분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 예측한다. softmax 함수를 통해 R에 있는 벡터를 확률벡터로 변환할 수 있다. (예: [1, 2, 0] -> [0.24, 0.67, 0.09]) impo..
2023.01.02 -
Mathematics for Artificial Intelligence 3강: 경사하강법
미분이 뭔가요? - 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 제일 많이 사용하는 기법입니다. 미분 변화율의 극한(limit)으로 정의한다. 미분을 손으로 계산하려면 일일이 h -> 0 극한을 계산해야한다. f(x) = x2 + 2x + 3 f'(x) = 2x + 2 - 최근엔 미분을 손으로 직접 계산하는 대신 컴퓨터가 계산해줄 수 있다. import sympy as sym from sympy.abc import x sym.diff(sym.poly(x**2 + 2*x + 3), x) Poly(2*x + 2, x, domain='ZZ') 요즘은 sympy.diff를 가지고 미분을 컴퓨터로 계산할 수 있다. - 미분은 함수 f의 주어..
2023.01.02 -
Deep Learning Basic Lecture 1: Historical Review
Introdiction Disclaimer 한 사람이 짧은 시간에 두기에 다양한 연구 주제가 있음. 장님이 코끼리를 만지는 상황을 일반적으로 생각하는데, 딥러닝이라 불리우는 학문은 여러 분야에 얽혀 있다. 일반적으로 3가지가 있는데 ,하나가 구현 실력(텐서플로우, 파이토치)이 중요함. 머릿속에서 떠오른 것을 결과로 뽑는 것. 가장 근간이 되는 것을 보도록 할 것이다. Implementation Skills Math Skills(Linear Algebra, Probability) Knowing a lot of recent Papers - 연구를 하는 입장에서 보면 현재 트렌드와 어떤 논문과 연구가 무엇인지 아는 것이 중요하다. 꼭 알아야하는 논문들 위주. Artificial Inteligence..
2023.01.01 -
선형독립과 선형종속
선형독립 - 재료 벡터들의 스팬 안에 해가 존재하며, 밖에 있으면 해가 존재하지 않다. - 스팬 안에 상수 벡터가 들어와 있으면 해가 존재하는데, 그 해가 과연 유니크할 것인지와 유일하게 하나만 존재하는지 여러개가 존재할 수 있을 건지를 봐야한다. - 기준이 되는 부분이 linear independence. 상수 벡터가 평면에 들어와 있으면 두개의 벡터의 적절한 크기를 찾아서 두개의 벡터의 평행사변형, 정확하게 b벡터에 일치하도록 하는 솔루션에 부합하는 길이를 찾는게 선형결합에서의 길이를 늘리고, 줄이는 해를 찾는 과정이다. - 평행 사변형의 길이는 하나로 픽스가 되는데, 해가 여러개 존재하면 평행사변형을 여러개를 만들 수 있다는 의미이며, 여러 가능성이 있을 때, 주어진 세개의 벡터가 선형 의존이 되고..
2023.01.01