Sequential Model Naive sequence model input xt-2 -> xt-1 -> xt p(xt|xt-1, xt-2,...) 많은 정보를 버릴 수밖에 없다. Latent autoregressive model Output yt-2 yt-1. yt Hidden state ht-2. ->. ht-1. ->. ht Input xt-2 xt-1 xt 중간의 히든 스테이트가 과거의 정보를 요약하고, 다음을 히든 스테이트에 의하여 과거 이전의 스테이트가 아니라 과거의 정보를 요약한 히든 스테이트라 한다. x = p(xt|ht) h1이 되는 등의 모습이다. 굉장히 많은 파라미터가 셰어 하는 인풋의 위치가 큰 네트워크가 된다. 큰 단점은 Short-term dependencies - 계속 취합되..

시퀀스 데이터 이해하기 소리, 문자열, 주가 등의 데이터를 시퀀스(sequence) 데이터로 분류한다. 시계열(time-series) 데이터는 시간 순서에 따라 나열된 데이터로 시퀀스 데이터에 속한다. 시퀀스 데이터는 독립동등분포(i.i.d) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다. 과거 정보 또는 앞뒤 맥락 없이 미래를 예측하거나 문장을 완성하는 건 불가능하다. 시퀀스 데이터를 어떻게 다루는가? 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률을 이용할 수 있다. P(X1,..., Xt) = P(Xt|X1,..., Xt-1) P(X1,..., Xt-1) 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의..

Convolution 연산 이해하기 지금까지 배운 다층신경망(MLP)은 각 뉴런들이 선형모델과 활성함수로 모두 연결된 (fully connected) 구조이다. (만일 i가 바뀌면 사용되는 가중치도 바뀐다.) Convolution 연산은 이와 달리 커널(kernel)을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조이다. (모든 i에 대해 적용되는 커널은 V로 같고, 커널의 사이즈만큼 x상에서 이동하면서 적용한다. / 활성화 함수를 제외한 Convolution 연산도 선형변환에 속한다.) 커널 사이즈는 고정된 상태이기에 파라미터를 많이 줄일 수 있다. Convolution 연산의 수학적인 의미는 신호(signal)를 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 추출 또는 필터링하..

Introduction Language is the source of misunderstandings" Antoine de Saint-Exupery(1900-1944) Gradient Descent First-order iterative optimaization algorithm for finding a local minimum of a differentiable function. Important Concepts in Oprimization Generalization Under-fitting vs. over-fitting Cross validation Bias-variance tradeoff Bootstrapping Bagging and boosting Genenralization How well th..

조건부 확률이란? 베이즈 통계학을 이해하기 위해선 조건부 확률의 개념을 이해해야 한다. 조건부 확률 P(A|B)는 사건 B가 일어난 상황에서 사건 A가 발생할 확률을 의미한다. 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려준다. A라는 새로운 정보가 주어졌을 때 P(B)로부터 P(B|A)를 계산하는 방법을 제공한다. 베이즈 정리: 예제 COVID-99의 발병률이 10%로 알려져 있다. COVID-99에 실제로 걸렸을 때 검진될 확률은 99%, 실제로 걸리지 않았을 때 오 검진될 확률이 1%라고 할 때, 어떤 사람이 질병에 걸렸다고 검진결과가 나왔을 때 정말로 COVID-99에 감염되었을 확률은? 사전확률, 민감도(Recall), 오탐율(False alarm)을 가지고 정밀도(Precis..

Convolution Continuous convolution Discrete convolution 2D image convolution K(3X3 filter) * I(7X7 image) = Output(5X5) 2D convolution in action Blur, Emboss, Outline RGB Image Convolution 5X5X3 filter / 32X32X3 Image / 28X28X1 feature 32X32X3 Image * Four 5X5X3 filter -> 28X28X4 feature Stack of Convolutions [32X32X3] -> CONV(4 5X5X3 filters), ReLU -> [28X28X4] -> CONV(10 5X5X4 filters), ReLU -..