[7주차 - Day4] ML_basics - Probability Distributions (Part 2)

가우시안 분포 (Gaussian Distribution)

• 가우시안 분포가 일어나는 여러가지 상황
  
  •  
  • 정보이론에서 엔트로피를 최대화시키는 확률분포
  • 중심극한정리

단일변수 x

D차원 벡터 x

여기서 u는 D차원의 평균 벡터이고, ∑는 D X D 크기를 가지는 공분산 행렬입니다. 중요한 것은 u와 ∑가 평균, 공분산으로 주어진 것이 아니고, 파라미터로 주어진 확률밀도함수의 평균과 공분산이 u, ∑가 된다는 것입니다.

 

가우시안 분포의 기하학적인 형태

• x에 대한 함수적 종속성은 지수부에 등장하는 이차형식(quadratic form)에 있습니다.

• ∑가 공분산으로 주어진 것이 아니기 때문에 처음부터 이 행렬이 대칭이라고 생각할 필요는 없습니다. 그러나 이차 형식에 나타나는 행렬은 오직 대칭부분만이 그 값에 기여합니다.

따라서, ∑가 대칭행렬인 것으로 간주할 수 있습니다.

 

대칭행렬의 성질에 따라서 ∑를 아래와 같이 나타낼 수 있습니다.

• y를 벡터들 ui에 의해 정의된 새로운 좌표체계 내의 점으로 해석할 수 있습니다. 이것을 기저변화(change of basis)이라고 합니다.

• x - u: standard basis에서의 좌표
• y: basis {u1, u2, ..., uD}에서의 좌표

가우시안 분포의 Normalization 증명

• y의 확률밀도함수를 구하기 위해서 Jacobian J를 구해야 합니다.

• 행렬식 |∑|는 고유값의 곱으로 나타낼 수 있습니다.

• 따라서, y의 확률밀도함수는

 

• y의 normalization