HBO시리즈 '세서미 스트리트'의 캐릭터 Bert에서 가져온 BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 Google이 발표한 자연어 처리 (NLP) 모델입니다. BERT는 특히 문장이나 문단의 문맥을 이해하는 데 매우 효과적이며, 그 이후로 많은 NLP 작업에서 최첨단 성능을 보여줬습니다. Bidirectional (양방향): 전통적인 언어 모델들은 주로 한 방향 (왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽)으로 텍스트를 처리합니다. 그러나 BERT는 문장 내의 단어를 고려할 때 그 단어를 둘러싼 양쪽 문맥을 모두 사용하므로 "양방향"이라는 용어가 사용됩니다. Encoder: BERT는 Transformer 아키텍처의 인코더 부..

이 프로젝트에서는 음식 배달 서비스의 배달 시간을 예측하는 모델을 개발했습니다. 이 모델은 주문의 다양한 특성(예: 주문 아이템 수, 가격, 주문 방식 등)을 기반으로 실제 배달 시간을 예측합니다. 이 모델은 사용자 경험을 향상하고, 서비스 효율성을 높이는 데 도움이 될 것입니다. # 라이브러리 import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error import numpy a..

가우시안 분포 (Gaussian Distribution) 가우시안 분포가 일어나는 여러가지 상황 정보이론에서 엔트로피를 최대화시키는 확률분포 중심극한정리 단일변수 x D차원 벡터 x 여기서 u는 D차원의 평균 벡터이고, ∑는 D X D 크기를 가지는 공분산 행렬입니다. 중요한 것은 u와 ∑가 평균, 공분산으로 주어진 것이 아니고, 파라미터로 주어진 확률밀도함수의 평균과 공분산이 u, ∑가 된다는 것입니다. 가우시안 분포의 기하학적인 형태 x에 대한 함수적 종속성은 지수부에 등장하는 이차형식(quadratic form)에 있습니다. ∑가 공분산으로 주어진 것이 아니기 때문에 처음부터 이 행렬이 대칭이라고 생각할 필요는 없습니다. 그러나 이차 형식에 나타나는 행렬은 오직 대칭부분만이 그 값에 기여합니다. 따..

밀도추정(Density Estimation): 𝑁개의 관찰데이터(observations) 𝐱1,…𝐱𝑁가 주어졌을 때 분포함수 𝑝(𝐱)를 찾는 것입니다. 𝑝(𝐱)를 파라미터화된 분포로 가정한다. 회귀, 분류문제에서는 주로 𝑝(𝑡|𝐱), 𝑝(C|𝐱)를 추정한다. 그다음 분포의 파라미터를 찾는다. 빈도주의 방법(Frequentist's way): 어떤 기준(예를 들어 likelihood)을 최적화시키는 과정을 통해 파라미터 값을 정한다. 파라미터의 하나의 값을 구하게 된다. 베이지안 방법(Bayesian way): 먼저 파라미터의 사전확률(prior distribution)을 가정하고 Bayes' rule을 통해 파라미터의 사후확률(posterior distribution)을 구한다. 파라미터를 찾았다면(한 ..

결정이론이란? 새로운 값 x가 주어졌을 때 확률모델 p(x, t)에 기반해 최적의 결정(예를 들어 분류)을 내리는 것 추론단계: 결합확률분포 p(x, Ck)를 구하는 것(p(Ck|x)를 직접 구하는 경우도 있음). 이것만 있으면 모든 것을 할 수 있음. 결정단계: 상황에 대한 확률이 주어졌을 때 어떻게 최적의 결정을 내릴 것인지? 추론단계를 거쳤다면 결정단계는 매우 쉬움. 예제: X-Ray의 이미지로 암 판별 x: X-Ray 이미지 C1: 암인 경우 C2: 암이 아닌 경우 p(Ck|x)의 값을 알기 원함 직관적으로 볼 때 p(Ck|x)를 최대화시키는 k를 구하는 것이 좋은 결정 기대손실 최소화 (Minimizing the Expected Loss) 모든 결정이 동일한 리스크를 갖는 것은 아님. 암이 아닌..

Python에서의 벡터, 행렬 표현방법 [10.5, 5.2, 3.25, 7.0] [10.5, 5.2, 3.25, 7.0] import numpy as np x = np.array([10.5, 5.2, 3.25]) x.shape (3,) i = 2 x[i] 3.25 np.expand_dims(x, axis=1).shape (3, 1) A = np.array([ [10,20,30], [40,50,60] ]) A array([[10, 20, 30], [40, 50, 60]]) A.shape (2, 3) i = 0 j = 2 A[i, j] 30 j = 1 A[:, j] array([20, 50]) i = 1 A[i, :] array([40, 50, 60]) 행렬의 곱셉 (Matrix Multiplication)..