본문 바로가기
반응형

기계학습5

구글이 만든 NLP 모델, BERT HBO시리즈 '세서미 스트리트'의 캐릭터 Bert에서 가져온 BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 Google이 발표한 자연어 처리 (NLP) 모델입니다. BERT는 특히 문장이나 문단의 문맥을 이해하는 데 매우 효과적이며, 그 이후로 많은 NLP 작업에서 최첨단 성능을 보여줬습니다. Bidirectional (양방향): 전통적인 언어 모델들은 주로 한 방향 (왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽)으로 텍스트를 처리합니다. 그러나 BERT는 문장 내의 단어를 고려할 때 그 단어를 둘러싼 양쪽 문맥을 모두 사용하므로 "양방향"이라는 용어가 사용됩니다. Encoder: BERT는 Transformer 아키텍처의 인코더 부.. 2023. 8. 26.
[8주차 - Day2] monthly project2 Problem 1. 데이터셋 다운로드 및 분석하기 # 깃허브에서 데이터셋 다운로드하기 ! git clone https://github.com/ndb796/Scene-Classification-Dataset # 폴더 안으로 이동 % cd Scene-Classification-Dataset # 깃허브에서 데이터셋 다운로드하기 !git clone https://github.com/ndb796/Scene-Classification-Dataset # 폴더 안으로 이동 %cd Scene-Classification-Dataset Cloning into 'Scene-Classification-Dataset'... remote: Enumerating objects: 24303, done. remote: Counting .. 2023. 6. 22.
[6주차 - Day4] ML_basics - Linear Algebra, Matrix Calculus Python에서의 벡터, 행렬 표현방법 [10.5, 5.2, 3.25, 7.0] [10.5, 5.2, 3.25, 7.0] import numpy as np x = np.array([10.5, 5.2, 3.25]) x.shape (3,) i = 2 x[i] 3.25 np.expand_dims(x, axis=1).shape (3, 1) A = np.array([ [10,20,30], [40,50,60] ]) A array([[10, 20, 30], [40, 50, 60]]) A.shape (2, 3) i = 0 j = 2 A[i, j] 30 j = 1 A[:, j] array([20, 50]) i = 1 A[i, :] array([40, 50, 60]) 행렬의 곱셉 (Matrix Multiplication).. 2023. 5. 14.
[6주차 - Day2] 기계학습과 수학 리뷰 기계학습에서의 수학 역할 - 수학은 목적함수를 정의하고, 목적함수의 최저점을 찾아주는 최적화 이론을 제공합니다. - 최적화(optimization) 이론에 학습률(learning rate), 멈춤 조건과 같은 제어를 추가하여 알고리즘 구축 - 사람은 알고리즘을 설계하고, 데이터를 수집 벡터(vector) - 샘플을 특징 벡터로 표현(feature vector) 예) Iris 데이터에서 꽃받침의 길이, 꽃받침의 너비, 꽃잎의 길이, 꽃잎의 너비라는 4개의 특징이 각각 5.1, 3.5, 1.4, 0.2인 샘플 - 요소의 종류와 크기 표현 - 데이터 집합의 여러 개 특징 벡터를 첨자로 구분 행렬(matrix) - 여러 개의 벡터를 담음 - 훈련집합을 담은 행렬을 설계행렬(design matrix)이라 부름 예.. 2023. 5. 12.
[6주차 - Day1] 인공지능과 기계학습 소개 기계학습: 최적의 프로그램(알고리즘)을 찾는 행위 기계학습의 핵심 3가지: 경험, 과업, 성능 어떤 태스크에 대해 규칙을 찾는데, 입력과 결과를 찾을 때, 세련된 결과를 점진적으로 만들어 가는 것이 기계학습. 새로운 규칙에서 데이터라는 경험에서부터 문제를 점진적으로 풀 수 있는 진보적인 퍼포먼스이라 할 수 있습니다. 인공지능은 연산 장치의 탄생과 동일하게 나타났는데, 사람보다 복잡한 연산을 잘한 컴퓨터. 컴퓨터에 대한 높은 기대감으로 인하여 컴퓨터의 능력을 과신하기도 했습니다. 훈련집합(training set) - 가로축은 특징, 세로축은 목표치 - 관측한 4개의 점이 훈련집합을 구성함 가설인 직선 모델의 수식 - 2개의 매개변수 w와 b y = wx + b 기준 사람의 학습 기계 학습 학습 과정 능동적.. 2023. 5. 12.
반응형

티스토리툴바