본문 바로가기
반응형

ai19

SLM (Segmental Language Model): 중국어를 위한 비지도 신경 단어 분할 논문 링크 요약 SLM은 중국어 단어 분할을 위한 비지도 신경 모델로, 중국어의 특성상 명확한 단어 경계가 없기 때문에 중요한 연구 주제입니다. 이 모델은 중국어의 세그먼트 특성에 집중하여 설계되었습니다. 본 모델의 핵심은 두 가지 주요 구성 요소에 있습니다.Context Encoder: 이전의 콘텍스트를 인코딩하여 현재 세그먼트의 생성에 필요한 정보를 제공합니다. Segment Decoder: 인코딩된 콘텍스트를 기반으로 각 세그먼트를 점진적으로 생성합니다. 전통적인 언어 모델링은 문자 시퀀스의 결합 확률 함수를 학습하는 것을 목표로 합니다. 그러나 SLM에서는 세그먼트 언어 모델링을 도입하여 문자의 세그먼트 시퀀스의 결합 확률 함수를 학습합니다. 이를 통해 모델은 주어진 문장을 생성하기 위한 모든 가.. 2023. 10. 23.
T5 (Text-to-Text Transfer Transformer): 현대적 자연어 처리를 위한 통합 프레임워크 1. 서론 전통적인 자연어 처리(NLP) 모델은 특정 작업에 최적화된 다양한 아키텍처와 입력/출력 형식을 채택하였다. 예를 들어, 시퀀스-투-시퀀스(sequence-to-sequence) 모델, BERT와 같은 Transformer 기반의 모델, 그리고 LSTM 기반의 RNN 모델 등이 있다. 이러한 다양한 아키텍처는 각각의 작업에 특화된 성능을 제공하지만, 모델의 일반화 능력과 확장성에 있어서는 한계를 가지게 된다. 특히, 새로운 작업이나 도메인에 적용할 때, 모델 아키텍처나 학습 전략을 처음부터 재설계해야 하는 문제가 발생한다. T5는 이러한 문제점을 극복하기 위해 모든 NLP 작업을 텍스트에서 텍스트로의 변환 작업으로 일반화하고 단순화하는 방향으로 접근하였다. 이를 통해, 다양한 작업에 대한 통합된.. 2023. 9. 19.
LangChain(랭체인): 언어 모델을 활용한 체인 구조의 효율적인 학습 및 구현 1. 서론 언어 모델은 최근 Transformer 아키텍처와 Attention 메커니즘의 도입으로 인해 딥러닝 분야에서 큰 주목을 받고 있습니다. 그러나 대부분의 연구는 단일 언어 데이터에 초점을 맞추고 있으며, 여러 언어 데이터를 연결하여 활용하는 방법에 대한 연구는 부족합니다. 이에 Langchain이라는 새로운 프레임워크를 통해 이 문제를 해결하고자 합니다. 2. LangChain 프레임워크 Langchain은 여러 언어 데이터를 연결하여 하나의 체인 구조를 형성합니다. 각 노드는 특정 언어의 데이터를 나타내며, 이웃 노드와의 연결을 통해 정보를 교환하고 학습합니다. 이 과정에서 Backpropagation과 Gradient Descent 알고리즘을 활용하여 체인 전체의 최적화된 학습을 진행합니다... 2023. 9. 14.
[13주차] monthly project3 실전 프로젝트 - CNN을 활용한 풍경(Scene) 이미지 분류 한 장의 풍경 이미지가 주어졌을 때, 어떠한 카테고리(category)에 속하는지 맞히는 분류 모델을 만드세요. 다음의 세 가지 대표적인 CNN 모델을 실습합니다. 성능을 올릴 수 있는 두 가지 심화 기법을 실습합니다. 본 프로젝트는 총 7개의 문제로 구성됩니다. (참고) 본 실습 코드에서는 빠른 결과 도출을 위해 30~50 epoch 정도만 학습합니다. Problem 1. 데이터셋 다운로드 및 분석하기 # 깃허브에서 데이터셋 다운로드하기 !git clone https://github.com/ndb796/Scene-Classification-Dataset-Split # 폴더 안으로 이동 %cd Scene-Classification-Datas.. 2023. 6. 28.
보이스 피싱 AI 구별법(NLP) 음성 인식 및 분석은 딥러닝의 한 분야로, 이를 위해 여러 가지 알고리즘이 개발되었습니다. 이 중에서도, 음성의 특성을 분석하여 사람의 목소리와 AI가 생성한 목소리를 구별하는 방법 중 하나는 스펙트로그램을 사용하는 것입니다. 스펙트로그램은 시간에 따른 주파수의 분포를 시각화한 것으로, 음성의 특성을 잘 나타냅니다. 다음은 이를 구현하는 간단한 파이썬 코드입니다. 이 코드는 두 개의 오디오 파일(하나는 사람의 목소리, 다른 하나는 AI가 생성한 목소리)을 입력으로 받아, 각각의 스펙트로그램을 생성하고, 이를 비교하여 두 오디오 파일이 같은 소스에서 왔는지를 판단합니다. import numpy as np import matplotlib.pyplot as plt import scipy.io.wavfile a.. 2023. 6. 8.
[2주차 - Day5] 인공지능 수학 선형 시스템 연립일차방정식은 linear system(선형시스템)입니다. Gauss 소거법(2X3 liner systme) 3x + y + z = 4 x - 2y - z = 5 변수 하나씩 소거하면서 계산 이 방정식들을 각각 linear equation(선형방정식)이라 합니다. 선형대수(linear algebra)의 목표는 어떤 연립일차방정식 문제라도 정형적인 방법으로 표현하고, 해결하는 방법을 배우는 것입니다. Ax = b로 표현하기 1. 선형시스템의 unknowns(미지수)를 모아 column vector(열벡터) x로 표현합니다. 2. 선형시스템의 linear equation(선형방정식)에 대해 다음을 수행합니다. ● coefficients(계수)를 모아 A의 row vector(행벡터)로 표현합니.. 2023. 3. 25.
[1주차 - Day1] 어서와! 자료구조와 알고리즘은 처음이지? (1) 첫째 날은 라이브 세션으로 30년 차 실리콘밸리 데이터 엔지니어 강사님의 강연을 들었습니다. 주니어 개발자로서 갖춰야 할 태도와 자세가 주된 내용이었습니다. 끊임없이 탐구하고, 커리어의 굴곡을 이해하고, UP & DOWN을 현명하게 대처해야 한다는 말이 제 뇌리에 박혔습니다. 새로운 기술의 습득이 아닌 결과를 내는데 초점 맞추기 아주 나쁘지 않은 환경에 있다는 전제 자신이 맡은 일을 잘하기 위해서 필요한 기술습득 ex) 자동화하기 혹은 실행시간 단축하기 자신이 맡은 일의 성공/실패를 어떻게 결정하는지 생각 - 매니저와의 소통이 중요, 성공/실패 지표에 대해서 생각 시작과 꾸준함의 중요성 아무 일도 안 하면 아무런 일도 발생하지 않음: 시작이 반 Practice Makes Perfect - 꾸준히 매일 하.. 2023. 3. 13.
[부스트코스] 코칭스터디 9기 : AI Basic 2023 5주차 미션(Q1, Q2, Q3) 변형 문제 풀이 Q1. MNIST 데이터셋을 직접 Load 해 봅시다. 데이터셋을 로드하고 DataLoader를 구현해 보세요. Input import torch import torch.nn as nn import torchvision.datasets as dset import torchvision.transforms as transforms from torch.utils.data import DataLoader training_epochs = 18 # training 반복 횟수 batch_size = 150 root = './data' mnist_train = dset.MNIST (root=root, train=True, transform=transforms, download=True) mnist_test = dset.. 2023. 2. 20.
[부스트코스] 코칭스터디 9기 : AI Basic 2023 1주차 미션(Q3, Q4, Q5) 변형 문제 풀이 Q3. 각 학생들의 평균 점수를 출력하시오. Input score = [(100, 96), (94, 89), (60, 54), (73, 83), (76, 82)] def get_avg(score): for index, point in enumerate(score): print(f'{index+1} 번, 평균 : {sum(point)/len(point):.1f}') get_avg(score) Output 1 번, 평균 : 98.0 2 번, 평균 : 91.5 3 번, 평균 : 57.0 4 번, 평균 : 78.0 5 번, 평균 : 79.0 Q4. 2 개의 딕셔너리 객체를 합쳐 출력하시오. Input dict_first = {'파인애플': 35, '바나나': 19, '망고': 10, '키위': 14} dict_.. 2023. 1. 15.
[부스트코스] 코칭스터디 9기 : AI Basic 2023 1주차 미션(Q1, Q2) 변형 문제 풀이 Q1. num_list 가 홀수인 데이터만 출력하도록 하는 함수를 작성하시오. Input #주어진 리스트 num_list = [3, 9, 11, 14, 18, 21, 25, 27] def get_odd_num(num_list): for num in num_list[:]: if (num %2 == 0): num_list.remove(num) return num_list print(get_odd_num(num_list)) Output [3, 9, 11, 21, 25, 27] Q2. string 문장을 받아 단어를 역순으로 출력하는 함수를 작성하시오. Input sentence = "Life is too short You need python" def reverse_sentence(sentence): resu.. 2023. 1. 13.
Mathematics for Artificial Intelligence 9강: CNN 첫걸음 Convolution 연산 이해하기 지금까지 배운 다층신경망(MLP)은 각 뉴런들이 선형모델과 활성함수로 모두 연결된 (fully connected) 구조이다. (만일 i가 바뀌면 사용되는 가중치도 바뀐다.) Convolution 연산은 이와 달리 커널(kernel)을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조이다. (모든 i에 대해 적용되는 커널은 V로 같고, 커널의 사이즈만큼 x상에서 이동하면서 적용한다. / 활성화 함수를 제외한 Convolution 연산도 선형변환에 속한다.) 커널 사이즈는 고정된 상태이기에 파라미터를 많이 줄일 수 있다. Convolution 연산의 수학적인 의미는 신호(signal)를 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 추출 또는 필터링하.. 2023. 1. 5.
Deep Learning Basis Lecture 4: Convolutional Neural Networks Convolution Continuous convolution Discrete convolution 2D image convolution K(3X3 filter) * I(7X7 image) = Output(5X5) 2D convolution in action Blur, Emboss, Outline RGB Image Convolution 5X5X3 filter / 32X32X3 Image / 28X28X1 feature 32X32X3 Image * Four 5X5X3 filter -> 28X28X4 feature Stack of Convolutions [32X32X3] -> CONV(4 5X5X3 filters), ReLU -> [28X28X4] -> CONV(10 5X5X4 filters), ReLU -.. 2023. 1. 4.
반응형

티스토리툴바