AI(9)
-
대규모 언어 모델, LLM
LLM (Large Language Model)이란 무엇인가? LLM (Large Language Model)은 최근 자연어 처리(NLP) 분야에서 주목받는 딥 러닝 기반의 모델입니다. 이 모델은 특히 텍스트 데이터를 처리하는 데 있어 뛰어난 성능을 보이며, 그 규모와 복잡성 때문에 '대규모'라는 이름이 붙여졌습니다. LLM은 Transformer 아키텍처를 기반으로 합니다. Transformer는 Attention 메커니즘을 활용하여 입력 데이터의 다양한 부분에 주목하며, 이를 통해 문장 내의 단어나 구문 간의 관계를 더욱 정밀하게 파악할 수 있습니다. 이러한 구조는 LLM이 주어진 콘텍스트를 깊게 이해하고, 그에 따라 적절한 응답을 생성하는 데 중요한 역할을 합니다. LLM의 학습 과정은 일반적으로 ..
2023.09.03 -
언어 모델로부터 만들어진 임베딩, ELMo
ELMo (Embeddings from Language Models)는 2018년에 Allen Institute for Artificial Intelligence의 연구자들에 의해 제안된 새로운 형태의 워드 임베딩 방법입니다. ELMo는 전통적인 워드 임베딩 방법들과는 달리, 문맥을 고려한 워드 임베딩을 생성합니다. ELMo의 주요 특징 및 세부 사항은 다음과 같습니다. 1. 문맥 기반 워드 임베딩 양방향 LSTM 사용: ELMo는 양방향 LSTM (Bi-LSTM)을 사용하여 주어진 문장의 단어들을 처리합니다. 이를 통해 각 단어의 앞뒤 문맥 정보를 모두 포착할 수 있습니다. 다양한 수준의 문맥 정보: ELMo는 Bi-LSTM의 여러 층에서 얻은 임베딩을 결합하여 최종 임베딩을 생성합니다. 이렇게 하면 ..
2023.08.28 -
구글이 만든 NLP 모델, BERT
HBO시리즈 '세서미 스트리트'의 캐릭터 Bert에서 가져온 BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 Google이 발표한 자연어 처리 (NLP) 모델입니다. BERT는 특히 문장이나 문단의 문맥을 이해하는 데 매우 효과적이며, 그 이후로 많은 NLP 작업에서 최첨단 성능을 보여줬습니다. Bidirectional (양방향): 전통적인 언어 모델들은 주로 한 방향 (왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽)으로 텍스트를 처리합니다. 그러나 BERT는 문장 내의 단어를 고려할 때 그 단어를 둘러싼 양쪽 문맥을 모두 사용하므로 "양방향"이라는 용어가 사용됩니다. Encoder: BERT는 Transformer 아키텍처의 인코더 부..
2023.08.26