'전이 학습' 태그의 글 목록

ELMo (Embeddings from Language Models)는 2018년에 Allen Institute for Artificial Intelligence의 연구자들에 의해 제안된 새로운 형태의 워드 임베딩 방법입니다. ELMo는 전통적인 워드 임베딩 방법들과는 달리, 문맥을 고려한 워드 임베딩을 생성합니다. ELMo의 주요 특징 및 세부 사항은 다음과 같습니다. 1. 문맥 기반 워드 임베딩 양방향 LSTM 사용: ELMo는 양방향 LSTM (Bi-LSTM)을 사용하여 주어진 문장의 단어들을 처리합니다. 이를 통해 각 단어의 앞뒤 문맥 정보를 모두 포착할 수 있습니다. 다양한 수준의 문맥 정보: ELMo는 Bi-LSTM의 여러 층에서 얻은 임베딩을 결합하여 최종 임베딩을 생성합니다. 이렇게 하면 ..

AI/NLP 2023. 8. 28. 15:10

이전 1 다음