반응형 AI/Paper Review5 [논문 리뷰] DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction 1. 서론 DIN-SQL은 Text-to-SQL 태스크에서 대형 언어 모델(Large Language Model, LLM)을 활용하여 자연어 질의로부터 SQL 쿼리를 생성하는 새로운 방법론을 제안합니다. 특히 복잡한 데이터베이스 질의에 대해 높은 정확도를 목표로 하며, 'Decomposed In-Context Learning'과 'Self-Correction'이라는 두 가지 주요 전략을 채택합니다. Text-to-SQL은 자연어를 데이터베이스 질의문으로 변환하는 작업으로, 효율적인 데이터베이스 접근을 가능하게 합니다. DIN-SQL은 LLM 기반의 접근법을 사용하여 기존 모델의 한계를 보완하고 성능을 향상하고자 합니다. 2. 연구 배경 기존의 Text-to-SQL 모델들은 주로 단일 테이블 기반의 쿼리 .. 2024. 11. 24. [논문 리뷰] LightRAG: Simple and Fast Retrieval-Augmented Generation LightRAG는 그래프 기반 RAG (Retrieval-Augmented Generation) 시스템으로, 기존 RAG 시스템이 지닌 맥락 이해 부족과 데이터 처리 비효율성을 해결하기 위해 고안된 프레임워크입니다. 특히 그래프 기반의 텍스트 인덱싱과 이중 수준 검색 체계를 통해, LLM(대형 언어 모델)이 복잡한 질문에 대해 더욱 종합적인 응답을 제공할 수 있음을 실험적으로 증명합니다. 1. 연구 배경과 문제점기존 RAG 시스템의 한계: 현재의 RAG 시스템은 평면적 데이터 구조에 의존하여 복잡한 질의를 정확히 처리하기 어렵고, 개체 간 상호 관계를 이해하는 데 한계가 있습니다. 특히, 평면적 데이터 구조는 서로 관련 있는 정보를 적절히 연결하지 못해 단편적이거나 파편화된 응답을 초래할 수 있습니다.L.. 2024. 11. 16. [논문 리뷰] A Multi-Task Benchmark for Korean Legal LanguageUnderstanding and Judgement Prediction 1. 연구 배경 및 목적 한국어 법률 데이터의 인공지능 활용 가능성을 확장하기 위한 대규모 데이터셋, LBOX OPEN을 구축한 연구입니다. 한국 법률 데이터는 법적 문서의 전문적 구성, 복잡한 구조 및 한국어의 고유한 언어적 특성 때문에 그 활용에 어려움이 존재합니다. 본 연구는 LBOX OPEN이라는 법률 예측 모델 개발을 위한 데이터셋을 통해 이러한 문제를 해결하고, 나아가 한국 법률 텍스트에 대한 자연어 이해(NLU) 모델 개발에 기여하고자 합니다. 연구의 주요 목적은 한국어로 작성된 민사 및 형사 판례 데이터를 체계적으로 수집하여, 법적 예측 모델을 학습하고 평가할 수 있는 환경을 제공하는 데 있습니다. LBOX OPEN은 특히 한국 법률에서 빈번하게 발생하는 하급 법원의 판례를 포함하여 법률 .. 2024. 11. 10. [논문 리뷰] LAB: LARGE-SCALE ALIGNMENT FOR CHATBOTS 1. 연구 배경 및 목적 대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 작업에서 탁월한 성능을 보여 왔지만, 특정 도메인에 맞춤화하여 instruction-tuning을 수행할 때에는 막대한 비용과 시간이 요구됩니다. 특히, 고품질 데이터의 필요성과 GPT-4와 같은 독점적 모델에 대한 의존성은 데이터 접근성과 비용 효율성에서 큰 제약이 됩니다. IBM과 MIT-IBM Watson AI Lab의 연구팀은 이러한 문제를 해결하고자, 합성 데이터를 통한 비용 효율적 학습과 LAB(Large-scale Alignment for ChatBots) 방식을 통해 도메인에 최적화된 학습 방법론을 제안했습니다. Synthetic Labeling Method(SLM)을 기반으로 하는 이 방법론은 대형 모델을 .. 2024. 11. 3. SLM (Segmental Language Model): 중국어를 위한 비지도 신경 단어 분할 논문 링크 요약 SLM은 중국어 단어 분할을 위한 비지도 신경 모델로, 중국어의 특성상 명확한 단어 경계가 없기 때문에 중요한 연구 주제입니다. 이 모델은 중국어의 세그먼트 특성에 집중하여 설계되었습니다. 본 모델의 핵심은 두 가지 주요 구성 요소에 있습니다.Context Encoder: 이전의 콘텍스트를 인코딩하여 현재 세그먼트의 생성에 필요한 정보를 제공합니다. Segment Decoder: 인코딩된 콘텍스트를 기반으로 각 세그먼트를 점진적으로 생성합니다. 전통적인 언어 모델링은 문자 시퀀스의 결합 확률 함수를 학습하는 것을 목표로 합니다. 그러나 SLM에서는 세그먼트 언어 모델링을 도입하여 문자의 세그먼트 시퀀스의 결합 확률 함수를 학습합니다. 이를 통해 모델은 주어진 문장을 생성하기 위한 모든 가.. 2023. 10. 23. 이전 1 다음 반응형
