너와 나의 스토리

출처: https://fastcampus.co.kr/data_red_ragmaster 멀티 모달 RAG 시스템멀티모달 RAG: 여러 형태의 데이터를 검색해 생성 AI에 연결하여 답변 개선예: ChatGPT에 이미지를 보여주거나 음성으로 질문하는 다중모달 인터페이스 등장 Embedding데이터(단어, 문장 등)의 의미를 보존하는 벡터 표현유사한 의미의 데이터는 벡터 공간에서 가까운 위치에 맵핑됨임베딩은 텍스트 외 이미지, 오디오 등에도 적용 가능 텍스트 임베딩 vs 이미지 임베딩 vs 멀티모달 임베딩 텍스트 임베딩단어/문장의 언어적 의미를 벡터로 표현 (자연어 의미 공간)이미지 임베딩픽셀 데이터의 시각적 패턴을 벡터로 표현(훈련 데이터에 따라 의미적 특징 일부 반영)멀티모달 임베딩서로 다른 모달의 데이터(..

LLM 기반 ReAct 방법LLM 기반의 프롬프트 설계 기법.모델이 추론(Reasoning)과 행동(Action)을 반복하며 문제를 해결하도록 설계된 방식.주로 지식 기반 시스템이나 에이전트 설계에서 사용되며, 모델이 논리적으로 문제를 해결하는 동시에 외부 도구(예: 검색기, 계산기 등)를 활용해 최적의 답을 도출할 수 있도록 한다.LLM 기반 ReAct 방법은 다양한 벤치마크에서 모방 학습과 강화 학습에 비해 더 높은 답변 성능을 보여준다고 한다. ReAct 방법ReAct 방법은 문제 해결 과정을 위한 순차적 추론 단계(chain-of-thought, COT)와 특정 작업 수행을 위한 도구 또는 행동으로 나뉜다. 라고스(Regas)RAG 파이프라인을 평가하는 프레임워크. 외부 데이터를 사용해 LLM의..

Part 2 - AI로 더 편리한 서비스 만들기 배민 검색 이제 "치킨"같은 음식 이름뿐만 아니라 "금요일", "매운", "해장음식" 등 키워드를 넣어도 추천해줌 프롬프트 엔지니어링 구체적인 프롬프트 작성상황과 형식을 명확하게 제시예: "첨부한 문서를 요약해주세요" -> "첨부한 회의록을 3가지 핵심 사항으로 요약하고 마크다운 형식으로 정리해주세요."예: "저화질인지 판단하세요" -> "이미지 내부의 주요한 객체가 선명하지 않거나 화질이 깨졌는지 판단하세요." 프롬프트 일반화프롬프트를 너무 구체화하면 예외 케이스를 놓칠 수 있다.예: "워터마크처럼 합성된 글씨가 있는지 판단하세요"워터마크는 잘 잡지만, 다른 합성 텍스트는 놓칠 수 있다.-> "워터마크와 같이 인위적으로 합성된 글씨가 있는지 판단하세요...

인덱싱 (Indexing)특정 컬럼의 값을 빠르게 찾을 수 있도록 도와주는 데이터 구조 인덱스 종류인덱스 종류설명Primary Key테이블의 고유 식별자. 자동으로 UNIQUE + NOT NULL 인덱스 생성Unique Key중복 허용 안 됨. 이메일, 주민번호 등에 사용Index (또는 key)일반 인덱스. 중복 가능FullText Index전문 검색용 인덱스 (MyISAM, InnoDB 5.6 이상에서 지원)Spatial Index공간 데이터(GIS) 전용 인덱스 인덱스 내부 구조MySQL의 기존 스토리지 엔진인 InnoDB는 B+Tree 구조로 인덱스를 저장한다.Clustered Index: Primary Key 기준으로 실제 데이터도 정렬됨Secondary Index: 실제 데이터가 아닌 PK를..

2024.08.10 - [Data Analysis/LLM] - [LLM] RAG with OpenAI 쉬운 구현 방법과 설명 FaissFacebook AI Research에서 개발한 효율적인 벡터 검색 및 클러스터링 라이브러리이는 대규모 디비에서 유사한 벡터를 빠르게 검색하는 데 사용된다.주요 기능고차원 벡터 근접 이웃 탐색(Approximate Nearest Neighbor Search, ANN)대규모 데이터 처리인덱스 및 클러스터링여러 가지 알고리즘을 조합하여 사용 가능 CPU와 GPU 모두 동작할 수 있게 설계되어 있음이러한 기능을 CPU에서 실행할 수 있도록 한 버전 -> Faiss-cpu LangChain에서 벡터 저장소를 이용해 문서를 검색할 때, 다양한 옵션을 설정하는 예제1. MMR(Max..

웹 페이지에서 데이터 가져오기import 문import bs4from langchain import hubfrom langchain_chroma import Chromafrom langchain_community.document_loaders import WebBaseLoaderfrom langchain_core.output_parsers import StrOutputParserfrom langchain_core.runnables import RunnablePassthroughfrom langchain_openai import OpenAIEmbeddingsfrom langchain_text_splitters import RecursiveCharacterTextSplitterWebBaseLoader 이용..

LLM Conditioning조건화(conditioning)모델을 특정 작업에 맞게 조정하거나 모델 출력이 기대한 대로 일치하는지 확인하는 과정모델의 출력 생성을 지시하기 위해 사용하는 다양한 방법의 모음조건화의 두 가지 방법미세 조정(fine tuning)프롬프트 기술정렬(alignment)LLM의 일반적인 행동, 의사 결정과정 및 출력이 좀 더 넓은 인간의 가치, 윤리 원칙 등에 부합하도록 훈련하고 수정하는 과정과 목표를 가리킨다.조건화와 동의어가 아님.조건화는 파인 튜닝을 포함할 수 있으며, 상호 작용의 다양한 층에서 모델을 영향을 주는 것에 중점을 두지만,정렬은 모델의 행동을 인간의 윤리와 안전 기준에 대한 기본적이고 전체적인 교정에 관심이 있다. 파인 튜닝사전 훈련된 모델의 모든 매개변수를 전문..

생성 모델, AI, ML, DL 언어 모델 키워드 구별하기AI: 컴퓨터 과학의 넓은 분야로 추론, 학습, 자율적 행동이 가능한 지능적 에이전트를 만드는 데 중점을 둔다.ML(Machine Learning): 데이터로부터 학습할 수 있는 알고리즘을 개발하는 AI의 하위 분야.DL(Deep Learning): 많은 계층을 가진 심층 신경망을 사용해 데이터로부터 복잡한 패턴을 학습하는 ML 알고리즘의 메커니즘.생성 모델(Generative Models): 입력 데이터에서 학습한 패턴을 기반으로 새로운 데이터를 생성할 수 있는 ML 모델의 한 유형.언어 모델(Language Model): 자연 언어의 시퀀스에서 단어를 예측하기 위해 사용되는 통계 모델. 언어 모델 중 일부는 DL을 활용하여, 대규모 데이터셋에서..