MemOS에 대한 내용 중 메모리에 대한 철학을 배워보고자 특정한 부분만 따로 정리해보고자 합니다. "메모리"란 무엇인가? - LLM에서의 의미LLM에서 말하는 메모리(memory)는 인간처럼 정보를 기억하고, 재사용하고, 맥락을 유지하는 기능을 의미합니다. 구체적으로는 다음과 같은 세 가지 관점에서 정의할 수 있습니다:메모리 역할설명지식 저장소LLM이 과거 학습 또는 상호작용으로부터 획득한 정보 유지상태 유지 장치다중 턴 대화, 긴 문서 생성 등에서 일관성을 유지하기 위한 맥락 정보적응성 수단사용자 선호, 과거 입력, 과제 특성에 기반한 동적 대응 가능성 즉, "memory"는 단순한 cache나 context가 아닌, 행동 지속성, 지식 진화, 사용자의 개인화 경험을 모두 가능하게 하는 지능 시스템의..

GPT 리서치 모드로 정리하였습니다. 대형 언어 모델(LLM)은 놀라운 언어 이해와 생성 능력으로 인공지능 분야의 핵심으로 떠올랐지만, “망각”이라는 근본적 한계를 지니고 있습니다. 현재의 LLM들은 주로 사전에 학습된 모델 파라미터에 내재된 지식과 짧은 대화 맥락만을 활용하며, 세션이 끝날 때마다 과거 대화를 잊어버립니다globalbrandsmagazine.com. 사용자의 선호나 새로운 지식을 장기간 학습하거나 유지하는 구조화된 메모리 체계가 없어, 동일한 내용을 반복 설명해야 하거나 대화 맥락을 장기간 유지하지 못하는 문제가 있습니다linkedin.com. 이를 보완하기 위해 검색 기반 생성(RAG)과 같은 기법이 등장했지만, 이는 외부 지식을 그때그때 불러오는 비상태성(stateless) 임시 방..

프롬프트 최적화 관련 오픈소스 정리하기번호오픈소스링크체크날짜라이센스Star(2025-05)1llama-prompt-ops https://github.com/meta-llama/llama-prompt-ops2025-05MIT2642dspyhttps://github.com/stanfordnlp/dspy 2025-05 MIT24.1k3 OpenPrompt https://github.com/thunlp/OpenPrompt 2025-05 Apache-2.04.6k4Promptimhttps://github.com/hinthornw/promptimizer2025-05MIT7245GreaterPrompthttps://github.com/psunlpgroup/GreaterPrompt2025-05MIT156GreaTerh..

GPT를 활용하여 작성하였습니다  배경어쩌다가 뉴스 기사를 통해 보게 되었고, 내용을 대충 보니 데이터를 어떻게 쌓으면 되는지 그리고 어떤 식으로 학습하면 되는지 그리고 깃헙을 제공하다 보니, 관심을 가지게 되었고, 읽게 되었습니다.그래서 이 논문을 통해 알고자 하는 부분은 어떻게 데이터를 뽑았는 지, 그리고 어떻게 저렴한 비용으로 해당 모델을 만들 수 있는 지를 알고자 읽어보게 되었습니다.   이 논문의 핵심 내용은 Test-time scaling(테스트 시 스케일링)이라는 개념을 활용하여 언어 모델의 성능을 향상시키는 방법을 연구하는 것입니다. 기존에 OpenAI의 o1 모델이 이를 구현했지만, 구체적인 방법이 공개되지 않아 이를 복제하려는 여러 시도가 있었습니다. 연구진은 가능한 한 가장 단순한 방..

GPT와 함께 아래 내용들을 정리했습니다.   2025년 1월, 핫하게 떠오른 DeepSeek 모델최근 AI 업계에서 뜨거운 화제가 되고 있는 DeepSeek 모델을 살펴보자.이 모델은 헤지펀드 하이 플라이어 퀀트라는 기업에서 개발한 것으로, 해당 기업은 550만 달러의 비용으로 현재까지 가장 뛰어난 오픈 소스 언어 모델을 만들었다고 주장하고 있다.NVIDIA 칩 의존도를 낮춘 혁신DeepSeek 개발진은 "꼭 최고의 NVIDIA 칩이 아니더라도 고성능 모델을 개발할 수 있다"고 자신 있게 발표했다.실제로 DeepSeek은 오픈 소스 모델 중 최고의 성능을 기록했으며, 폐쇄형 모델인 GPT-4와도 견줄 만한 결과를 보여주었다.이 혁신적인 접근은 업계 전반에 큰 반향을 일으켰으며, 특히 NVIDIA의 주가..

qwen2.5-72b를 vllm에 올리는 테스트를 해보는 중에, ollama로 올린 것이 vllm으로 올린 것보다 더 빠른 것을 경험했습니다.vllm에 올린 모델은 허깅페이스에 올라온 모델을 기반으로 테스트했습니다.1. Qwen/Qwen2.5-72B-Instruct-AWQ2. Qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 ollama 역시 양자화된 것인데Q4_K_M으로 양자화된 모델(gguf)임을 알 수 있습니다. 개인적으로 서빙을 할 때 당연히 ollama가 vllm 보다 느릴 줄 알았는데, vllm이 더 느린 것을 보고, 공식적으로 지원하지 않는 모델 같은 경우 느릴 수도 있겠다는 생각이 들었습니다.https://docs.vllm.ai/en/latest/models/supported..

LangChain 제품들 요약(LangChain, LangGraph, LangSmith, LangServe) LangChain 제품과 각각의 주요 내용을 정리하면 다음과 같습니다:LangChain: 대형 언어 모델(LLM)을 활용한 애플리케이션 개발 프레임워크입니다.개발: 오픈소스 구성 요소와 LangGraph를 사용하여 상태 유지 에이전트를 구축합니다.생산화: LangSmith를 사용하여 체인을 검사, 모니터링, 평가하고 최적화합니다.배포: LangGraph Cloud를 통해 생산 준비가 된 API 및 Assistant로 변환합니다.LangChain의 구성 요소:langchain-core: 기본 추상화 및 LangChain 표현 언어.langchain-community: 서드파티 통합. (https:/..

llava라는 모델이 나와서 이미지 데이터만으로 테이블을 만들거나 caption을 생성한다는 것이 매력적인 것 같아 실험을 해봅니다. 자원이 없다 보니 개인 노트북에서 cpu로 돌리면서 결과를 하나하나 얻다 보니, 매우 오래 기다렸지만, 나름 유의미한 것 같아 공유드립니다. 아시다시피 한국 사람이다보니, 영어의 결과보다는 한국어로 결과를 얻고 싶었고, llava는 아무래도 영어를 주력 언어로 학습하다 보니, 학습을 시켜 아하나?라는 생각이 들었습니다. 하지만 그렇게 자원도 학습할 데이터도 없다 보니, 현재는 불가능하다 생각이 들었습니다. 그리고 번역기 성능이 좋다면, 오픈된 도메인 환경에서는 크게 문제 되지 않을 수도 있다는 생각이 들어서 deep_translator를 사용하여 번역하여 한국어로 결과를 ..

LLM이 나오게 되면서 말을 엄청 잘하는 모델이 일상인 시대가 되었습니다.여기서 좀 더 우리가 원하는 대로 만들기 위해서는 기존에 Pre training Model을 학습하거나 문맥 정보를 제공하여,우리가 원하는 답을 생성하도록 할 수 있습니다. 이때 학습할 자료나 문맥을 제공할 때 우리는 문서를 잘 읽어서 제대로 전달해야지 LLM 성능을 그대로 활용할 수 있다.하지만 실제로 문서를 보면 읽기 쉬운 문서만 있는 것이 아니라 복잡한 구조를 가지거나 그림을 해석해야 하는 등 다양한 작업들이 필요하다는 것을 알게 됩니다. 이번 글에서는 문서를 잘 이해하는 주제로 나온 논문인 Layout LM 들에 대해서 알아보고자 합니다.  Layout LM 이란?LayoutLM은 스캔된 문서 이미지의 텍스트와 레이아웃 정보..

SNS에서 요약된 내용과 이미지를 보고, 잘 정리가 되어있을 것 같아 정리해 보기로 하였습니다.이 논문을 통해 현재 최신 RAG는 어떻게 하는 지 알아보고자 합니다.논문 요약 RAG의 효과성: 최신 정보를 통합하고, 오류를 줄이며, 특히 전문 분야에서 답변의 질을 높이는 데 효과적입니다.현재 문제점: 많은 RAG 접근법이 복잡한 구현과 긴 응답 시간 문제를 가지고 있습니다.연구 목적: 다양한 RAG 방법과 조합을 조사하여 성능과 효율성을 균형 있게 유지하는 최적의 RAG 방식을 찾는 것입니다.멀티모달 검색: 시각적 입력에 대한 질문 답변 능력을 크게 향상시키고, “검색을 통한 생성” 전략을 통해 멀티모달 콘텐츠 생성을 가속화할 수 있습니다.도입부RAG란?RAG는 컴퓨터가 질문에 답할 때, 최신 정보를 찾..

LangGraph 가 나온 이유LLM을 통해서 FLOW를 만들다 보면, 이전 LLM 결과에 대해서 다음 작업으로 넘길 때, LLM이 생성되는 결과에 의해 실패하는 경험들을 다들 해보셨을 것입니다.개인적으로 분기 처리나 후처리 로직을 담는데, Output Parser에서 제어하려 했지만, 이러면 전반적인 구조나 결과를 보기가 쉽지 않았습니다. LangGraph는 LangChain 생태계 내에서 이러한 문제를 직접 해결하기 위해 설계된 강력한 라이브러리입니다. 이 라이브러리는 여러 LLM 에이전트(또는 체인)를 구조화된 방식으로 정의, 조정 및 실행할 수 있는 프레임워크를 제공합니다. LangGraph란 무엇인가요?LangGraph는 LLM을 사용하여 상태를 유지하고 여러 에이전트를 포함한 애플리케이션을 쉽..

다양한 사용자 질의 유형RAG 애플리케이션에서 사용자 질의는 개별 의도에 따라 다양하게 달라집니다. Microsoft는 다양한 사용자 질의 카테고리를 식별하였고 해당 내용은 다음과 같습니다. 질의 유형 (Query Type)설명 (Explanation)예시 (Example)개념 탐색 질의 (Concept Seeking Queries)여러 문장이 필요한 추상적인 질문 (Abstract questions that require multiple sentences to answer)시맨틱 검색을 사용하여 결과를 순위 매기는 이유는 무엇인가요? (Why should I use semantic search to rank results?)정확한 스니펫 검색 (Exact Snippet Search)원본 문장에서 정확히..