GPT한테 여러번 물어보면서 작성하였습니다 https://arxiv.org/abs/2507.04127 BYOKG-RAG: Multi-Strategy Graph Retrieval for Knowledge Graph Question AnsweringKnowledge graph question answering (KGQA) presents significant challenges due to the structural and semantic variations across input graphs. Existing works rely on Large Language Model (LLM) agents for graph traversal and retrieval; an approach that is senarxi..

MemOS에 대한 내용 중 메모리에 대한 철학을 배워보고자 특정한 부분만 따로 정리해보고자 합니다. "메모리"란 무엇인가? - LLM에서의 의미LLM에서 말하는 메모리(memory)는 인간처럼 정보를 기억하고, 재사용하고, 맥락을 유지하는 기능을 의미합니다. 구체적으로는 다음과 같은 세 가지 관점에서 정의할 수 있습니다:메모리 역할설명지식 저장소LLM이 과거 학습 또는 상호작용으로부터 획득한 정보 유지상태 유지 장치다중 턴 대화, 긴 문서 생성 등에서 일관성을 유지하기 위한 맥락 정보적응성 수단사용자 선호, 과거 입력, 과제 특성에 기반한 동적 대응 가능성 즉, "memory"는 단순한 cache나 context가 아닌, 행동 지속성, 지식 진화, 사용자의 개인화 경험을 모두 가능하게 하는 지능 시스템의..

다양한 AI 툴을 사용해서 만들어봤습니다.개발자 관점으로 어떻게 해야할 지가 궁금해서 개발자 위주의 내용으로 글을 정리해달라고 했습니다.결국 예전부터 많은 사람들이 중요하다고 말했던 소프트 스킬이 다시 중요하다는 생각이 듭니다 논문 요약이 연구는 미국 노동부의 O*NET 데이터베이스에서 추출한 직업별 작업과 AI 에이전트의 잠재적 자동화 및 증강에 대한 미국 노동력 전반의 대규모 감사 결과를 제시합니다. 이 논문은 AI 에이전트의 능력과 작업자의 선호도에 대한 기술적 평가를 결합하여 WORKBank 데이터베이스를 구축합니다. 주요 결과는 다음과 같습니다. 자동화 욕구: 작업자의 46.1%가 AI 에이전트 자동화에 대해 긍정적인 태도를 보였으며, 이는 주로 가치 높은 작업에 시간을 할애하고 반복적이거나 지..

아래 블로그에 좋은 자료가 있어서 GPT와 함께 빠르게 정리해보고자 합니다.https://ai.gopubby.com/risk-management-for-the-agentic-ai-lifecycle-181e9a88b84a Risk Management for the Agentic AI LifecycleSecure & Responsible Development of AI Agentsai.gopubby.com Agentic AI란?Agentic AI는 단순히 텍스트를 생성하는 수준을 넘어서, 자율적으로 목표를 이해하고, 계획을 수립하며, 외부 도구나 시스템과 상호작용하여 실제 작업을 수행할 수 있는 인공지능을 의미합니다. Agentic Liftcycle 단계핵심 질문1. Use-case 정의왜 만들고, 무엇을..

프롬프트 최적화 관련 오픈소스 정리하기번호오픈소스링크체크날짜라이센스Star(2025-05)1llama-prompt-ops https://github.com/meta-llama/llama-prompt-ops2025-05MIT2642dspyhttps://github.com/stanfordnlp/dspy 2025-05 MIT24.1k3 OpenPrompt https://github.com/thunlp/OpenPrompt 2025-05 Apache-2.04.6k4Promptimhttps://github.com/hinthornw/promptimizer2025-05MIT7245GreaterPrompthttps://github.com/psunlpgroup/GreaterPrompt2025-05MIT156GreaTerh..

GPT를 활용하여 작성하였습니다  배경어쩌다가 뉴스 기사를 통해 보게 되었고, 내용을 대충 보니 데이터를 어떻게 쌓으면 되는지 그리고 어떤 식으로 학습하면 되는지 그리고 깃헙을 제공하다 보니, 관심을 가지게 되었고, 읽게 되었습니다.그래서 이 논문을 통해 알고자 하는 부분은 어떻게 데이터를 뽑았는 지, 그리고 어떻게 저렴한 비용으로 해당 모델을 만들 수 있는 지를 알고자 읽어보게 되었습니다.   이 논문의 핵심 내용은 Test-time scaling(테스트 시 스케일링)이라는 개념을 활용하여 언어 모델의 성능을 향상시키는 방법을 연구하는 것입니다. 기존에 OpenAI의 o1 모델이 이를 구현했지만, 구체적인 방법이 공개되지 않아 이를 복제하려는 여러 시도가 있었습니다. 연구진은 가능한 한 가장 단순한 방..

LangChain 제품들 요약(LangChain, LangGraph, LangSmith, LangServe) LangChain 제품과 각각의 주요 내용을 정리하면 다음과 같습니다:LangChain: 대형 언어 모델(LLM)을 활용한 애플리케이션 개발 프레임워크입니다.개발: 오픈소스 구성 요소와 LangGraph를 사용하여 상태 유지 에이전트를 구축합니다.생산화: LangSmith를 사용하여 체인을 검사, 모니터링, 평가하고 최적화합니다.배포: LangGraph Cloud를 통해 생산 준비가 된 API 및 Assistant로 변환합니다.LangChain의 구성 요소:langchain-core: 기본 추상화 및 LangChain 표현 언어.langchain-community: 서드파티 통합. (https:/..

llava라는 모델이 나와서 이미지 데이터만으로 테이블을 만들거나 caption을 생성한다는 것이 매력적인 것 같아 실험을 해봅니다. 자원이 없다 보니 개인 노트북에서 cpu로 돌리면서 결과를 하나하나 얻다 보니, 매우 오래 기다렸지만, 나름 유의미한 것 같아 공유드립니다. 아시다시피 한국 사람이다보니, 영어의 결과보다는 한국어로 결과를 얻고 싶었고, llava는 아무래도 영어를 주력 언어로 학습하다 보니, 학습을 시켜 아하나?라는 생각이 들었습니다. 하지만 그렇게 자원도 학습할 데이터도 없다 보니, 현재는 불가능하다 생각이 들었습니다. 그리고 번역기 성능이 좋다면, 오픈된 도메인 환경에서는 크게 문제 되지 않을 수도 있다는 생각이 들어서 deep_translator를 사용하여 번역하여 한국어로 결과를 ..

SNS에서 요약된 내용과 이미지를 보고, 잘 정리가 되어있을 것 같아 정리해 보기로 하였습니다.이 논문을 통해 현재 최신 RAG는 어떻게 하는 지 알아보고자 합니다.논문 요약 RAG의 효과성: 최신 정보를 통합하고, 오류를 줄이며, 특히 전문 분야에서 답변의 질을 높이는 데 효과적입니다.현재 문제점: 많은 RAG 접근법이 복잡한 구현과 긴 응답 시간 문제를 가지고 있습니다.연구 목적: 다양한 RAG 방법과 조합을 조사하여 성능과 효율성을 균형 있게 유지하는 최적의 RAG 방식을 찾는 것입니다.멀티모달 검색: 시각적 입력에 대한 질문 답변 능력을 크게 향상시키고, “검색을 통한 생성” 전략을 통해 멀티모달 콘텐츠 생성을 가속화할 수 있습니다.도입부RAG란?RAG는 컴퓨터가 질문에 답할 때, 최신 정보를 찾..

최근 인공지능 분야에서 언어 모델의 발전은 눈부십니다. 이러한 모델들은 텍스트를 처리하기 위해 고유한 방식으로 단어를 토큰화하는 토크나이저를 사용합니다. 본 글에서는 Python의 인기 라이브러리인 Streamlit을 사용하여 여러 LLM 토크나이저를 비교하는 웹 애플리케이션을 만들어서 배포했습니다.이 앱은 Hugging Face의 transformers 라이브러리를 통해 다양한 토크나이저를 로드하고, 사용자가 입력한 텍스트에 대해 토큰화를 수행합니다. 사용자는 웹 인터페이스를 통해 원하는 토크나이저를 선택하고, 토크나이저의 세부 정보 및 토큰화된 결과를 비교할 수 있습니다. Streamlit 앱 (링크)- 아래에 임베디된 앱이 보이지 않으면 위의 링크를 클릭해서 활성화 부탁드립니다 :)Toggle St..

최근에 LLAMA3에 이어서 아주 핫한 Phi-3에 대해서 마이크로소프트가 작성한 논문이 있어 공유드립니다. 최근 인공지능 연구의 한계를 극복하고자 전 세계적으로 큰 규모의 언어 모델을 개발하는 노력이 지속되고 있습니다. 이러한 대형 모델은 놀라운 성능을 보여주지만, 그 크기 때문에 일반 사용자가 접근하기에는 많은 제약이 따릅니다. 하지만, Microsoft의 최신 연구에서 소개된 Phi-3-Mini 모델은 이러한 상황에 변화를 가져오고 있습니다. 이 논문은 이 모델이 어떻게 일상의 스마트폰에 적용될 수 있는지 에 대한 기술 내용을 정리한 보고서입니다. 1. Phi-3-Mini 모델 소개Phi-3-Mini는 3.8억 개의 파라미터를 가진 언어 모델로, 3.3조 토큰으로 훈련되었습니다. 이 모델은 GPT-..

양자화 기술은 모델을 압축하여 빠르고 효율적으로 만드는 기술입니다. 모델의 가중치와 활성화 값을 줄여 메모리를 절약하고 연산 속도를 높입니다. 이 글은 여러 양자화 기술을 단계별로 설명하고, 코드를 제공하여 사용자가 직접 모델 압축을 수행할 수 있도록 합니다. 이를 통해 머신 러닝 모델을 최적화하고 더 효율적으로 활용할 수 있습니다. 크게 요즘 많이 나오는 방법론은 다음과 같습니다QuantizationGPTQGGUF/GGMLQATAWQPTQ  (Post-training Quantization) - 훈련 후 양자화GPTQGGUF/GGML QLORA’s 4 bits QAT (Quantization-Aware Training) - 훈련하면서 양자화 TensorflowPytorchHuggingface AWQQA..