LangChain 제품들 요약(LangChain, LangGraph, LangSmith, LangServe) LangChain 제품과 각각의 주요 내용을 정리하면 다음과 같습니다:LangChain: 대형 언어 모델(LLM)을 활용한 애플리케이션 개발 프레임워크입니다.개발: 오픈소스 구성 요소와 LangGraph를 사용하여 상태 유지 에이전트를 구축합니다.생산화: LangSmith를 사용하여 체인을 검사, 모니터링, 평가하고 최적화합니다.배포: LangGraph Cloud를 통해 생산 준비가 된 API 및 Assistant로 변환합니다.LangChain의 구성 요소:langchain-core: 기본 추상화 및 LangChain 표현 언어.langchain-community: 서드파티 통합. (https:/..

최근에 LLAMA3에 이어서 아주 핫한 Phi-3에 대해서 마이크로소프트가 작성한 논문이 있어 공유드립니다. 최근 인공지능 연구의 한계를 극복하고자 전 세계적으로 큰 규모의 언어 모델을 개발하는 노력이 지속되고 있습니다. 이러한 대형 모델은 놀라운 성능을 보여주지만, 그 크기 때문에 일반 사용자가 접근하기에는 많은 제약이 따릅니다. 하지만, Microsoft의 최신 연구에서 소개된 Phi-3-Mini 모델은 이러한 상황에 변화를 가져오고 있습니다. 이 논문은 이 모델이 어떻게 일상의 스마트폰에 적용될 수 있는지 에 대한 기술 내용을 정리한 보고서입니다. 1. Phi-3-Mini 모델 소개Phi-3-Mini는 3.8억 개의 파라미터를 가진 언어 모델로, 3.3조 토큰으로 훈련되었습니다. 이 모델은 GPT-..

PEFT 방법론에 대해서 다양한 것 같아서 정리해보고자 합니다. 다음은 PyTorch, Transformers 및 UnSloth를 사용한 PEFT를 사용한 세부 조정 접근 방식에 대한 개요를 포함한 글입니다. 소개 이 글은 대형 언어 모델(Large Language Models, LLMs)을 세세하게 조정하는 중요성과 그 과정에 대한 탐색을 다룹니다. GPT-3, Llama 2 및 Mixtral과 같은 사전 훈련된 모델을 특정 응용 분야에 맞게 조정하는 방법과 그 세부 사항을 소개합니다. 감정 분석, 명명된 개체 인식, 언어 번역과 같은 다양한 응용 분야에 대한 모델의 맞춤화 가능성을 탐구합니다. 적절한 사전 훈련된 모델 선택, 과제별 목표 설정, 데이터셋 구성 및 하이퍼파라미터 조정의 중요성을 강조하며..

NextJS는 리액트를 위해 만든 오픈소스 자바스크립트 웹 프레임워크입니다. 많은 사람들이 NextJS를 사용하고 있고, 여러가지 장점이 있어서 사용하긴 하지만 여전히 React로도 많이 개발을 하는 것 같습니다. 그래서 NextJS가 좋으면 다 그걸 쓰면 되는데, React로도 개발할까가 궁금했고 그러한 내용을 한번 정리해보고자 합니다. NextJS란? Vercel에서 만든 Next.js는 오픈 소스이며 JavaScript 프레임워크로, React를 사용하여 빠르고 사용자 친화적인 웹 애플리케이션 및 정적 웹 사이트를 개발할 수 있습니다. 실제로, 이는 Node.js와 Babel을 기반으로 하며, React와 통합하여 Single Page Applications를 개발할 수 있습니다. 이를 통해 서버 ..

전략을 정리하다 보니 2개가 만들어진 것 같은데, 둘 다 괜찮은 것 같아서 공유합니다. Branch 전략 정리-1 전략 장점 단점 적합한 시나리오 Gitflow 명확한 구조, 다양한 작업 유형 분리, 예정된 릴리스 지원, 병렬 릴리스 관리 가능 복잡하고 시간 소요가 많음, 브랜치 관리에 엄격한 규율 필요, 연속 배포에는 적합하지 않음 예정된 릴리스 주기가 있는 프로젝트, 여러 릴리스를 병렬로 관리해야 하는 팀에 적합​​​​ GitHub Flow 단순하고 이해하기 쉬움, 신속한 배포 가능, 자주 작은 변경을 장려 예정된 릴리스 지원 부족, 개발/스테이징/생산 간 명확한 구분 없음 연속 배포 프로젝트, 자주 작은 변경을 선호하는 팀에 적합​​​​​​ GitLab Flow Gitflow와 GitHub Flow..

자동 라이브러리 패키지 목록들 정리해보기 2023년 2월 8일 기준 PyCaret H2O AutoML TPOT Auto-sklearn FLAML EvalML AutoKeras Auto-ViML AutoGluon MLBox 참고 https://moez-62905.medium.com/top-automl-python-libraries-in-2022-2d306cf7acf0 Top AutoML Python libraries in 2022 A List of Python AutoML libraries moez-62905.medium.com https://www.analyticsinsight.net/top-10-automl-libraries-for-implementing-in-your-machine-learning-p..

2022.01.15 - [관심있는 주제/Recommendation] - 추천-1 시스템의 목표 2022.01.19 - [관심있는 주제/Recommendation] - 추천-2 이웃 기반 협업 필터링(Nearest Neighbor Collaborative Filtering) 목차 Recommeder Systems라는 책을 기반으로 작성되었습니다. 1. 개요 이웃 기반 협업 필터링 == 메모리 기반 알고리즘 협업 필터링의 초기 알고리즘 가정 비슷한 이용자들이 평점을 주는 방식에 비슷한 패턴을 보이고 비슷한 아이템에는 유사한 평점을 준다는 사실을 기반 2가지 유형 1. 사용자 기반 협업 필터링 타깃 유저 A의 추천 제공을 위해 유사한 유저들의 평점을 이용 예측된 A의 평점은 “피어 그룹”의 각 아이템의 평점에..

2022.01.15 - [관심있는 주제/Recommendation] - 추천-1 시스템의 목표 2022.01.19 - [관심있는 주제/Recommendation] - 추천-2 이웃 기반 협업 필터링(Nearest Neighbor Collaborative Filtering) 목차 Recommeder Systems라는 책을 기반으로 작성되었습니다. 1. 예측 모델 불완전한 행렬을 완성하는 것을 목적으로 함. matrix completion 문제 2. 랭킹 모델 특정 사용자에 대한 상위-k item을 추천하거나, 특정 아이템에 대해 목표로 하는 상위-k 사용자를 결정 top-k recommendation 문제 예측된 평점의 수치값이 중요하지 않음 제품 판매 증가 추천 시스템의 주요 목표 수익 증대라는 좀 더 ..

MARL을 다시 공부하려고 하니, 어디서부터 시작할지 몰라서 자료 조사부터 시작하였다. 현재 간단하게 Single Agent 방식으로 MARL 적용하는 Naive Learning으로 진행 중인데, 생각보다 성능이 나오지 않고, 원인이 파악이 안되서 미뤄왔던 공부를 다시 해보고자 한다... 아직 필자도 아래 내용을 다 본 게 아니라서, 좋은 링크라고 판단은 할 수 없지만 일단 공부하시는 분들한테 도움이 되었으면 좋겠기에 공유합니다…. Challenge Credit Assignment Problem CONTENT URL 자료시기 분류 MARL PAPER (Papers with code) https://paperswithcode.com/task/multi-agent-reinforcement-learning 계..

파이썬에서 Linear Regression 하는 것에서 기본적인 것이 Scikit-Learn이 있는데, 통계분석을 같이 하고 싶다면 statsmodels 을 쓰는 것이 더 좋다. 그래서 오랜만에 쓸 기회가 있어서 사용하다가 정리를 해봤다. 목차 Library import statsmodels.api as sm import numpy as np import pandas as pd from sklearn.linear_model import LinearRegression 연속형 변수 data spector_data = sm.datasets.spector.load(as_pandas=True) df = spector_data.raw_data y_col = ["GRADE"] x_cols = ["GPA","TUCE"..

목차 GPU 사용량 보기 nvidia-smi 모니터링 방법 (1) # 0.5초 간격으로 모니터링 watch -n 0.5 nvidia-smi 모니터링 방법 (2) # 1초마다 갱신(개인적으로 방법 1을 선호) nvidia-smi -l 1 GPU를 사용 중인 PID 정보 얻기 ps -up `nvidia-smi -q -x | grep pid | sed -e 's///g' -e 's///g' -e 's/^[[:space:]]*//'` 파이썬) GPU 정보, device별, pid 별로 얻기 pip install pynvml pip install beautifulsoup4 pip install lxml import pynvml , pandas as pd pynvml.nvmlInit() result = [] for..

지도 학습에 목적 함수로는 크게 2개로 나눌 수가 있다. Regression Classification Objective Functions for Regression keras에서는 많은 Regression에 대한 목적 함수를 제공하고 있다. Regression 문제는 아래와 같이 D차원 공간 $R^D$의 독립 변수인 $x$와 종속 변수인 $y$ 사이에 선형 관계를 설정해야 한다. 2가지 관점에서 볼 수 있다. Ordinary Least Squares (uses Mean Squared Error, see above) Maximum Likelihood Estimation. $$y_i(x_i,w)=w_0+w_1x_{i1}+w_2x_{i2}+...+w_Dx_{iD}+\epsilon_i, \text{ i=1,2..