ChatGPT를 활용하여, 3개의 라이브러리에 대한 배경과 필요 코드를 정리하였습니다. 배경: LLM과 외부 도구의 연결을 위한 MCP의 등장최근 AI 기술의 발전으로 대형 언어 모델(LLM)이 다양한 외부 도구와 데이터를 활용하여 복잡한 작업을 수행하는 에이전트로 진화하고 있습니다. 이러한 흐름 속에서 Model Context Protocol(MCP)은 LLM이 외부 도구와 안전하고 일관되게 통신할 수 있도록 설계된 프로토콜로, 도구 호출의 표준화를 통해 개발자와 사용자 모두에게 효율성을 제공합니다 .​MCP란 무엇인가요?MCP(Model Context Protocol)는 LLM이 외부 도구 및 데이터 소스와 안전하고 일관되게 통신할 수 있도록 설계된 오픈 표준 프로토콜입니다. 이를 통해 LLM은 다..

qwen2.5-72b를 vllm에 올리는 테스트를 해보는 중에, ollama로 올린 것이 vllm으로 올린 것보다 더 빠른 것을 경험했습니다.vllm에 올린 모델은 허깅페이스에 올라온 모델을 기반으로 테스트했습니다.1. Qwen/Qwen2.5-72B-Instruct-AWQ2. Qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 ollama 역시 양자화된 것인데Q4_K_M으로 양자화된 모델(gguf)임을 알 수 있습니다. 개인적으로 서빙을 할 때 당연히 ollama가 vllm 보다 느릴 줄 알았는데, vllm이 더 느린 것을 보고, 공식적으로 지원하지 않는 모델 같은 경우 느릴 수도 있겠다는 생각이 들었습니다.https://docs.vllm.ai/en/latest/models/supported..

매번 csv나 특정 파일로 떨꾸는 것이 귀찮을 때 사용할 수 있는 방법 공유합니다. :) 매번 read csv하려고 파일 옮겨서 하기 귀찮을 때 메모장에 있는 텍스트를 가져오거나, 엑셀에 있는 것을 복사에서 붙여 넣어서 사용할 수 있어서, 빠르게 검증하고자 할 때 유용합니다. :) 구현 아래처럼 특정 패턴으로 되어 있는 파일을 복사해서 붙여 놓고, 아래 명령어를 실행하면 됩니다. []에 있는 부분을 object 패턴에 맞게 변경해주면 됩니다. from io import StringIO import pandas as pd pd.read_csv(StringIO( [object] ),sep= [sep] ) 예시 from io import StringIO t = """ COLACOLBCOLCCOLD 1234 5..

vscode 안에서 ipynb에서 html로 바꾸기 위해서는 아래와 같은 명령어로 사용해야 한다. terminal jupyter nbconvert --to html /Your notebook path/file.ipynb google colabe에서도 동일하다. %%shell jupyter nbconvert --to html /Your notebook path/file.ipynb https://python.plainenglish.io/how-to-convert-google-colab-notebook-ipynb-to-html-ccfeda199246 How to Convert a Google Colab (.ipynb) Notebook to HTML Often, we need to share our code e..