최근 인공지능 분야에서 언어 모델의 발전은 눈부십니다. 이러한 모델들은 텍스트를 처리하기 위해 고유한 방식으로 단어를 토큰화하는 토크나이저를 사용합니다. 본 글에서는 Python의 인기 라이브러리인 Streamlit을 사용하여 여러 LLM 토크나이저를 비교하는 웹 애플리케이션을 만들어서 배포했습니다.이 앱은 Hugging Face의 transformers 라이브러리를 통해 다양한 토크나이저를 로드하고, 사용자가 입력한 텍스트에 대해 토큰화를 수행합니다. 사용자는 웹 인터페이스를 통해 원하는 토크나이저를 선택하고, 토크나이저의 세부 정보 및 토큰화된 결과를 비교할 수 있습니다. Streamlit 앱 (링크)- 아래에 임베디된 앱이 보이지 않으면 위의 링크를 클릭해서 활성화 부탁드립니다 :)Toggle St..

nomad 선생님의 next js 기본 강의를 들으면서, 하나씩 따라해보면서 프론트를 만들어봤습니다. React와 NextJS로 둘 다 비슷한 것을 만들어보면서, NextJS가 훨씬 더 편하게 만들 수 있다는 것을 깨닫는 시간이였고, CSS를 어떻게 만드냐에 따라서 퀄리티가 이렇게 차이가 난다는 것을 다시 느낀 시간이였습니다. 알려준 내용을 활용해서 좀 더 수정해보는 시간을 통해 익숙해지면 다른 것도 만들어봐야겠네요! 배포하는 것도 강의에 추가되었는데, 요즘은 정말 쉽게 배포하네요... 2024.02.17 - [일상/간단앱] - Vercel을 이용해서 프론트 배포해보기 (배포 화면) (https://nextjs-learn-movie-mini-app.vercel.app/) 추가(20240220) 제작진 추..

Vercel이란? Vercel은 Next.js 개발 팀에서 만든 프론트엔드 배포 플랫폼 빌드와 배포 그리고 호스팅을 해주는 서비를 제공합니다. 가정 1. 일단 사전 조건으로는 github에 배포할 레포지토리고 존재한다는 가정으로 시작한다. 2. 로컬에서 npm run build를 할 때 정상적으로 build 폴더가 생겼다는 가정에서 시작한다. Package.json 에서 Vercel 에서 배포하기 위해 필요한 Script 추가 그리고 거기에는 vercel을 사용하기 위한 필수적인 설정을 해야 한다.(build, start)를 고정으로 해야 함. "scripts": { "dev": "next dev", "build" : "next build", "start" : "next start" }, Vercel 가..