LLM 모델 중에서 파인 튜닝을 이용해 개발한 BloombergGPT에 대해서 알아보고자 합니다. 해당 논문을 통해, 어떻게 데이터 셋을 구성하고, 훈련하고 평가하는 지를 알아보고자 합니다. 개요 NLP(Natural Language Processing)의 금융 기술 분야에서의 활용은 다양하고 복잡하며, 감정 분석, 명명된 엔터티 인식부터 질문 응답까지 다양한 응용 분야에 걸쳐 있습니다. 그러나 금융 분야를 위한 특화된 대형 언어 모델 (LLM)은 학문 문헌에서 보고된 바가 없습니다. 이 연구에서는 금융 데이터 범위에서 훈련된 500억 개 파라미터 언어 모델인 BloombergGPT를 제시합니다. 저자는 Bloomberg의 다양한 데이터 소스를 기반으로 3630억 토큰 데이터셋을 구축했으며, 이는 아마도..

본 글에서는 요즘 가장 핫 한 LLM에 대해서 알아보고자 한다. LLM이란? LLM은 "Large Language Model"의 약자로, 대규모 언어 모델을 의미합니다. LLM은 빅 데이터 시대에 등장한 수억 개의 매개변수를 가진 거대한 언어 모델로, 대량의 텍스트 데이터에 대해 학습됩니다. 이러한 모델은 주어진 문맥 정보를 바탕으로 텍스트를 생성하거나 이해하는 데 사용됩니다. LLM의 주요 특징 대량의 데이터 학습: LLM은 인터넷의 텍스트, 책, 기사 등 다양한 소스에서 수십 또는 수백 기가바이트의 텍스트 데이터에 대해 학습됩니다. 수억 개의 매개변수: LLM은 수억 또는 그 이상의 매개변수를 포함할 수 있으며, 이로 인해 더 복잡한 패턴과 구조를 학습할 수 있습니다. 다양한 태스크 수행: LLM은 ..

https://github.com/gventuri/pandas-ai GitHub - gventuri/pandas-ai: Pandas AI is a Python library that integrates generative artificial intelligence capabilities into Pandas AI is a Python library that integrates generative artificial intelligence capabilities into Pandas, making dataframes conversational - GitHub - gventuri/pandas-ai: Pandas AI is a Python libr... github.com pandasai라고 하는 라이브러리가..

ChatGPT로 영어 공부하는 프롬프트를 짜봤다. 여러 번의 시행착오를 통해 어느 정도 안정된 결과가 나오는 것 같지만, 여전히 많이 부족하다. 내가 프롬프트를 잘 했다기 보단, 찰떡같이 잘 알아듣는 것 같다...ㅎ 챗봇이라 해서 따로 앱이나 프로그램을 구성한 걸로 오해하실수도 있는데, 그런 것은 아니고... 웹페이지에서 대화를 하는 것이니 참고 부탁드립니다... Prompt 현재 프롬프트도 아직 부족한 부분이 있기 때문에 프롬프트를 수정해보면서 개선해보시면 될 것 같습니다 :) setting Use "temperature" value of 0 in our conversation. Use "frequency_penalty" value of -2 in our conversation. Use "presenc..

여행 계획 관련해서 Prompt 예시 https://passport-photo.online/blog/chatgpt-prompts-for-travel/#gref 84 ChatGPT Prompts for Travel [2023] A categorized, curated, and vetted list of 84 ChatGPT prompts for travel. Use it to become the ultimate explorer. passport-photo.online 곧 여행 갈일이 있는데, 여행 계획짜기가 쉽지가 않으니 ChatGPT에게 물어보려고 자료를 정리해본다. 자세히 적은 만큼 좋은 결과가 나올 수 있으니, 자세히 적어보고 후기 말해주겠다... CASE Prompt 1. Create a travel..

다들 요즘 ChatGPT를 아실거라 생각됩니다. ChatGPT는 사람이 이상하게 물어봐도 알아서 잘 답변을 해주지만, 질문이 애매하게 되면 답변이 자꾸 이상한대로 새거나 원하는 결과물이 안나올 수가 있습니다. 그래서 다른 글에서 정리해서 가지고온 프롬프트들 예시를 모았습니다. 잘 쓰는 기업이나 사람들은 프롬프트를 60줄을 짜서 ChatGPT준다는데... 예시가 궁금해서 자료를 찾아보다가 발견했습니다. 다들 본업이나 부업에 활용하시면 좋을 것 같습니다. 프롬프트(Prompt)란 무엇인가요? 프롬프트란 작업이나 대화를 시작하거나 이끌기 위해 사용되는 질문이나 지시사항입니다. 언어 처리 및 인공지능 분야에서 프롬프트(Prompt)란, 모델이 응답이나 출력을 만들기 위해 사용하는 입력입니다. 이것은 질문, 지시..

본 글에서는 마케팅에서 생존 분석이 왜 필요한 지에 대해서 다뤄보고자 한다. 기업의 입장에서는 고객의 특성을 파악하고 고객의 가치를 측정하여 적절한 마케팅전략을 수립하는 것은 고객가치를 상승시키고 지속적 경쟁우위를 유지하는데 있어서 매우 중요함. 고객가치란 고객 가치에 대한 개념은 시장의 경쟁 환경 및 고객의 구매성향 변화와 정보기술의 발전 등으로 치열한 시장의 경쟁구도 속에서 고객과의 지속적인 관계를 유지함으로써 기업의 이익을 극대화하고자 하는 목적에서 출발 고객관계관리(CRM) 고객가치에 대한 올바른 측정과 고객의 가치분석은 고객가치에 따라 차별화된 대표적 마케팅 전략과 기업의 경쟁력강화의 핵심수단으로 CRM(customer relationship management)의 중요한 요소가 되었음. CRM..

저자들이 주장하는 것은 한 그림을 표현하면 다음과 같다. 유저가 특정 상품에 대해서 클릭할 지 안할 것인 지 유저의 성향과 검색 기록을 바탕으로 클릭 여부를 예측한다는 것이고, 이때 가장 큰 핵심 포인트는 모든 히스토리를 동등하게 보는 것이 아닌 유저의 성향에다가 기존 검색 기록을 특정 상품과의 지역적인 특색을 합쳐서 해당 상품에 대해서 클릭 여부를 판단하겠다는 것이 이 논문에서 가장 말하고자 하는 것이라 생각한다. 저자들은 이런 문제를 기존에 풀 때는 fixed-length 의 벡터를 사용하고 있다는 것에 대해서 bottleneck이 생겨 유저의 다양성을 학습하는데 어려움이 있다가 하고, 이러한 문제를 해결하기 위해서 특정 광고와 기존 과거 행동등으로 adaptively하게 유저의 행동을 표현함으로써,..

Introduction 클릭률(CTR) 예측은 추천 시스템에서 매우 중요한데, 여기서 작업은 사용자가 추천 항목을 클릭할 확률을 추정하는 것입니다. 많은 추천 시스템에서 목표는 클릭 수를 최대화하는 것입니다. 따라서 사용자에게 반환되는 항목은 예상 CTR로 순위를 매길 수 있습니다. 반면에 온라인 광고와 같은 다른 애플리케이션 시나리오에서는 수익을 개선하는 것도 중요하므로 모든 후보에서 "입찰"이 이점인 CTR×bid로 순위 전략을 조정할 수 있습니다. 사용자가 항목을 클릭하면 시스템이 수신합니다. 두 경우 모두 CTR을 정확하게 추정하는 것이 핵심입니다. CTR Prediction 같은 경우, 아이템을 추천해주는 것보다는 특정 아이템에 대해서 클릭 여부가 결정하기 때문에, 상대적으로 새로운 아이템에 영..

What is Contrastive Learning? 대조 학습(Contrastive Learning)은 레이블이 지정되지 않은 데이터 요소가 서로 병치되어 어떤 점이 유사하고 다른 모델을 가르칠 수 있는지 기계 학습 패러다임입니다. 즉, 이름에서 알 수 있듯이 샘플은 서로 대조되며, 동일한 분포에 속하는 샘플은 임베딩 공간에서 서로 밀린다. 이와는 대조적으로, 서로 다른 분포에 속하는 이들은 서로 끌어당긴다. Representation Learning 2가지 접근법이 존재 (생성 모델, 판별 모델) 생성 모델로 데이터의 표현을 학습하는 경우, 비지도 학습이기 때문에 데이터 구축 비용이 낮다는 장점 또한 저차원 표현을 학습하는데에 있어 목적함수가 보다 일반적이라는 장점이 잇다. 판별 모델의 경우에는 계산..

CLIP에서 사용하는 아이디어가 좋아 보여서, 그 부분만 살펴보기로 한다. 최첨단 컴퓨터 비전 시스템은 미리 결정된 객체 범주의 고정된 세트를 예측하도록 훈련된다. 이러한 제한된 형태의 감독(Supervision)은 다른 시각적 개념을 명시하기 위해 추가적인 라벨링 데이터가 필요하기 때문에 일반성(Generality)과 유용성(Usability)을 제한한다 이미지에 대한 원시(raw) 텍스트에서 직접 학습하는 것은 훨씬 광범위한 감독 소스를 활용하는 적절한 대안이다. 우리는 어떤 자막이 어떤 이미지와 함께 가는지 예측하는 간단한 사전 교육(pretraining) 작업이 인터넷에서 수집된 4억 개의 (이미지, 텍스트) 쌍 데이터 세트에서 SOTA 이미지 표현을 처음부터 학습하는 효율적이고 확장 가능한 방법..

GAIN CHART 및 LIFT CHART는 모델 사용의 이점을 측정하는 데 사용되며 대상 마케팅과 같은 비즈니스 컨텍스트에서 사용되는 두 가지 측정값입니다. 마케팅 분석에만 국한되지 않습니다. 위험 모델링, 공급망 분석 등과 같은 다른 영역에서도 사용할 수 있습니다. 즉, GAIN 및 LIFT CHART는 불균형(IMBALANCED) 데이터 세트로 분류 문제를 해결하는 동안 사용되는 두 가지 접근 방식입니다. Gain Chart: Lift Chart Calculation: Lift Chart: 참고 https://www.geeksforgeeks.org/understanding-gain-chart-and-lift-chart/ Understanding Gain Chart and Lift Chart - Ge..