해당 글은 ChatGPT 4o With canvas 로 만들었습니다.  해당 내용은 GSL에 관심이 생겨서 알아보게 되었고, 논문이 많아서 일단 GPT한테 부탁해서 정리를 시켜본 글이다.일단 내가 알고 싶은 것은 아래 그림처럼 기존의 그래프가 있을 경우, 이 그래프가 노드의 정보를 잘 담아서 다시 학습할 수 있는 방법에 대해서 궁금하게 되어서 찾아보게 되었습니다. 그래프 구조 학습(Graph Structure Learning, GSL)은 복잡한 데이터 간의 관계를 이해하고, 이를 통해 데이터를 더 잘 활용하는 기술입니다. GSL은 소셜 네트워크 분석, 추천 시스템, 지식 그래프 등에서 널리 사용되고 있으며, 그래프 신경망(Graph Neural Networks, GNN)과 결합해 뛰어난 성능을 발휘합니다..

LLM 모델 중에서 파인 튜닝을 이용해 개발한 BloombergGPT에 대해서 알아보고자 합니다. 해당 논문을 통해, 어떻게 데이터 셋을 구성하고, 훈련하고 평가하는 지를 알아보고자 합니다. 개요 NLP(Natural Language Processing)의 금융 기술 분야에서의 활용은 다양하고 복잡하며, 감정 분석, 명명된 엔터티 인식부터 질문 응답까지 다양한 응용 분야에 걸쳐 있습니다. 그러나 금융 분야를 위한 특화된 대형 언어 모델 (LLM)은 학문 문헌에서 보고된 바가 없습니다. 이 연구에서는 금융 데이터 범위에서 훈련된 500억 개 파라미터 언어 모델인 BloombergGPT를 제시합니다. 저자는 Bloomberg의 다양한 데이터 소스를 기반으로 3630억 토큰 데이터셋을 구축했으며, 이는 아마도..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 A Time Series is Worth 64 Words: Long-term Forecasting with Transformers. ICLR2023 해당 논문은 Are..

Introduction 클릭률(CTR) 예측은 추천 시스템에서 매우 중요한데, 여기서 작업은 사용자가 추천 항목을 클릭할 확률을 추정하는 것입니다. 많은 추천 시스템에서 목표는 클릭 수를 최대화하는 것입니다. 따라서 사용자에게 반환되는 항목은 예상 CTR로 순위를 매길 수 있습니다. 반면에 온라인 광고와 같은 다른 애플리케이션 시나리오에서는 수익을 개선하는 것도 중요하므로 모든 후보에서 "입찰"이 이점인 CTR×bid로 순위 전략을 조정할 수 있습니다. 사용자가 항목을 클릭하면 시스템이 수신합니다. 두 경우 모두 CTR을 정확하게 추정하는 것이 핵심입니다. CTR Prediction 같은 경우, 아이템을 추천해주는 것보다는 특정 아이템에 대해서 클릭 여부가 결정하기 때문에, 상대적으로 새로운 아이템에 영..

기존의 randomforest 같은 경우 데이터의 주요 변동 요인을 포착하는 데 도움이 되는 내부 표현을 효율적으로 학습하는 메커니즘이 부족하다. 본 연구에서는 의사결정 트리의 divide and conquer 원칙을 통해 심층 아키텍처에서 representation learning에서 매력적인 속성을 통합하는 새로운 접근 방식인 Deep Neural Decision Forests을 제시함. 이 논문에서 우리는 (심층) 컨볼루션 네트워크에서 end to end 학습을 위한 대체 분류기로 사용할 수 있는 확률적이고 차별화 가능한 의사 결정 트리를 모델링하고 훈련하는 방법을 보여주었다. 기존의 의사 결정 트리 훈련에 대한 일반적인 접근방식은 일반적으로 탐욕스럽고 국지적인 방식(local manner)으로 작..

다른 분과 논의 중에, 내가 고민하고 있는 것을 다른 관점에서 풀어내고 있는 논문이 있다고 하셔서 보게 된 논문(감사합니다 :)) Title journal 출간 년도 2018년도 그룹 Abstract 딥러닝이 트레인은 잘되지만, 약간 다른 테스트에서는 부정확하지만 확신 있는 예측을 제공함. distribution shifts, outliers, and adversarial examples. Manifod Mixup을 제시함 신경 네트워크가 hidden representation의 interpolations(보간버)에 대해 덜 자신 있게 예측하도록 장려하는 간단한 규칙화 장치 → semantic interpolations을 추가 데이터로 사용하여, 여러 표현 수준에서 보다 부드러운 decision boun..

마인드셋이 고정적이고 변하고 싶은 사람에게 추천하고 싶은 좋은 책 성장형 마인드셋으로 나아갈 수 있게 많은 팁을 알려줌 자식이 있는 부모라면 자식 교육에 큰 도움이 될 거라 생각함 (7장 마인드셋을 어떻게 가르칠 것인가) 진정한 성장형 마인드셋이 무엇인지에 대해 알려줌 EX : 노력만 한다고 성장형 마인드셋이 아니다. 부끄러움과 마인드셋 부끄러움을 잘 타는 사람들은 타인이 자신을 업신여길까봐 두려워하는 쪽 대게 사람들과의 관계에서 심판받거나 될까봐 걱정한다. 고장 마인드셋을 가진 사림이 부끄러워하는 경향이 더 강함 ( 남들의 판단에 대해 걱정하게 만들고 따라서 자의식이 강하고 불안해하는 사람이 되기 쉽다) 성장형 마인드셋은 새로운 사람을 만날 떄 도전을 감수하는 반면, 고정형 마인드셋은 위험을 두려워하는..

개인적으로 자주 보는 신박사님과 고 작가님이 추천을 해서 보게 된 책이다. 항상 좋은 책을 많이 추천해줘서 왠만하면 읽어보려고 한다. 이 책은 뇌에 관한 책으로써, 장기적인 관점에서 신경 써야 할 부분인 것 같아 읽기로 시작했다. 읽기 전 본 내용으로는 밀 같은 것이 우리 몸에 위험하게 할 수 있다는 게 충격적이면서 슬픈 소식이었다. 1장 자가 면역 : 뇌기능에 미치는 영향 자가면역이란 면역계가 자신의 뇌와 체내 기관, 조직을 공격하는 상태를 말함 환경적 독소에 노출될 경우 그 독소를 항원이라 함. 이것으로부터 몸을 지키기 위해 노출 될 때마다 의식하지 않아도 항상 면역 반응을 일으킴 (피로하게 할 수 있는 요인) 그러나 면역계가 처리 못할 경우 항원을 처리할 항체를 생성 -> 이 상태를 오래 지속 ->..

10/22 1독 완료 서로 이야기를 하면서 경제에 대한 개념을 알려주는 책 그래서 나는 정말 경알못이라서 잘 모르지만, 완벽히 이해를 여전히는 못했지만, 내가 경제를 이해하는데 도움을 준 책 미시경제학 , 거시경제학 이런 이야기를 하면서 어떤 차이가 있는지도 설명함. 그리고 실제 사례를 잘 말해주면서, 그러한 현상에 대해서 배울 점과 아쉬웠던 점을 제시함. 인플레이션과 디플레이션에 따라서 왜 그러한 현상이 발생하는지 발생전에 어떤식으로 하면 좋으지, 발생후에는 어떻게하면 좋을 지와 같은 것을 대화식으로 풀어나가는게 인상적. 가장 기억에 남는 부분은 정부가 돈을 풀 때 안 풀 때 사례를 들면서 둘 다의 장단점을 이야기 하는 부분