새로운 모델 구조 만들어보기 해당 시도는 Multi Head Self Attention을 이용하면, 각 Head 마다 고유한 특징을 잡는 것을 이용하여 예측하는 코드와 분석을 통해서, gradient 실제로 다르게 가는 지를 확인하고자 함. Load Library import numpy as np import torch import matplotlib.pyplot as plt import torch.optim as optim from IPython.display import clear_output 데이터 정의 이번 블로그에서는 타깃 3개를 예측하는 것을 정의해서 예측하고자 함. # 예제 데이터 생성 t = np.linspace(0, 100, 1000) # 0에서 100까지 1000개의 점 y1 = np...

상황 조금 더 일반화된 학습을 하기 위해 멀티 타겟에 대한 일반화된 모델을 만들고, 그 모델에서 부분적인 타겟에 대하서 추출할 때 가중치를 잘 가져오는 지에 대한 테스트를 수행해봄. 기대 효과 공유하는 네트워크(Shared Network)가 일반화되게 잘 학습이 되고, 부분적으로 학습시킬 때 좋은 인풋으로써의 기능을 할 수 있지 않을까 함. 방법 각 타겟에 대해서 Dict 으로 키로 관리하고, 나중에 load 시 strict=False를 하면, 알아서 파라미터가 매칭이 안되도 들어갈 것이다라는 생각으로 시작 엄밀하게 제거하는 작업도 있지만, 제거하지 않아도 자동으로 맵핑되는 지 보고 싶었음 코드 중간에 가중치를 임의로 지정하여 테스트 굳이 forward까지 구현하지 않아도 되므로 패스하고 진행한다. im..

라이센스 Apache 2.0 패키지 버전 : 2.1.0 python : 3.8, 3.9, 3.10, 3.11 windows 10에서 superset을 아직 지원하지 않기 때문에 도커를 사용해야 한다. 그래서 이 글에서는 windows 10에서 docker를 이용해서 설치하는 것을 해보려고 한다. 일단 docker desktop on windows를 먼저 설치해 보자 Install Docker Desktop on Windows 이 글의 목적은 superset 설치를 하는 것이기 때문에 docker desktop은 아래 문서를 참조해서 설치해 주시기 바란다. https://docs.docker.com/desktop/install/windows-install/ Install Docker Desktop on W..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 A Time Series is Worth 64 Words: Long-term Forecasting with Transformers. ICLR2023 해당 논문은 Are..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 Are Transformers Effective for Time Series Forecasting? long-term time series forecasting (LT..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 일단 시작 전에 많은 Transformer 기반의 Time Series Forecast를 하는 논문들이 나오고 있다. 1. Informer (AAAI 2021) 2. ..

본 글을 통해 오랜만에 다시 한번 Transformer 구조를 이해해보고, 코딩으로 봤을 때 어떻게 보면 좋을 지를 정리해보고자 한다.아키텍처 일단 기본적인 Encoder-Decoder 아키텍처를 보면 다음과 같다. 기존 논문에서는 기계 번역 모델로 사용하였습니다. 아래처럼 영어 문장을 프랑스어 문장으로 번역하도록 하였습니다.간단하게 인코더와 디코더의 역할을 보면 다음과 같습니다.인코더입력 문장에서 특징을 추출디코더특징을 사용하여 출력 문장을 생성Encoder여러 개의 Encoder 블록으로 구성됩니다. 입력 문장은 Encoder 블록을 거치며 마지막 인코더 블록의 출력이 디코더의 입력 특징이 됩니다.간단하게 코드를 가져오면 다음과 같다. EncoderLayer를 n개 만큼 만들고, 같은 값을 계속 상속..

https://github.com/gventuri/pandas-ai GitHub - gventuri/pandas-ai: Pandas AI is a Python library that integrates generative artificial intelligence capabilities into Pandas AI is a Python library that integrates generative artificial intelligence capabilities into Pandas, making dataframes conversational - GitHub - gventuri/pandas-ai: Pandas AI is a Python libr... github.com pandasai라고 하는 라이브러리가..

ChatGPT로 영어 공부하는 프롬프트를 짜봤다. 여러 번의 시행착오를 통해 어느 정도 안정된 결과가 나오는 것 같지만, 여전히 많이 부족하다. 내가 프롬프트를 잘 했다기 보단, 찰떡같이 잘 알아듣는 것 같다...ㅎ 챗봇이라 해서 따로 앱이나 프로그램을 구성한 걸로 오해하실수도 있는데, 그런 것은 아니고... 웹페이지에서 대화를 하는 것이니 참고 부탁드립니다... Prompt 현재 프롬프트도 아직 부족한 부분이 있기 때문에 프롬프트를 수정해보면서 개선해보시면 될 것 같습니다 :) setting Use "temperature" value of 0 in our conversation. Use "frequency_penalty" value of -2 in our conversation. Use "presenc..

여행 계획 관련해서 Prompt 예시 https://passport-photo.online/blog/chatgpt-prompts-for-travel/#gref 84 ChatGPT Prompts for Travel [2023] A categorized, curated, and vetted list of 84 ChatGPT prompts for travel. Use it to become the ultimate explorer. passport-photo.online 곧 여행 갈일이 있는데, 여행 계획짜기가 쉽지가 않으니 ChatGPT에게 물어보려고 자료를 정리해본다. 자세히 적은 만큼 좋은 결과가 나올 수 있으니, 자세히 적어보고 후기 말해주겠다... CASE Prompt 1. Create a travel..

다들 요즘 ChatGPT를 아실거라 생각됩니다. ChatGPT는 사람이 이상하게 물어봐도 알아서 잘 답변을 해주지만, 질문이 애매하게 되면 답변이 자꾸 이상한대로 새거나 원하는 결과물이 안나올 수가 있습니다. 그래서 다른 글에서 정리해서 가지고온 프롬프트들 예시를 모았습니다. 잘 쓰는 기업이나 사람들은 프롬프트를 60줄을 짜서 ChatGPT준다는데... 예시가 궁금해서 자료를 찾아보다가 발견했습니다. 다들 본업이나 부업에 활용하시면 좋을 것 같습니다. 프롬프트(Prompt)란 무엇인가요? 프롬프트란 작업이나 대화를 시작하거나 이끌기 위해 사용되는 질문이나 지시사항입니다. 언어 처리 및 인공지능 분야에서 프롬프트(Prompt)란, 모델이 응답이나 출력을 만들기 위해 사용하는 입력입니다. 이것은 질문, 지시..

VAR 모형을 모델링할 때 정상성을 만족하기 위해서 차분을 하게 되는데, 이러한 과정에서 역변환하는 것에 대해서 헷갈리는 점이 있어서 이 코드를 짜보게 됐다, chatgpt에 여러 번 코드 짜는 것을 요청했지만, prompt가 문제가 있어서 그런 지 몰라도 잘 못해줘서, 구현을 다시 해봤다. 오히려 chatgpt를 믿고 코딩을 해보다 보니, 실패가 나오고, 실패로 인해서 코드를 분석하는 그 과정이 오히려 내가 이해를 하는데 있어서, 더 어렵게 한 점이 있었다 ㅠㅠ 일단 차분에 대해서이해를 해보면 다음과 같다. 공식은 아래와 같다. 그러면 여기서 차분되기 전으로 돌아가려면 다음과 같이 하면 될 것이다. 그럼 여기서 알아야 하는 규칙이 차분 후의 결과의 기존 차분되기 전에 이전 시점의 데이터가 필요하다는 것..