논문 내용 정리 CP : Continual Pre-trainingPLM : Pre-trained Language Model 해당 논문은 우연히 LLAMA3에 CHAT VECTOR 논문 방식으로 튜닝한 모델이 있다고 해서 찾아보게 되었습니다.https://huggingface.co/beomi/Llama-3-Open-Ko-8B-Instruct-preview beomi/Llama-3-Open-Ko-8B-Instruct-preview · Hugging FaceLlama-3-Open-Ko-8B-Instruct-preview Update @ 2024.04.24: Release Llama-3-Open-Ko-8B model & Llama-3-Open-Ko-8B-Instruct-preview Model Details L..

상황 조금 더 일반화된 학습을 하기 위해 멀티 타겟에 대한 일반화된 모델을 만들고, 그 모델에서 부분적인 타겟에 대하서 추출할 때 가중치를 잘 가져오는 지에 대한 테스트를 수행해봄. 기대 효과 공유하는 네트워크(Shared Network)가 일반화되게 잘 학습이 되고, 부분적으로 학습시킬 때 좋은 인풋으로써의 기능을 할 수 있지 않을까 함. 방법 각 타겟에 대해서 Dict 으로 키로 관리하고, 나중에 load 시 strict=False를 하면, 알아서 파라미터가 매칭이 안되도 들어갈 것이다라는 생각으로 시작 엄밀하게 제거하는 작업도 있지만, 제거하지 않아도 자동으로 맵핑되는 지 보고 싶었음 코드 중간에 가중치를 임의로 지정하여 테스트 굳이 forward까지 구현하지 않아도 되므로 패스하고 진행한다. im..

파이썬에서 최빈값을 계산하기 위해서 여러가지 테스트를 수행해봤다. 목차 functions import numpy as np import collections from scipy.stats import mode import concurrent.futures from joblib import Parallel, delayed def numpy_most_frequent(x) : values, counts = np.unique(x, return_counts=True) ind = np.argmax(counts) return values[ind] def counter_most_frequent(x) : return collections.Counter(x).most_common()[0][0] def stats_most_..