MemOS에 대한 내용 중 메모리에 대한 철학을 배워보고자 특정한 부분만 따로 정리해보고자 합니다.
"메모리"란 무엇인가? - LLM에서의 의미
LLM에서 말하는 메모리(memory)는 인간처럼 정보를 기억하고, 재사용하고, 맥락을 유지하는 기능을 의미합니다. 구체적으로는 다음과 같은 세 가지 관점에서 정의할 수 있습니다:
메모리 역할
설명
지식 저장소
LLM이 과거 학습 또는 상호작용으로부터 획득한 정보 유지
상태 유지 장치
다중 턴 대화, 긴 문서 생성 등에서 일관성을 유지하기 위한 맥락 정보
적응성 수단
사용자 선호, 과거 입력, 과제 특성에 기반한 동적 대응 가능성
즉, "memory"는 단순한 cache나 context가 아닌, 행동 지속성, 지식 진화, 사용자의 개인화 경험을 모두 가능하게 하는 지능 시스템의 핵심 구성요소입니다.
전통적인 LLM의 메모리 구조
(1) Parameter Memory (파라미터 기반 암묵적 메모리)
모델의 weight 안에 내재된 지식
학습 시 corpus 기반으로 "암묵적" 저장
장점: 추론 속도 빠름, 일반화 우수
단점: 재학습이 없이는 업데이트 불가, 개인화 불가
(2) RAG (Retrieval-Augmented Generation)
외부 벡터 DB 또는 문서에서 context를 실시간 검색하여 prompt에 삽입
장점: 최신 정보 사용 가능, 빠른 확장성
단점: session이 끝나면 기억 없음, 상태 추적 불가
전통적 방식의 근본적 한계
문제 영역
설명
지속성 부족
모든 세션이 "기억 상실" 상태에서 시작됨
개인화 어려움
사용자의 선호, 스타일, 히스토리를 추적 불가
지식 업데이트 불가능
새로운 정보 반영이 어려움 (파라미터 재학습 필요)
멀티플랫폼 연계 불가
ChatGPT에서 학습한 기억을 Cursor 등에서 활용 불가
복잡한 태스크 처리 불가
여러 단계, 긴 대화에서 컨텍스트 손실로 인한 무결성 붕괴
새로운 전환: MemOS – 메모리를 운영체제 수준 자원으로
MemOS(Memory Operating System)는 메모리를 캐시나 임시 상태가 아닌, CPU, RAM, I/O와 같이 독립적이고 운영 가능한 시스템 자원으로 다룹니다.
💡 핵심 철학: "Memory is not a static object — it is a dynamic, schedulable, and evolvable system resource."
메모리 계층 구조 및 구성요소
메모리 계층 구조 (Memory Hierarchy)
계층
정의
예시
상태
Implicit Memory
모델 파라미터 내부에 내재된 지식 (Pretraining, Fine-tuning 등)
GPT가 학습한 법률 상식
암묵적
Explicit Memory
Prompt, KV-cache, 과거 대화 히스토리 등 입력 기반 정보
사용자 정의 규칙, 선호도
명시적
External Information
RAG, Graph RAG, kNN-LM, Vector Store 등에서 정보 검색
PDF에서 추출한 계약서 문장
비구조적
Figure 2: Categorization of LLM knowledge, including the memory hierarchy. The explicit memories, extracted from model activations, lie half-way between raw data and model parameters, so a dotted line is used to indicate that they may or may not be regarded as parameters. Reproduced from
메모리 생애주기 (Lifecycle)
단계
설명
생성 (Generation)
대화, 추론 결과에서 메모리 생성
활성화 (Activation)
필요할 때 특정 문맥 기반으로 호출
융합 (Fusion)
다수 메모리를 병합하여 고차원 지식 구성
보관 (Archiving)
덜 중요한 기억은 장기 저장소로 이동
폐기 (Expiration)
유효 기간 지난 메모리는 자동 소멸
구성 컴포넌트
컴포넌트
역할
MemReader
메모리 접근 및 선택
MemScheduler
호출 우선순위, 시점, 사용 조건 결정
MemLifecycle
메모리 생성~폐기 흐름 추적 및 관리
MemOperator
CRUD, 권한 설정, 병합 등 시스템 명령 수행
MemOS가 제공하는 세 가지 핵심 능력
기능
설명
사례
Controllability (통제력)
메모리의 생성, 활성화, 폐기 등 전 생애주기 제어 가능
사용자 선호 메모리 만료 시 자동 폐기
Plasticity (가소성)
태스크/역할 전환 시 메모리 구조 재구성 가능
문서 작성 → 코드 리뷰 전환 시 메모리 전환
Evolvability (진화성)
기억 유형 간 전환 및 추론 기반 지식 융합 가능
긴 대화에서 생성된 규칙 → 파라미터로 통합
LLM 메모리 체계와 MemOS 개념 요약
1. 기존 LLM의 메모리 구조와 한계
메모리 유형
설명
장점
한계
암묵적 메모리 (Implicit Memory)
모델 파라미터 내부에 내재된 지식 (Pretraining, Fine-tuning 등)
빠른 추론, 일반화 능력
업데이트 어려움, 해석 불가능, 비용 큼
명시적 메모리 (Explicit Memory)
Prompt, KV-cache, 과거 대화 히스토리 등 입력 기반 정보
외부 정보 반영 가능
컨텍스트 윈도우 길이 제한, 장기 기억 불가
외부 정보 (External Retrieval)
RAG, Graph RAG, kNN-LM, Vector Store 등에서 정보 검색
최신 정보 반영 가능
상태 없음, 지속성 없음, 버전관리 불가
→ 이 구조로는 장기적 컨텍스트 유지, 개인화, 지속적 학습에 한계 존재
2. 메모리 진화 단계 (Stage 1 ~ 4)
주요 연구 분류 체계
1) [19] 연구
메모리를 다음 세 가지로 분류:
Parameter Memory: 모델 파라미터에 내재된 지식
Unstructured Contextual Memory: 문맥을 단순 텍스트로 보관
Structured Contextual Memory: 키-값 구조나 메타데이터 기반 구조화된 기억
2) [20] 연구
메모리를 다음 기준으로 분류:
Object: 개인용 메모리 vs. 시스템용 메모리
Form: 파라미터 기반 vs. 비파라미터 기반
Temporal: 단기 메모리 vs. 장기 메모리
3) [21] 연구
메모리를 네 가지 유형으로 분류:
파라미터 기반
키-값 캐시 기반
히든 상태 기반
텍스트 기반
각 메모리에 보존 기간(retention duration)을 설정하여,
감각 기억(sensory memory)
단기 기억(short-term memory)
장기 기억(long-term memory)를 구분
저자들의 통합 프레임워크 제안
이 논문에서는 위 연구들을 기반으로 다음의 2차원 분류 체계를 제안합니다:
✅ 1. 의식화 여부 (Consciousness)
Implicit Memory (암묵적 기억)
Parameter memory, KV-cache, Hidden States 등
모델 내부에 보이지 않게 유지
Explicit Memory (명시적 기억)
사용자 프롬프트, 메모리 모듈, 외부 저장소 등
사람이 구조를 인식하고 조작 가능
2. 시간 기반 분류 (Timescale)
구분
설명
감각 기억 (Sensory)
매우 짧은 시간 유지, 전처리 수준
단기 기억 (Short-term)
현재 문맥, 대화 히스토리 등
장기 기억 (Long-term)
외부 DB, RAG, 파라미터 업데이트 등
참고: 이 논문에서는 “감각 기억”도 단기 기억의 하위 범주로 통합하여 일관된 스케줄링 처리를 지향
✅ Stage 1: Memory Definition and Exploration
“메모리란 무엇인가?”를 정의하고, 분류 체계를 만드는 탐색기
🎯 핵심 목표
LLM이 사용하는 메모리를 정의하고 분류함
실험적 또는 이론적 기반을 정립
📚 주요 연구 흐름
Parameter memory vs. Non-parametric memory
Temporal memory 분류 (감각/단기/장기)
Consciousness 기반 분류 (Implicit vs. Explicit)
🧠 대표 구조
GPT-2/3: Prompt 기반 컨텍스트
KV Cache, Hidden State, Parameter tuning
📌 한계
메모리 관리, 진화, API 제어 없음
정적 분류에 머무름
✅ Stage 2: Human-like Memory Development
인간의 기억 구조(해마, 신피질 등)를 모사하는 설계 단계
🎯 핵심 목표
인지 과학 영감 기반의 기억 시스템 설계
LLM이 정보를 더 유연하게 저장하고 재구성하도록 유도
🧬 주요 개념
Hippocampus: 빠른 단기 기억 저장소
Neocortex: 느리지만 안정적인 장기 저장소
Mindmap 생성: 주제별 기억 구조 시각화
🧠 대표 연구
HippoRAG: 해마 이론 기반 기억 인덱싱
Memory3: KV Cache를 명시적 메모리 구조로 전환
PGRAG: 독서 중 마인드맵 생성
Second-Me: 사용자 기억을 L0~L2로 구조화
📌 한계
구조적으로 인간 유사하나, 운영 및 통제는 제한적
세션 간 기억 유지나 진화 불가능
✅ Stage 3: Tool-based Memory Management
메모리를 “조작 가능한 객체”로 보고, 수정/삭제 가능한 인터페이스 제공
🎯 핵심 목표
메모리를 추상화된 데이터 객체로 보고, 삽입/수정/삭제 가능하게 함
🧰 주요 기능
CRUD (Create, Read, Update, Delete)
Prompt/Parameter 수준 메모리 조작
🧠 대표 시스템
EasyEdit: 모델 내부 상태(파라미터, 히든) 수정 인터페이스 제공
Mem0: 외부 메모리를 추출/업데이트/삽입하는 파이프라인
Letta: OS 스타일 메모리 페이징 + 컨텍스트 관리
📌 한계
인터페이스 수준 조작만 가능
스케줄링, 버전 관리, 권한 제어 등 운영체제 수준의 관리 기능은 없음
✅ Stage 4: Systematic Memory Governance (MemOS)
메모리를 운영체제 자원처럼 다루는 완전한 메모리 관리 시스템
🎯 핵심 목표
메모리를 API 호출, 접근 권한, 생애주기 제어가 가능한 1급 시스템 자원으로 다룸
AGI 시대를 위한 메모리 중심 아키텍처 확립
📊 전체 비교 요약
항목
Stage 1
Stage 2
Stage 3
Stage 4(주장)
목적
정의 및 분류
인간 유사 구조
도구 기반 조작
운영체제 수준 관리
구조
정적 분류
인지과학 모사
인터페이스 조작
API + 권한 + 버전
대표 기법
프롬프트, KV 캐시
HippoRAG, Memory3
EasyEdit, Mem0
MemOS
메모리 제어
불가능
제한적 (구조만 있음)
기본적인 조작 가능
전체 라이프사이클 + 보안 제어
진화 가능성
없음
제한적
단기적
지속적 학습 및 지식 진화 가능
🧩 요약
Stage 1~3까지는 메모리의 존재와 조작 가능성을 탐색한 단계
Stage 4 (MemOS)는 메모리를 운영하고 진화시키는 시스템적 패러다임으로 전환
정리: MemOS의 메모리 3대 분류 + MemCube
MemOS에서 제안하는 "LLM 메모리의 3대 분류와 역할", 그리고 그것을 통합하고 운영하는 MemCube라는 개념을 설명한 핵심 파트
이 내용은 메모리를 단순한 캐시나 retriever의 결과로 보던 기존 관점을 넘어, 시스템 수준에서 메모리를 명시적으로 정의하고 계층적으로 운영하려는 시도이다
메모리 유형
정의
특징
장점
단점
Plaintext Memory (명시적 외부 지식)
외부에서 가져온 문서, 그래프, 프롬프트 등 편집 가능하고 추적 가능한 지식 단위
- 외부에서 주입 - 버전 관리 가능 - 개별 관리 가능 - 그래프 구조로 구성됨
- 빠른 지식 갱신 - 유저 맞춤 - 투명한 정보 출처 제공
- 상태 유지 어려움 - 지속성 부족 가능
Activation Memory (실행 중 생성된 중간 상태)
KV-Cache, hidden state 등 추론 중 생성되는 단기 활성화 상태
- 컨텍스트 일시 유지 - 반복적 호출 가능 - 패턴 캐싱 가능
- 스타일, 대화 흐름 유지 - 중복 추론 방지 - 빠른 응답
- 세션 기반, 휘발성 - 구조화 어려움
Parameter Memory (모델 파라미터 자체)
모델의 가중치 내부에 내재된 장기 지식
- 사전학습으로 축적 - 암묵적으로 사용됨 - LoRA 등으로 확장 가능
- 고성능 - 내재화된 전문성
- 갱신 어려움 - 해석 어려움 - 비용 높음
🧱 MemCube란?
MemCube = 메모리 단위 표준화 객체 → 다양한 메모리 타입(Plaintext, Activation, Parameter)을 동일한 방식으로 표현·추적·스케줄링하기 위한 추상화 단위
📦 MemCube의 구성 요소
구성 요소
설명
Memory Content
실제 지식 내용 (문장, vector, parameter 등)
Metadata
버전, 생성시점, 사용자, 태그 등
Lifecycle 상태
생성 / 활성화 / 보관 / 폐기
접근 제어
권한, 사용자 스코프, 공유 여부
통합 관리 API
읽기, 쓰기, 활성화, 스케줄링 등
MemCube는 단순한 저장소가 아니라, "메모리를 구조화하고 조절하는 최소 단위"로 작동합니다. → 예: 자주 쓰이는 프롬프트 → MemCube로 등록 → 일정 횟수 이상 사용되면 Activation Memory로 승격 → 자주 호출되면 Parameter화
🤖 왜 중요한가?
이 3대 메모리 분류와 MemCube는 다음과 같은 통찰을 제공합니다:
LLM의 메모리를 “분리-추상화-통합”함으로써 제어 가능하게 만든다.
기존 RAG는 단순 “읽기-only” 방식이라면, MemCube는 “읽기-쓰기-관리”를 모두 포함한다.
세션 기반 LLM → 장기적 사용자 대응이 가능한 Agent 기반 LLM으로 진화할 수 있다.
✨ 핵심 요약
"LLM은 기억이 없는 도구였지만, 이제는 기억을 지니는 시스템으로 바뀌고 있다." 이때 기억은 텍스트, 활성화, 파라미터의 형태로 존재하고, 그것을 조정 가능한 단위로 만든 것이 바로 MemCube이다.
메모리 진화 및 MemOS 설계에서 얻어야 할 실무 인사이트
✅ [개념 이해를 위한 정리]
LLM 기반 시스템을 개발할 때 반드시 이해해야 할 메모리 개념과 아키텍처 유형
1. 메모리의 유형과 계층 구조
분류
기준
유형 설명
표현 방식
암묵적(Implicit)
파라미터 내부(Pretraining, Fine-tuning), KV Cache, Hidden State
명시적(Explicit)
Prompt, 외부 문서, 메모리 DB 등 사람이 인식 가능한 저장소
시간 기준
감각(Sensory)
즉시 사라지는 입력 기반 반응
단기(Short-term)
KV-Cache, Prompt, 최근 대화 맥락
장기(Long-term)
외부 RAG, 파라미터 업데이트, Structured Memory (Graph 등)
2. 진화 단계 요약
단계
주요 내용
대표 시스템
Stage 1
메모리 정의 및 분류
GPT-2, GPT-3
Stage 2
인간 유사 구조 설계
Memory3, HippoRAG, PGRAG
Stage 3
도구 기반 조작 (편집/삭제 등)
EasyEdit, Mem0, Letta
Stage 4
시스템 수준 거버넌스(MemOS)
MemOS, MemCube 기반 구조
🏗 [설계/구현 관점에서 얻어야 할 인사이트]
실제 시스템을 개발할 때 설계자로서 고려해야 할 사항들
🔧 1. 메모리는 더 이상 단순한 입력 컨텍스트가 아니다
메모리를 단순 prompt나 캐시가 아닌, 독립적인 시스템 자원(Resource) 으로 다뤄야 함
메모리는 생성/보관/활성화/폐기 등 라이프사이클 단위로 설계해야 함
🧩 2. 다양한 기억 계층을 분리하여 설계해야 함
계층
설명
설계시 고려 사항
Parameter Memory
암묵적 장기 지식
업데이트 비용 큼 → 자주 바뀌지 않는 정적 지식 저장
Activation Memory
인퍼런스 중 동적 상태
KV 캐시 최적화, 메모리 압축, 토큰 단위 보존
Plaintext Memory
구조화된 외부 메모리
Vector Store, Graph Store, MemVault 등과 연계 필요
🔐 3. 세션/유저/에이전트 별로 메모리 권한/버전/범위를 분리해야 함
세션/사용자 간 메모리 격리
멀티 유저 협업 시 Memory Scoping 설계 필요 (e.g. Agent A만 접근 가능한 Memory Bundle)
📦 4. CRUD 수준에서 끝나지 않고, 스케줄링과 거버넌스가 포함된 아키텍처 설계 필요
MemScheduler, MemGovernance, AuditLog 같은 OS 모듈 기반 설계 도입 고려
🧪 [어디에 적용할 수 있는가?]
개발자가 실무에서 고려해야 할 적용 분야/유형별 제안
💬 LLM Inference 서비스 설계 시
Prompt 구성 외에도 KV-cache와 external memory를 분리해서 관리
세션 기반 persistent memory를 붙여야 context-aware behavior 유지 가능
🔎 RAG 기반 QA 시스템
단순 검색(Retrieval)에 머무르지 않고, Retrieved memory의 생애주기 관리 구조 필요
검색결과를 활성화 시점, 유효기간, 사용횟수 등에 따라 스케줄링 및 폐기 가능해야 함
👥 다중 세션 / 다중 사용자 기반 시스템
사용자 기반 메모리를 agent scope에 맞게 나누고, 권한 기반 분리 필요
예: "유저 A의 설계 취향"은 A의 agent만 접근 가능하고, 3개월 후 자동 폐기
🧠 지속 학습/메모리 기반 적응 시스템
새로운 입력으로 생성된 정보를 기억화하고, 다시 파라미터화하거나 구조화 메모리로 저장
예: 대화 중 특정 지시사항을 메모리화하여 다음 작업에 반영
✅ 마무리 요약
무엇을 배워야 하는가?
왜 중요한가?
메모리를 구조화된 시스템 자원으로 취급
LLM을 장기적으로 진화 가능한 AGI로 발전시키기 위해
암묵/명시 메모리 분리 및 계층화
설계 최적화, 운영비용 절감, 모델 유연성 확보
메모리의 생애주기와 거버넌스 관리
사용자의 신뢰 확보, 보안/컴플라이언스 대응
훈련이 아닌 실행 중 메모리 업데이트
개인화, 세션 일관성, 지속 학습 가능성 확보
LLM 메모리 설계 체크리스트 (Memory Architecture Design Checklist)
