MARL을 다시 공부하려고 하니, 어디서부터 시작할지 몰라서 자료 조사부터 시작하였다. 현재 간단하게 Single Agent 방식으로 MARL 적용하는 Naive Learning으로 진행 중인데, 생각보다 성능이 나오지 않고, 원인이 파악이 안되서 미뤄왔던 공부를 다시 해보고자 한다... 아직 필자도 아래 내용을 다 본 게 아니라서, 좋은 링크라고 판단은 할 수 없지만 일단 공부하시는 분들한테 도움이 되었으면 좋겠기에 공유합니다…. Challenge Credit Assignment Problem CONTENT URL 자료시기 분류 MARL PAPER (Papers with code) https://paperswithcode.com/task/multi-agent-reinforcement-learning 계..

간단하게 확인해보기 MultiAgent RL에서 에이전트 수가 많고 복잡한 게임 관계로 인해 POLICY LEARNING에 많은 어려움을 겪는다고 한다. 그래서 학습 과정을 단순화하는 것도 MARL에서는 중요한 연구 대상이다. 대부분 MARL에서 지역적으로 에이전트 간의 상호작용이 발생하는 경우가 많아서, 다른 모든 에이전트에 대한 것들을 다 조정할 필요는 없습니다. 기존 방법에서는 미리 정의된 규칙을 사용하여 에이전트 간의 상호 작용 관계를 확보하려고 합니다. 그러나 에이전트 간의 복잡한 상호작용을 규칙으로 변환하기가 어렵기 때문에 대규모 환경에서는 방법을 직접 사용할 수 없습니다. 그래서 본 논문에서는 COMPLETE GRAPH로 에이전트 간의 관계를 모델링하고, 두 에이전트 간의 상호 작용 여부와 ..

일단 테스를 해봤을 때 잘 작동하는 것을 확인하였고, 궁금해서 더 찾아보니, 논문까지도 나와있었다. 그래서 왜 이런 게 논문까지 나왔을까 보니, 여러 환경들을 비교해보고 적합한 Environment라는 것을 주장하기 위해 논문이 나온 것 같다. 그래서 앞으로 MARL 환경 구축시에 참고할 수 있을 것 같아 빠르게 읽어보고자 한다. 본 논문에서는 PettingZoo 라이브러리와 함께 제공되는 에이전트 환경 사이클("AEC") 게임 모델을 소개한다. PettingZoo는 범용적이고 우아한 Python API를 가진 다양한 다중 에이전트 환경들의 라이브러리이다. PettingZoo는 Multi-에이전트 강화 학습("MARL")에 대한 연구를 가속화하는 것을 목표로 개발되었으며, 이는 개방형과 유사한 방식으로 ..

"게임 이론 역학은 다중 에이전트 강화 학습 시스템의 모든 곳에 존재합니다. 그것에 대해 무엇을 알아야 합니까?" 오늘날 대부분의 인공 지능 (AI) 시스템은 작업을 처리하는 단일 에이전트 또는 적대적 모델의 경우 시스템의 전반적인 동작을 개선하기 위해 서로 경쟁하는 두 개의 에이전트를 기반으로 합니다. 그러나 현실 세계의 많은 인지 문제는 많은 사람들이 만든 지식의 결과입니다. 예) self-driving car scenario 같은 경우, 모든 에이전트의 결정들은 시나리오에서 다른 많은 에이전트의 행위의 결과입니다. 금융시장이나 경제학에서 많은 시나리오들은 개체들의 많은 그룹 사이에서 조정된 행동들의 결과입니다. 인공 지능 (AI) 에이전트에서 이러한 행동을 어떻게 모방할 수 있습니까? MARL (M..

2018년도 자료 Prof. Jun Wang Computer Science, UCL에 있는 것을 기반으로 개인적인 이해를 위해서 정리를 해보고자 합니다... 2021.05.05 - [관심있는 주제/RL] - RL) MARL 설명 자료 -1 도입과 배경 2021.05.06 - [관심있는 주제/RL] - RL) MARL 설명 자료 -2 Stochastic Games APPLICATION AI Plays Multiplayers Online Games Bidding Machine in Online Advertising Text Generation Difficulty in Multi-agent Learning(MAL) MAL은 기본적으로 어려움 에이전트는 환경과 상호작용할 뿐만 아니라 다른 에이전트와도 상호작용해..

특정 책에서 해당 논문에 대한 언급이 있고, 인용 수도 있는 것 같아서 리뷰해보려고 한다. 해당 논문을 통해서 MARL에 대한 이해도를 높여지길 기대한다. 해당 논문에서는 게임 이론을 적용하여 에이전틔의 정책 선택 문제를 해결하고 있다. 내쉬 균형 이론은 비협력적 게임에서 최적의 행동 정책을 찾기 위하여 중요하게 사용되는 것이고, 내쉬 균형에서 각 에이전트는 다른 에이전트의 행동이 주어졌을 때 다른 에이전트의 전략을 고려하여 최선의 선택을 하는 전략을 이용한다. 하지만 다수의 에이 전트 환경에서 고려할 상호작용의 수가 많아 내쉬 균형 전략을 찾기 어려운 문제가 있다 본 논문에서는 주변의 상호작용을 하나의 평균 상호 작용을 고려하여 문제의 복잡도를 줄인 다음 평균 상호 작용을 고려하여 문제의 복잡도를 줄인..