추천-1 시스템의 목표

2022. 1. 15. 12:01ㆍ관심있는 주제/Recommendation

2022.01.15 - [관심있는 주제/Recommendation] - 추천-1 시스템의 목표

2022.01.19 - [관심있는 주제/Recommendation] - 추천-2 이웃 기반 협업 필터링(Nearest Neighbor Collaborative Filtering)

Recommeder Systems라는 책을 기반으로 작성되었습니다.

1. 예측 모델

불완전한 행렬을 완성하는 것을 목적으로 함.

matrix completion 문제

2. 랭킹 모델

특정 사용자에 대한 상위-k item을 추천하거나, 특정 아이템에 대해 목표로 하는 상위-k 사용자를 결정

top-k recommendation 문제

예측된 평점의 수치값이 중요하지 않음

제품 판매 증가

추천 시스템의 주요 목표
수익 증대라는 좀 더 광범위한 비즈니스 중심 목표를 달성하기 위해서 추천 시스템의 일반적인 운영 및 기술적 목표는 다음과 같음,

운영 및 기술적 목표

1. 관련성

가장 명백한 운영 목표
- 사용자와 관련 있는 아이템을 추천하는 것
- 관련성이 가장 중요하지만, 다른 2차 목표에 대해서도 고려가 필요함.

2. 참신성

이전에 보지 못했던 아이템을 추천할 때 도움이 됨.
다양한 상품을 구매할 수 있는 기회를 줘야 함.

3. 의외성(serendipity)

이전에 알지 못했던 내용의 추천이라기보다는 정말 뜻밖의 추천이라는 면에서 참신성과는 구별됨.
잠재적으로 관심이 있어도, 특정 유형의 아이템만을 소비하는 경우가 종종 있다.

4. 증가된 추천 다양성

상위-k item의 아이템을 추천한다.
제안된 아이템 모두가 유사한 특징을 가질 때, 사용자는 이들 중 어느 것도 선호하지 않을 수 있다.
다양성은 사용자가 유사한 아이템들의 반복된 추천으로 인해 지루해지지 않도록 하는 이점이 있음.

추천 시스템 기본 모델

기본 모델

평점이나 구매 행동과 같은 사용자-아이템 Interaction
텍스트로 된 프로파일 혹은 키워드와 같은 사용자와 아이템에 관련한 속성 정보

크게 4가지로 이루어져 있다고 볼 수 있다.

협업 필터링 방법
콘텐츠 기반 추천 방법
지식 기반 추천 시스템
혼합형 하이브리드 추천 시스템

협업 필터링 방법(collaborative filtering methods)

사용자-아이템 Interaction

여러 사용자의 평점을 협업하여 추천을 하는 방법론이다.

문제점
- 평점 행렬의 분포가 고르지 않다.
  - 예)
    - 특정 영화에 대해서만 후볼호를 다음 평점 같은 경우 극히 일부만 봤을 것이다. 즉 대부분의 평점 데이터는 없다(명시되지 않는다)
명시된 평점 = 관측된 평점 = 발견된 평점
관측하지 않는 = 누락된
기본 구조
- 발견된 평점은 사용자와 아이템과 매우 높은 상관 관계를 갖고 있어 명시되지 않는 평점 또한 대체가 가능하다는 점
  - 예)
    - 엘리스와 밥 유사한 취향을 가진 사용자라 가정
      - 만약 두 사람 모두 명시한 평점 후기가 매우 유사하면, 유사도는 알고리즘을 통해 알 수 있다.
      - 그래서 한 유저를 통해 다른 유저의 평점을 추론하는 데 쓸 수 있다.
- 협업 필터링의 대부분 모델은 아이템 간 상관관계나 사용자 간 상관관계를 예측 프로세스에 활용하는데 중점을 둔다.
방법론
- 메모리 기반 방법(memory based methods)
- 모델 기반 방법(model based methods)

메모리 기반 방법(memory based methods)

이웃 기반 협업 필터링 알고리즘(Neighborhood Based Collaborative Filtering)으로 알려짐
- 참고
  - https://medium.com/fnplus/neighbourhood-based-collaborative-filtering-4b7caedd2d11
  - https://databreak.netlify.app/2019-06-06-Neighborhood/
협업 필터링의 가장 초기 방법론
- 이웃을 기반으로 사용자-아이템 조합의 평점을 예측
이웃 정의 2가지
1. 사용자 기반 협업 필터링
2. 아이템 기반 협업 필터링
사용자 기반 협업 필터링
- 타깃 사용자 A와 유사한 성향을 가지고 있는 사용자들의 평점 결과로 A의 추천을 진행
  - 타깃 사용자 A와 유사한 사용자 정의와 피어 그룹 평가 결과의 가중 평균을 기반으로 관측되지 않은 A의 관측되지 않은 평점을 예측
아이템 기반 협업 필터링
- 사용자 A를 통해 타깃 아이템 B의 평점을 예측하려면,
  1. 타깃 아이템인 B와 가장 유사한 아이템 집합 S의 정의부터 진행
  2. 사용자 A가 정의한 아이템 집합 S의 평점은 사용자가 아이템 B를 좋아할지 안 좋아할지 예측하는데 사용
장점
- 적용하기 간단
- 추천 결과 설명 쉬움
단점
- 분포가 고르지 못한 평점에는 잘 작동하지 않음.
- 평점 예측의 전체를 커버하기에는 어려울 수 있는 방법론
- TOP-K ITEM개의 아이템만 필요하다면, 커버리지 부족은 큰 이슈가 아닐 수 있기도 함.

모델 기반 방법 (model based methods)

예측 모델에 머신러닝과 데이터 마이닝 기술 이용하는 것
- DECISION TREE
- RULE BASED MODLES
- BAYESIAN METHODS
- Latent Factor Models
2개의 방법론과의 차이는 크지 않다.
최근에는 2개의 방법론을 결합하는 것도 많이 사용되고 있다고 함.(2016년 기준?)

평점의 종류

연속형 평점
- [-10~10]
인터벌 기간 평점
- [-2,-1,0,1,2]
서수 평점
- 비동의 / 중립 / 동의
이진 평점
- 좋거나 싫거나
단항 평점
- 호감만을 표현
  - 페이스북 좋아요 같은 기능
  - 암시적인 피드백 데이터 세트의 경우에 많이 보임.
- 사용자의 비호감을 알 수 없기 때문에 추천 알고리즘에 큰 영향을 끼침

평점 표현 방식

짝수개
- 강제 선택 평가 시스템

명시적 평점과 암시적 평점의 예시

평점 행렬은 때로는 효용 행렬이라고 부르기도 한다고 함.
- 사용자-아이템 조합의 효용성은 특정 사용자에게 해당 아이템을 추천했을 때 생기는 이익의 양을 의미
단항 평점 행렬
- 긍적적 선호 효용 행렬

결측치 분석관의 관계

협업 필터링 모델은 결측치 분석과 밀접하게 연관돼 있다.
대체적으로 전통적인 결측치 평가 방법론이 협업 필터링에서도 활용한다.

분류와 회귀 모델링의 일반화로써의 협업 필터링

협업 필터링 방법론은 분류와 회귀의 일반화로 여기지기도 한다.
추천 문제
- 클래스 변수와 피처 값은 종속 변수와 독립 변수의 역할을 모두 하기 때문에 명확한 차이가 존재하지 않는다.
- 분류나 회귀는 특정 열에만 제한되어 있다.
협업 필터링에서 학습 행과 테스트 행보다 학습과 테스트 세트의 항에 대해 이야기 하는 것이 더 의미 있다.

콘텐츠 기반 추천 방법(content-based recommender methods)

사용자와 아이템에 관한 속성 정보
- 평점 행렬 사용하지만, 대부분의 경우 모든 사용자가 아닌 특정 사용자의 평점에 비중을 둔다고 함.
아이템 설명 속성을 추천에 활용한다.
- 콘텐츠라는 용어가 설명에 해당함.
장점
- 평점 데이터가 충분하지 않은 새로운 아이템에 대한 추천에 있어 몇 가지 장점이 있음.
- 활성 사용자들이 유사한 속성을 가진 다른 아이템들을 평가했을 수 있기 때문
단점
- 키워드나 내용 때문에 명백한 추천을 제공
  - 키워드를 이용한 적이 없다면 절대 추천하지 않을 수 있음.
  - 사용자의 커뮤니티 지식을 사용하지 않았기 때문
  - 다양성을 줄이는 경우
- 새로운 사용자에게 제안하는 추천은 효과적이지 않음.
  - 과적함이 없는 견고한 예측을 위해서는 타깃 사용자의 매우 많은 수의 평점 정보가 중요함
콘텐츠 기반 방법론과 협업 필터링 시스템간의 트레이드 오프 관계
- 콘텐츠 기반 방법론에서 프로파일 정보를 사용하면 콜드 스타트 시나리오에 실용적
  - 이 방법론은 지식 기반 시스템으로 간주되기는 함.
  - 유사도 측정 기준이 도메인 지식을 기반으로 하기 때문
지식 기반 추천 시스템과 콘텐츠 기반 추천 시스템과 매우 밀접하게 연관되어 있다고 보기도 함.
- 경계 존재 애매하다는 의견 있음

지식 기반 추천 시스템(Knowledge-based recommender systems)

특정 사용자의 조건을 기반으로 함
- 과거의 평점이나 구매 데이터를 이용하는 대신, 외부 지식 기반과 제한 조건을 활용
자주 구매하지 않는 아이템에 대해서는 유용
- 부동산, 자동차, 관광 요청, 금융 서비스, 또는 값비싼 명품 제품이 이에 해당함.
  - 충분한 평점 데이터 부족
  - 충분한 아이템 부족
  - 상세 옵션 다름
  - 선호도가 시간이 지남에 따라 많이 바뀔 수 있음.
고객의 요구 사항과 아이템 상세 정보간의 유사도 혹은 사용자 요구 사항을 정하면서 생긴 제약조건을 이용하여 추천 프로세스를 수행
방법론
1. 제약 기반 추천 시스템
  - 요구사항을 정해서 범위를 좁히는 시스템
2. 사례 기반 추천 시스템
  - 특정 사례는 사용자가 대상 또는 앵커 포인트로 지정
  - 검색을 유도하는 앵커포인트 제시
인터페이스
1. 대화형 시스템
2. 검색 기반 시스템
3. 탐색 기반 추천
특징
- 아이템 속성에 크게 의존하는 시스템
- 콘텐츠 기반 시스템과의 큰 차이점은 콘텐츠 기반은 사용자의 과거 행동으로부터 학습하는 반면 자신의 필요와 능동적인 사용자의 요구 사항을 기반으로 추천

효용 기반 추천 시스템

효용 함수를 정의 함
- 사용자가 아이템을 좋아할 확률을 계산하기 위해 피처를 정의
- 인지된 가치에 근거해 추천한 아이템의 순위를 암묵적으로 매김
효용 값은
- 우선 순위로 알려진 함수를 기반으로 함.
- 외부 지식으로 간주 할 수 있음.

인구 통계학적 추천 시스템

인구 통계학적 특성을 기반으로 웹페이지를 축함
특정 홈페이지를 좋아할 가능성을 예측하기 위해 사용자 홈페이지로부터 피처를 추출하는 기술이 개발되고 있음.

하이브리드와 앙상블 기반 추천 시스템

이전 언급한 3가지 시스템은 서로 다른 입력 소스를 이용해 서로 다른 시나리오에서 작동할 수 있다.
- 협업 필터링 시스템
  - 커뮤니티 평점에 의존
- 컨텐츠 기반 방식
  - 텍스트 설명과 사용자 평점에 의존
- 지식 기반 추천 시스템
  - 지식 기반 환경에서 사용자와의 상호작용에 의존
  - 데이터가 많지 않은 상황에서 콜드 스타트 환경에 효과적
- 인구 통계학적 시스템
  - 사용자의 인구 통계학적 프로파일을 이용하여 추천한다.
여러 종류의 추천 시스템의 장점을 혼합해 다양한 환경에 대응할 수 있도록 한다.

고급 주제 및 어플리케이션

12장과 13장에서 자세하게 논의됨.

1. 추천 시스템의 콜드 스타트 문제

추천 시스템 주요 문제점 중 하나
- 처음에 사용 가능한 평점의 수가 상대적으로 적다.
  - 전통적인 협업 필터링으로는 어려움이 있음.
- 콘텐츠 기반과 지식 기반 방법은 협업 필터링보다는 강력하지만 항상 이용 가능하지는 않음.
콜드 스타트 문제를 개선하기 위해 많은 구체적인 방법이 고완되었다고 함.
- 모델의 민감성
- 해결책
- 이 책 전반에서 이야기 한다고 함.

2. 공격에 강한 추천 시스템

추천 시스템을 사용하는 것은 다양한 제품과 서비스 판매에 영향을 미친다.
- 제품과 서비스의 판매자들은 경제적 동기로 인해 추천 시스템에서 나오는 결과를 조작하기도 한다.
  - 판매자가 보유한 제품의 평점을 부풀려서 추천 시스템으로 제출
  - 악의적인 경쟁자는 타 제품에 대해서 편파적이고 부정적인 리뷰
- 수많은 공격 전략들이 개발됨.
수많은 공격들에 대해서도 잘 추천할 수 있는 방법이 필요함.
12장

3. 그룹 추천 시스템

단일 사용자가 아닌 사용자 그룹에게 특정 활동을 추천하도록 조정
13.4 장

4. 다중 기준 추천 시스템

다중 기준 시스템(multi criterial system)에서 단일 사용자의 평점은 다른 기준에 따라 지정될 수 있음.
- 특정 특수 효과 등을 기준으로 아이템을 평가
13.5장

5. 추천 시스템의 능동적 학습

강력한 예측을 하기 위해 충분한 평점 데이터 획득하는 것이 굉장히 중요
평가 행렬의 희소성은 효과적인 작동에 관해서 중요한 장애가 된다.
평점을 입력하도록 유도해 시스템을 채우도록 하는 메커니즘이 있음.
- 인센트브 제공
13.6장

6. 추천 시스템의 개인정보보호

추천 시스템은 암시적 혹은 명시적일 수 있는 사용자의 피드백을 기반으로 함.
이 피드백에서는 관심사에 대한 중요한 정보가 포함되 있으며, 여러 개인 취향 정보가 공개될 수 있음.
- 개인정보보호에 관한 우려 발생
13.7장

7. 어플리케이션 도메인

소매, 음악, 콘텐츠 , 웹 검색 , 질의 및 전산 광고
13장
- 뉴스 추천
- 전산 광고 및 상호 추천 시스템
- 웹중심
추천 시스템의 중요한 측면
- 장기적인 사용자의 이익을 추적하고 식별하기 위해 강력한 사용자 식별 메커니즘이 존재한다고 가정하는 것

추천 시스템 1장에서 눈에 띄는 내용을 정리해 봤다.

아직까지는 개념적인 내용이라 이해가 되었고, 앞으로도 읽어보면서 간단하게 흐름을 정리해보고자 한다.

2022.01.15 - [관심있는 주제/Recommendation] - 추천-1 시스템의 목표

2022.01.19 - [관심있는 주제/Recommendation] - 추천-2 이웃 기반 협업 필터링(Nearest Neighbor Collaborative Filtering)

저작자표시

'관심있는 주제 > Recommendation' 카테고리의 다른 글

Paper) 추천 알고리즘들의 Data Split 전략에 대한 논문 리뷰 (2)	2022.03.24
Python) 추천 시스템 방법론별로 간단한 예시 (0)	2022.01.23
Python) text content based recommendation (0)	2022.01.23
추천-2 이웃 기반 협업 필터링(Nearest Neighbor Collaborative Filtering) (0)	2022.01.19
추천) Latent Matrix Factorization - 기본 컨셉 이해 (0)	2021.07.18

Amazon	도서와 다른 제품들
Netflix	DVD, 스트리밍 비디오
Jester	농담
GroupLens	뉴스
MovieLens	영화
last.fm	음악
Google News	뉴스
Google Search	광고
Facebook	친구,광고
Pandora	음악
YouTube	온라인 비디오
Tripadvisor	여행 상품
IMDb	영화

협업 필터링	피어나 나 자신의 평가와 행동을 활용하는 협업 접근 방식을 기반으로 추천 제공	사용자 평점 + 커뮤니티 평점
콘텐츠 기반	과거 평점과 행동에서 선호했던 콘텐츠(속성)을 기반으로 추천 제공	사용자 평점 + 아이템 속성
지식 기반	내가 원하는 콘텐츠(속성) 유형의 명시적인 사용을 기반으로 추천 제공	사용자 사양 + 아이템 속성 + 도메인 지식

All I Need Is Data.

태그

최근글

댓글

공지사항

아카이브

1. 예측 모델

2. 랭킹 모델

제품 판매 증가

운영 및 기술적 목표

1. 관련성

2. 참신성

3. 의외성(serendipity)

4. 증가된 추천 다양성

추천 사례

그룹렌즈 추천 시스템

아마존 추천 시스템

넷플릭스 영화 추천 시스템

구글 뉴스 개인화 시스템

페이스북 친구 추천 시스템

추천 어플리케이션의 범위

추천 시스템 기본 모델

기본 모델

추천 시스템의 개념적 목표

협업 필터링 방법(collaborative filtering methods)

메모리 기반 방법(memory based methods)

모델 기반 방법 (model based methods)

평점의 종류

평점 표현 방식

명시적 평점과 암시적 평점의 예시

결측치 분석관의 관계

분류와 회귀 모델링의 일반화로써의 협업 필터링

콘텐츠 기반 추천 방법(content-based recommender methods)

지식 기반 추천 시스템(Knowledge-based recommender systems)

효용 기반 추천 시스템

인구 통계학적 추천 시스템

하이브리드와 앙상블 기반 추천 시스템

추천 시스템의 평가

추천 시스템의 도메인 특화 과제

1. 컨텍스트 기반 추천 시스템 혹은 컨텍스트 인지 추천 시스템

2. 시간에 민감한 추천 시스템

3. 위치 기반 추천 시스템

4. 소셜 추천 시스템

1. 노드와 링크의 구조적 측면

2. 사회적 영향을 고려한 제품과 콘텐츠 추천

3. 신뢰할 수 있는 추천 시스템

4. 소셜 태그 피드백을 활용한 추천