양갱로그

참고도서 : python을 이용한 개인화 추천 시스템 - 임일 Content-base Filtering (CB; 내용 기반 필터링) CB는 제품의 내용을 분석해서 추천하는 기술. 특히나 텍스트 정보가 많은 책, 뉴스에 많이 사용되는 추천 방법이다. CB 절차 아이템 간 유사도 구하기 추천 대상자(user)가 선호하는 아이템 선정 선호 아이템과 유사도가 가장 높은 N개 아이템 찾기 N개 아이템을 추천 이 절차에서 발생하는 이슈 유사도 함수 정하기 유사도 함수는 여러가지가 있다. N을 몇으로 설정할 것인지 N이 많을수록 추천 성능이 올라가겠지만, 몇 개가 최적인지 알 수 없다. N개 아이템 각각 유사도 높은 아이템들이 있을텐데, 이것들을 어떻게 조합할 것인지 영화 데이터를 통해 CB 추천 시스템을 만들어보자..

TF-IDF TF-IDF는 자연어 처리에서 굉장히 중요한 개념이다. 어떤 문서들 중에 해당 단어가 특정 문서에서 얼마나 중요한지를 나타내는 통계값이다. TF-IDF 에서 사용되는 단어들의 정의를 보면, TF : Term Frequency(단어 빈도), 말 그대로 특정 단어가 문서 내에 자주 사용되는지를 나타낸다. DF : Document Frequency(문서 빈도), 특정 단어가 문서군 내에 얼마나 자주 사용되는지를 나타낸다. IDF : Inverse Document Frequency(역문서 빈도), DF의 역수 단어 빈도가 커지면 특정 단어가 해당 문서 내에서 핵심 단어가 된다고 해석할 수 있다. 문서 빈도가 커지면 역문서 빈도는 작아지고, 이는 특정 단어가 여러 개의 문서에서 자주 사용된 단어라고 ..

참고도서 : python을 이용한 개인화 추천 시스템 - 임일 집단별 추천 시스템 취향이 아니라 직업, 성별 등 단순 통계적으로 구분할 수 있는 집단으로 구분하여 추천 시스템을 만들어보자. 이런 순서로 구성해야 한다. import pandas as pd import numpy as np u_cols = ['user_id','age','sex','occupation','zip_code'] users = pd.read_csv('./u.user', sep='|', names=u_cols, encoding='latin-1') i_cols = ['movie_id','title','release date',' video release date','IMDB URL','unknown','action','adventur..

참고도서 : python을 이용한 개인화 추천 시스템 - 임일 데이터 로드하기 사용하는 데이터셋은 영화 리뷰 데이터이다. 각 데이터를 읽어보자. 참고로 데이터는 "python을 이용한 개인화 추천 시스템" 도서에서 제공하고있는 데이터를 사용했다. import pandas as pd import numpy as np # Load Users u_cols = ['user_id','age','sex','occupation','zip_code'] users = pd.read_csv('./u.user',sep='|',encoding='latin-1',names=u_cols) users.set_index('user_id',inplace=True) users.head() # Load Movies i_cols = ['m..

참고도서 : python을 이용한 개인화 추천 시스템 - 임일 추천 시스템(recommender system)이란? > 사용자의 데이터를 바탕으로 사용자에게 필요한 정보를 제시하는 시스템. "추천" 이라는 것은, 비즈니스 관점에서 고객들의 취향을 기준으로 비슷한 고개들끼리 나누고(segment), 각 집단에 맞는 제품이나 소비스를 골라주는 것이다. 집단의 규모를 굉장히 작게, 극단적으로 작게 하면 집단을 구성하는 사람이 1명이 된다. 이것이 개인화(personalization)다. 추천 시스템의 주요 알고리즘은 크게 몇 가지 분류로 나뉘고, 이것들이 발전해서 다양한 알고리즘이 파생된 형태라고 볼 수 있다. 가장 대표적인 알고리즘은 다음 세 가지다. 협업 필터링 (collaborative filtering..