양갱로그

4장 고객의 행동을 예측하는테크닉 10¶ 앞장에서 사전 분석한 스포츠 센터 회원의 행동 정보를 이용해서 머신러닝으로 예측을 한다. 회원의 행동은 이용 빈도 등에 따라 경향이 달라진다. 그래서 군집화 기법을 이용하여 회원을 그룹화할 수 있고, 각 그룹의 행동 패턴을 파악하여 예측의 정확도를 높이는 것이 가능해진다. 전제조건¶ 스포츠 센터의 데이터를 다룬다. 3장에서 이용 이력을 집계한결과에 고객 데이터를 결합한 customer_join.csv가 추가됐다. 여기서는 5개의 데이터 중에서 use_log.csv와 customer_join.csv만 사용한다. 데이터를 읽고 확인하기¶ In [14]: import pandas as pd uselog = pd.read_csv('./use_log.csv') uselog..

pd.to_datetime('20180401')] len(customer_start) Out[77]: 1361 최신 고객 집계¶ 가장 최근(2019년 3월) 고객 데이터 파악하기 In [78]: customer_join['end_date'] = pd.to_datetime(customer_join['end_date']) customer_newer = customer_join.loc[(customer_join["end_date"]>=pd.to_datetime('20190331'))|(customer_join['end_date'].isna())] len(customer_newer) Out[78]: 2953 In [79]: customer_newer['end_date'].unique() #검산 Out[79]: ..

대리점 데이터를 가공하는 테크닉 10¶ 대리점 매출 이력과 고객정보 데이터를 이용해서 데이터 분석과 예측을 하기 위해 중요한 기술인 '데이터 가공'을 배운다. 대리점 데이터는 쇼핑몰 사이트와 다르게 사람의 손을 타게 된다. 날짜 등의 입력 실수나 데이터 누락 등 '오류'가 많이 들어가 있다. 대리점 데이터 이외에도 엑셀로 직접 입력하는 데이터가 있는 경우, 데이터가 점점 지저분해져서 데이터 분석에 바로 활용 불가해진다. 전제조건¶ 해당 대리점에서는 A~Z, 총 26개의 상품을 취급한다. 매출 이력과 고객정보 데이터는 담당 사원이 직접 입력한다. 집계 기간에 상품 단가의 변동은 없었고 매출 이력은 시스템에서 CSV 파일로 출력한다. 고객 정보는 대리점에서 관리자가 주별로 집계해서 엑셀로 관리한다. uria..

실행환경 : Google Colab 1. mtcnn 패키지 설치 !pip install mtcnn 2.필요 패키지임포트 import cv2 import glob from mtcnn import MTCNN import warnings warnings.filterwarnings(action='ignore') 3. 랜드마크 추출할 이미지 리스트 얻기 path = '/content/*' file_list = glob.glob(path) input_list = [file for file in file_list if file.endswith(".png")] input_list 4. MTCNN 으로 각 이미지 랜드마크 추출 result = {} for img2 in input_list: img = cv2.cvtCol..

파이썬 데이터 분석 실무 테크닉 100은 주어진 데이터에 적용할 여러 라이브러리의 함수 사용법을 설명하는 책들과 달리, 실무에서 데이터가 주어졌을 때 가장 먼저 해야할 일과 이후 순차적으로 분석방법에 대해 설명한다. 01장 웹에서 주문수를 분석하는 테크닉 10¶ 목표 : 어떤 기업 쇼핑몰 사이트의 상품 주문 수의 추세를 분석하여 판매량 개선의 방향 찾기. 쇼핑몰 사이트는 비교적 깨끗한 데이터인 경우가 많다. 쇼핑몰 사이트는 매출 추세뿐만 아니라 언제, 누가 구입했는지 등, 상세 데이터가 많을 수록 깊게 분석이 가능하다. 그러나 현장에서 데이터를 관리할 때, 한 곳에서 관리되지 않는 것이 일반적이다. 이러한 경우 데이터를 연결하는 작업이 필요할 때도 있다. 전제조건¶ 쇼핑몰 사이트의 데이터를 다룬다. 주요..

ABSTRACTsemantic segmentation의 성능을 개선시키기 위해 Multi-scale inference를 사용한다. 여러 스케일의 이미지가 네트워크를 통과하고 그 결과가 averaging 또는 max pooling 연산을 통해 결합된다. 이 논문에서는 multi-scale로 예측한 결과를 결합하기 위해 attention을 사용하는 접근법을 소개한다. 특정 스케일들로 예측하는 것은 특정 고장난 형태를 해결하는 데 더 효과적이다. 그리고 네트워크는 더 나은 예측을 하기 위해서 이러한 스케일들을 선호하는 것을 학습한다. 이 논문에서 사용되는 attention mechanism은 계층적이다. 이 방법은 다른 최근 접근법들보다 학습하는데 대략 4배 더 메모리 효율적이다. 게다가 학습할 때 더 크게 ..

3.6 샤프닝 공간 필터3.6.1 기초샤프닝은 sharp transition을 강하게 하는 것이다.평균화는 영상 블러링 효과가 있음을 앞 장에서 확인했다. 이 연산은 적분과 비슷하다. 따라서 샤프닝 은 미분에 의해 처리될 수 있다.영상 미분은 edge 및 다른 불연속 성분을 강조하고 밝기가 서서히 변하는 영역들을 무시한다.1차 미분 정의의 조건일정한 밝기 영역에서는 0이다.밝기 계단이나 비탈의 시작에서는 0이 아니다.비탈을 따르는 영역도 0이 아니다.∂f∂x=f(x+1)−f(x)\frac{\partial f}{\partial x}=f(x+1)-f(x)∂x∂f​=f(x+1)−f(x)2차 미분 정의의 조건일정 영역에서 0이다.밝기 계단, 비탈의 시작과 끝은 0이 아니다.일정 기울기의 비탈을 따라서는 0이다...

3.4 공간 필터링의 기초Filter 라는 용어는 주파수 도메인 처리에서 가져왔고, Filtering은 특정 주파수 성분들을 통과시키거나 거부하는 것이다. 낮은 주파수를 통과시키면 저역통과 필터라고 한다. 이는 영상을 부드럽게(흐릿하게) 만든다. 공간 필터는 선형, 비선형 필터링에 사용 가능하다.3.4.1 공간 필터링의 메커니즘필터링은 이웃의 중심의 좌표와 같은 좌표를 가지며 필터링 연산의 결과를 값으로 하는 새로운 화소를 만든다.필터 센터부분이 입력 영상의 각 화소를 거쳐 필터링 된 영상이 생성된다. 수행되는 연산이 선형적이면 그 필터는 선형 공간 필터이며, 아니라면 비선형 공간 필터가 된다.선형 공간 필터링의 예시이다.영상 임의의 점 (x,y)에 필터의 중앙 계수인 w(0,0)가 맞춰진다. x, y ..

3.2.4 구간 선형 변환 함수앞서 보았던 영상 네거티브, 로그 변환, 감마 변환에 대해 보완된 방법이 구간 선형 함수를 사용하는 것이다. 장점 : 구간 함수들의 형태가 임의로 복잡해질 수 있다.단점 : 함수를 규정하기 위한 사용자 입력이 훨씬 더 많이 필요하다.Contrast Stretching가장 간단한 구간 선형 함수 중 하나.낮은 콘트라스트 원인은 나쁜 조명, 영상화 센서의 좁은 동적 범위, 영상 획득 시 잘못된 조리개 설정 등이다. 콘트라스트 스트레칭은 밝기 레벨의 범위를 넓혀 매체의 전체 밝기 범위를 사용하게 하는 것이다.(r1,s1)=(rmin⁡,0),(r2,s2)=(rmax⁡,L−1)(r_1, s_1)=(r_{\min},0), (r_2, s_2)=(r_{\max},L-1)(r1​,s1​)=..

3.1 배경3.1.1 밝기 변환과 공간 필터링의 기초공간 도메인 기법들은 영상의 화소들에 직접 작용한다. 일반적으로 공간 도메인 기법들이 계산적으로 더 효율적이고 자원도 더 적게 사용한다.g(x,y)=T[f(x,y)]g(x,y) = T[f(x,y)]g(x,y)=T[f(x,y)]f(x,y)f(x,y)f(x,y)는 입력영상, g(x,y)g(x,y)g(x,y)는 출력영상, TTT는 fff에 대한 연산자이다. 위 그림은 이웃(공간 필터)를 통한 공간필터링이다. 가장 작은 필터의 크기는 1×1이다. 이러한 경우 g가 하나의 점 (x,y)에서의 f의 값에만 종속된다. T는 그레이 레벨의 변환 함수가 된다.s=T(r)s=T(r)s=T(r)Contrast Strectching s, r은 각각 점(x,y)에서의 g와 f..