앎을 경계하기

Contents 356

[Ubuntu 18.04LTS, RTX 3090]RuntimeError: CUDA error: no kernel image is available for execution on the device 에러 해결

환경 Ubuntu 18.04 LTS GPU : RTX 3090 CUDA version : 10.2 virtual env : anaconda3 사용 pytorch 1.7.1사용 문제 발생 문제 원인 그래픽 카드와 쿠다 버전이 맞지 않는 경우 발생한다. 일단 RTX 3090은 CUDA 11.x 버전과 호환된다. 문제 해결 pc에는 미리 11.0과 10.2가 설치되어 있었음. 그래서 일단 .bashrc 파일을 열어서 cuda version을 수정 및 변경하였다. nano ~/.bashrc source ~/.bashrc nvcc -V 기존 사용중이던 가상환경은 pytorch외 여러 것들(cuda toolkit, torchvision... etc)이 깔려있어서 삭제하고 새 환경을 만들었다. 그리고 파이토치 사이트..

Anything 2021.01.19

파이썬 데이터분석 실무 테크닉 100 - 4장

4장 고객의 행동을 예측하는테크닉 10¶ 앞장에서 사전 분석한 스포츠 센터 회원의 행동 정보를 이용해서 머신러닝으로 예측을 한다. 회원의 행동은 이용 빈도 등에 따라 경향이 달라진다. 그래서 군집화 기법을 이용하여 회원을 그룹화할 수 있고, 각 그룹의 행동 패턴을 파악하여 예측의 정확도를 높이는 것이 가능해진다. 전제조건¶ 스포츠 센터의 데이터를 다룬다. 3장에서 이용 이력을 집계한결과에 고객 데이터를 결합한 customer_join.csv가 추가됐다. 여기서는 5개의 데이터 중에서 use_log.csv와 customer_join.csv만 사용한다. 데이터를 읽고 확인하기¶ In [14]: import pandas as pd uselog = pd.read_csv('./use_log.csv') uselog..

2020년 회고..

2020년 여러모로 다들 힘들었던 시기이면서도 누군가에게는 기회가 되었던 한 해 같다. 천천히 한 달, 한 달 되짚어가며 나의 2020년을 돌아보고자 한다. 1월 먼저, 취업을 하게 되었다. 대학원 졸업과 동시에 불안감 때문에 급하게 취업한 느낌이 없지않아 있지만, 현재 회사 워라밸이 굉장히 대단해서 현재까지 만족하며 다니고 있다. 아무튼 취업을 시작하면서 vision 관련 프로젝트들을 진행하면서 다양한 경험을 시작했다. 2월 2월부터 본격적으로 출근을 시작했기 때문에, 적응하느라 금방 시간이 흘렀다. 대학원에서도 썼던 연구노트를 다시 만나게 되어 참 좋았다(?)^^ 대학원을 다니면서 강화학습, 게임AI, CUDA, 딥러닝 공부를 위주로 했는데 회사에서는 주로 vision task를 풀다보니 GAN 같은..

Daily 2021.01.06

FLASK 4 - 웹 크롤링 구글검색결과 웹 페이지에 표시하기

웹 크롤링을 하기 전, 필요한 라이브러리에 대해 설명한다.requests파이썬에서 HTTP 요청을 보내는 모듈이다.BeautifulSoupHTML과 XML 문서를 파싱하기 위해 사용하는 파이썬 패키지페이지에 대한 구문 분석 트리를 제공한다. 위 두 가지 라이브러리를 사용하여 구글 검색 결과를 가져와보자.google_keyword.pyimport requests from bs4 import BeautifulSoup def get_search_count(keyword): url = "https://www.google.com/search?q={}".format(keyword) headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb..

Programming/Python 2020.12.21

BeautifulSoup lxml error.

크롤링 공부 중, 다음과 같은 에러를 마주침. soup = BeautifulSoup(res.text, 'lxml') File "C:\Users\didwu\anaconda3\envs\flask\lib\site-packages\bs4\__init__.py", line 243, in __init__ raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? lxml은 파이썬으로 XML, HTML 처리를 할 수 있는 라이브러리이다. 이것을 pip로 설치하면 해결된다. pip install lxml

Programming/Python 2020.12.18

파이썬 데이터 분석 실무 테크닉 100 - 3장

pd.to_datetime('20180401')] len(customer_start) Out[77]: 1361 최신 고객 집계¶ 가장 최근(2019년 3월) 고객 데이터 파악하기 In [78]: customer_join['end_date'] = pd.to_datetime(customer_join['end_date']) customer_newer = customer_join.loc[(customer_join["end_date"]>=pd.to_datetime('20190331'))|(customer_join['end_date'].isna())] len(customer_newer) Out[78]: 2953 In [79]: customer_newer['end_date'].unique() #검산 Out[79]: ..

FLASK 3 - get, post 분기 생성/클라이언트에서 서버로 데이터 전송

웹 페이지에서 로그인을 하는 경우와 같이 사용자가 어떠한 입력을 통해 서버에 데이터를 전송해야하는 경우가 있다.이 때 GET과 POST 방식으로 데이터를 받는다. 학부 때 통신 수업에서 배웠던 기억을 되살리면... GET은 데이터가 전부 오픈된다는것이고 POST는 GET보다는 보안측면에서 안전하다는것..? 정도 기억난다. (포스팅 후 찾아봐야지)접속 URL을 정하는 어노테이터의 파라미터인 methods에 사용할 방식을 지정해준다.app.py@app.route("/", methods=["GET", "POST"]) # 접속 urldef index(): if request.method == "POST": # 요청 방식이 POST라면, print(request.form.get("user")) # 안전하게 가져오..

Programming/Python 2020.12.17

FLASK 2 - static 폴더 생성, 서버에서 데이터 전송

보통 html 문서 작성을 할 때 css, javascript 파일도 함께 작성하는 것이 흔하다.위 파일들을 정적파일을 모아두는 폴더인 static에 저장해보자.CSS 스타일 적용을 위한 html 코드H1태그의 색상을 분홍색으로 지정하는 css 코드h1{ color : pink; }실행하면 다음과 같이 H1태그를 사용한 부분이 분홍색으로 표시된다.이번에는 서버에서 클라이언트 쪽으로 데이터를 전송해보자.app.py에서 render_template() 에 인수를 넣어 데이터를 전송할 수 있다.def index(): return render_template('index.html', user="양갱", data={'interest':'CV,deeplearning','MBTI':'ESTJ' ,'blog':'whe..

Programming/Python 2020.12.14

FLASK 1 - Flask 가상환경 생성, 패키지 설치 및 app.py

환경Windonws 10가상환경 생성 및 필요 패키지 설치conda create -n flask생성된 가상환경을 활성화한다.conda activate flaskpip3을 사용하여 가상환경 내에 필요한 패키지를 설치한다.pip3 install flaskapp.py 작성하기Flask에서 app.py는 서버가 가동될 파이썬 파일을 말한다.작성을 위해 visual studio code를 실행하고 프로젝트 폴더 아래에 app.py 파일을 생성한다. from flask import Flask, render_template app = Flask(__name__) @app.route('/') def index(): return render_template('index.html') if __name__=="__main_..

Programming/Python 2020.12.14

파이썬 데이터 분석 실무 테크닉 100 - 2장

대리점 데이터를 가공하는 테크닉 10¶ 대리점 매출 이력과 고객정보 데이터를 이용해서 데이터 분석과 예측을 하기 위해 중요한 기술인 '데이터 가공'을 배운다. 대리점 데이터는 쇼핑몰 사이트와 다르게 사람의 손을 타게 된다. 날짜 등의 입력 실수나 데이터 누락 등 '오류'가 많이 들어가 있다. 대리점 데이터 이외에도 엑셀로 직접 입력하는 데이터가 있는 경우, 데이터가 점점 지저분해져서 데이터 분석에 바로 활용 불가해진다. 전제조건¶ 해당 대리점에서는 A~Z, 총 26개의 상품을 취급한다. 매출 이력과 고객정보 데이터는 담당 사원이 직접 입력한다. 집계 기간에 상품 단가의 변동은 없었고 매출 이력은 시스템에서 CSV 파일로 출력한다. 고객 정보는 대리점에서 관리자가 주별로 집계해서 엑셀로 관리한다. uria..