양갱로그

3. 스파크 기능 둘러보기 앞 장에서 트랜스포메이션과 액션 등 스파크의 구조적 API와 관련된 핵심 개념을 배웠다. 스파크 구성 저수준 API 구조적 API 표준 라이브러리 스파크의 라이브러리는 그래프 분석, 머신러닝, 스트리밍 등 다양한 작업을 지원한다. 컴퓨팅 및 저장 시스템과의 통합을 돕는 것도 스파크의 역할이다. 3장에서 배울 내용 spark-submit 으로 운영용 애플리케이션 실행 Dataset : Type-safe를 제공하는 구조적 API 구조적 스트리밍 머신러닝과 고급 분석 RDD : 저수준 API SparkR 서드파트 패키지 에코시스템 3.1 운영용 애플리케이션 실행하기 spark-submit명령을 사용해 대화형 쉘에서 개발한 프로그램은 운영용 애플리케이션으로 쉽게 전환할 수 있다. sp..

xampp 이미지 다운받고 컨테이너 열어주기xampp는 apache, mariaDB, php가 설치되어 있다.127.0.01:80으로 접속해보면 Welcome to XAMPP 페이지가 뜬다. docker run --name WP -p 80:80 -d tomsik68/xampp 2. wordpress 다운받기https://ko.wordpress.org/download/#download-install 압축을 풀어준다. bash 권한 바꾸고 기존 파일 정리를 위해 backup 폴더에 넣어두기 ``` docker exec -it WP bash bash> chown daemon. /opt/lampp/htdocs bash> cd /opt/lampp/htdocs/ bash> ls # applications.html ..

스파크 설치할 os 설치 - 우분투로 선택docker search ubunut docker pull ubuntu docker run -itd --name spark ubuntu docker exec -itu 0 spark /bin/bashubuntu 컨테이너 생성 실행bash에서 python 설치 전 필요한 라이브러리 다운로드sudo apt-get install build-essential checkinstall sudo apt-get install libreadline-gplv2-dev libncursesw5-dev libssl-dev \ libsqlite3-dev tk-dev libgdbm-dev libc6-dev libbz2-dev libffi-dev zlib1g-dev파이썬 다운로드 및 압축풀기 ..

Chapter 1. 아파치 스파크란?통합 컴퓨팅 엔진클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합병렬 처리 오픈소스 엔진Python, JAVA, Scala, R 지원 및 SQL, Streaming, ML 등 다양한 라이브러리 제공1.1 아파치 스파크의 철학통합스파크의 목표는 '빅데이터 애플리케이션 개발에 필요한 통합 플랫폼을 제공하자'이다.통합(unified)은 무슨 의미일까?스파크는 간단한 데이터 읽기부터 SQL, 머신러닝, 스트림 처리까지 다양한 데이터 분석 작업을 일관성 있는 API로 수행할 수 있도록 설계되어 있다.스파크의 통합 특성을 이용하면 기존의 데이터 분석 작업을 더 쉽고 효율적으로 수행할 수 있다.스파크에서 제공하는 조합형 API를 사용해 애플리케이션을 만들 수 있고, 만약 ..

도커 빌드 python을 사용해 도커를 빌드할 프로그램을 준비한다. import socket with socket.socket() as s: s.bind(("0.0.0.0", 12345)) s.listen() print("server is started") conn, addr = s.accept() with conn: print("Connected by", addr) while True: data = conn.recv(1024) if not data: break conn.sendall(data) 파이썬 코드를 빌드하고 터미널에서 접속해보자 nc 127.0.0.1 12345 도커파일 생성 별도의 디렉토리 생성해서 dockerfile과 위에서 생성한 python파일을 새 디렉토리에 배치한다. mkdir my..

지난 시간에 이어.. 이번에는 다양한 이미지를 다운로드받고 컨테이너를 사용해보자. 환경 변수 사용해서 데이터 전달하기 nginx 이미지 다운로드 및 컨테이너 실행이 된다. docker run -d --name nx -e env_name=test1234 nginx -e 변수명=값 을 통해 환경변수를 설정한다. nx bash를 실행한다. docker exec -it nx bash 환경변수 확인하기 printenv [특정변수이름] MySQL 이미지 다운로드받기 https://hub.docker.com/_/mysql docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 보안 상 컨테이너에서 바꿔줘야하는 것들이 있다. 그것들을 ..

참고 영상은 글 맨 아래 확인해주세요! (왜 맨위에 안달아지지..) ----------------------------- Docker 필요한 이유 개발팀과 운영팀이 적대적이어선 안된다. 새로운 기술, 새로운 언어를 도입하고 싶은 개발팀 안정적인 서비스를 추구하는 운영팀 개발팀이 개발한 프로그램을 가상환경을 통해 운영팀에게 전달하게 된다면 운영팀도 쉽게 개발팀의 개발 서비스를 확인할 수 있지않을까? 기존 vmware나 virtual box같은 가상환경 프로그램은 기존 os에 hypervisor를 통해 hw를 구현하고 그 위에 os를 다시 설치하는 굉장히 큰 부하의 구조를 사용하게 된다. hw와 os를 굳이 만들지 않고도 애플리케이션을 돌릴 수 있는 방법이 없을까? 그게 바로 컨테이너의 역할이다. VM의 경..

도커 설치 환경 : windonws 10 docekr exec -itu 0 [container id|name] /bin/bash 컨테이너에 있는 파일을 bash 실행해서 수정하려면 nano, vim 등 에디터가 필요한데 bash를 실행하면 기본적으로 nano, vim 등 에디터가 없기때문에 설치가 필요하다. 그냥 apt-get install하면 Permission denied가 발생한다. 권한 문제가 없게끔 실행하려면 -itu 0을 붙여서 bash를 실행해주면 된다. update하고 나노를 설치하는 명령어를 입력해주면 정상적으로 실행되는 것을 확인할 수 있다. apt-get update apt-get install nano

회사 서버컴(ubuntu 18.04 LTS)을 사용하려고 vscode에서 ssh 연결을 시도했는데 아래 사진처럼 password 입력을 무한히 반복하는 문제가 있었다(원래 잘됐는데 왜이래ㅜ) 문제를 찾아보니 VS Code Server 문제였다. 서버로 가서 vscode-server를 삭제함 sudo rm -rf ~/.vscode-server 삭제 후 내 PC로 와서 다시 vscode를 실행한 뒤 ssh 연결을 시도했다. 그러면 아래 알림창으로 한 10분?정도 Setting up SSH Host [호스트명]:(details)Download VS Code Server 이런식으로 뜨면서 서버에서 삭제했떤 vscode-server를 다시 다운로드한다. 완료되면 정상적으로 연결되는것을 확인했다.

Introduction예제를 통해 DCGAN을 알아보는 튜토리얼을 진행한다. 실제 유명인들의 사진을 통해서 새로운 사람을 생성하는 Generative Adversarial Network(GAN)을 학습시킨다. DCGAN의 구현은 https://github.com/pytorch/examples 을 참고한다.Generative Adversarial NetworksWhat is GAN?GANs는 학습 데이터셋의 분포를 통해 새로운 데이터의 분포를 학습 데이터 분포와 똑같이 만들어내는 것이다. generator와 discriminator라는 두개의 명확한 모델을 만들어낸다.generator는 학습 이미지와 비슷한 "fake" 이미지를 만들어낸다.discriminator는 generator가 생성한 fake im..