양갱로그

> 포아송 분포 시행 횟수가 아주 많고, 사상 발생 확률이 아주 작을 때의 이항분포 공장에서 물건을 생산할 때 불량품의 수와 같이 시행 횟수는 많으나 적게 발생하는 사항의 확률 분포를 나타내는데 이용한다. e = 네이피어 상수, λ = 평균값(시행횟수 * 확률), x = 사상이 일어나는 횟수 평균값이 왜 시행횟수 * 확률일까는 이 블로그를 참고하자 이항분포의 기댓값은 시행횟수 * 확률이다. 포아송 분포의 람다값이 커지면, 즉 n 또는 p 값이 커지면 분산이 커지고, 분포곡선이 오른쪽으로 이동한다. 결과적으로는 정규분포에 가까워진다. > 카이제곱 분포 카이제곱 분포는 정규분포를 따르는 여러 데이터를 한 번에 취급하는 것이 가능하다. 이 때문에 분산분석에 이용할 수 있고 제곱하면 자유도에 따라 분포 형태가 ..

정규분포는 평균값을 중심으로 대칭을 이루는 종 모양의 분포 통계학에서 가장 중요한 분포라고 할 수 있다. 이항분포의 시행 횟수를 늘리면 분포가 정규분포에 가까워진다. > 표준정규분포 (standard normal distribution, z-distribution) 표준정규분포란 말그대로 표준화한 정규분포를 말한다. 표준화라는 것은 무엇일까? 표준화는 평균값을 0, 분산 1로 변환하는 것을 말한다. 표준화변량 식은 다음과 같다. μ는 평균, σ는 표준편차다. 편차는 데이터 값과 평균 값의 차이이다. 표준화하면 데이터가 표준정규분포의 어디에 위치하는지 알 수 있다. z의 값이 3σ 구간(99.7%) 밖에 있을 때, 잘 발생하지 않는 수이다. > 왜도 분포가 좌우대칭인지, 왼쪽 또는 오른쪽으로 치우쳐져있는지..

확률 공부를 할 때, 처음 접하는 예제는 주로 "동전 던지기" 일 것이다. 동전 던지기는 동전의 면이 '앞' 또는 '뒤'라는 사상을 가지고 있다. 이렇게 2가지 종류의 결과만 있는 시행을 베르누이 시행이라고 하고 배르누이 시행의 사상에 대한 분포를 베르누이 분포, 이항분포라고 한다. ex) 동전 던지기의 앞면 - 성공(x=1), 뒷면 - 실패(x=0)라고 표기 1회 시행으로 성공할 확률 P(x=1) = 1/2 = 0.5 1회 시행으로 실패할 확률 P(x=0) = 1-P(x=1) = 1-0.5 = 0.5 1회에 성공하고 2, 3회에 실패할 확률 P(x=1, x=0, x=0), P(x=1)*P(x=0)*P(x=0)=0.5*0.5*0.5 = 0.125 3회 시행으로 1회 성공하고 2회 실패할 확률 3회 시행으..

지난 번 용어 정리때 사상은 시행에 일어난 결과를 말한다고 했다. 균등분포 (=균일분포)는 각 사상이 일어나는 확률이 같은 분포이다. 균등분포는 이산형과 연속형 둘 다 있다. > 이산균등분포 주사위 눈을 던져서 각 눈이 나올 확률과 같이 나올 확률이 이산적인 값을 취하고 모든 결과가 나올 확률이 같은 경우, 균일분포를 따른다고 말한다. > 연속균등분포 연속균일분포는 확률변수가 연속적인 값을 취할 수 있고, 모두 같은 확률로 사상이 일어날 때 연속균등분포를 따른다고 할 수 있다. ex)

이제 확률에 대해 본격적으로 정리한다. 용어 정리가 잘 되어있지 않으면 나중에 구간추정 등에서 헷갈리는 문제가 생긴다. > 사상 (mapping) 실험과 같은 행위를 시행이라고 하는데, 이 시행에 의해 생긴 결과를 사상이라고 한다. 주사위 던지기 시행을 하면 '나온 눈'이 사상에 해당된다. > 확률 (probability) 어떤 사상이 어느 정도로 일어나기 쉬운지를 수치화한 것이다. 모든 사상에 대한 확률의 합은 1이다. 1 = 100% > 확률변수 (random variable) 시행했을 때 결과를 알 수 있는 변수를 확률 변수라고 한다. 확률 변수가 가질 수 있는 값이 1, 2, 3 이런식으로 값의 수가 유한한 것을 이산확률변수라고 한다. 만약 무한하게 연속적으로 가질 수 있는 값, 몸무게나 키 등이..

상관이란 두 변수가 있을 때, 한 쪽이 증가하면 다른 쪽도 증가하거나 한 쪽이 증가하면 다른 쪽은 감소한다와 같은 직선적인 관계를 말한다. > 피어슨 적률상관계수 피어슨 상관계수는 들어봤는데 '적률'은 뭔지 모르겠다. 찾아보니 적률 = moment 라고 하고 함수의 모양을 표현하는 하나의 척도이다. 통계학에서는 1차 적률 = 평균, 2차 적률 = 분산, 3차 적률 = 왜도, 4차 적률 = 첨도 적률은 수학에서 정의되었고 이 개념을 통계학, 물리학에서도 사용한다. 피어슨 상관계수는 -1에서 1 사이의 값을 취한다. 상관계수 계산식 ex) 소비자들의 사과 구입량(x)과 귤 구입량(y)의 상관 소비자 사과 구입량(x) 귤 구입량(y) x-x의 평균 y-y의 평균 1 1 2 -2.5 -0.5 2 2 1 -1.5..

평균 값만으로는 데이터가 어떻게 흩어져 있는지 알 수 없다. 따라서 최댓값(max), 최솟값(min), 분위수(Quantile), 사분위범위(interquartile range, IQR), 분산(Variance) 등을 사용하여 데이터의 흩어진 정도를 파악한다. > 분위수(Quantile) n개의 데이터를 오름차순(작은 수부터 큰 수 순)으로 늘어놓고, 그것을 k등분하여 그 경계가 된 수치를 분위수라고 한다. k=4인 사분위수가 가장 많이 사용된다. 제2사분위수는 전체 데이터의 중앙에 위치하기 때문에 중앙값(median)이라고도 한다. ex) X = {2,2,5,3,4,7,6,1,5,3,8,9} 정렬한 X = {1, 2, 2, 3, 3, 4, 5, 5, 6, 7, 8, 9} k=4, [1, 2, 2] | ..

여러가지 평균 > 산술 평균 우리가 흔히 알고있는 평균 계산이 산술 평균이다. ex ) 5개월(1월~ 5월) 간 평균 전기요금 1월 5300 2월 6800 3월 4000 4월 4100 5월 4300 ( 5300 + 6800 + 4000 + 4100 + 4300 ) / 5 = 4900 > 기하평균 연속적인 변화율 값들의 평균 변화율을 구할 때 사용하는 평균이 기하평균이다. 쉽게 생각하면 산술평균은 '합의 평균', 기하평균은 '곱의 평균'이다. ex) 1월~4월 매출 평균 성장률 구하기 1월 1000 성장률 2월 2300 230% 3월 1800 78.3% 4월 2900 161.1% (2.30*0.783*1.611)^(1/3) = 1.426 -> 42.6% 1000 -> 1426 -> 2034 -> 2900 ..

> 통계학이란? 데이터를 통계량이나 그림/표로 정리하여 특징을 파악하는 학문 > 통계학의 종류 * 기술통계학 - 수집된 데이터의 특징을 파악 * 추측통계학 - 모집단의 특징을 표본으로부터 파악 * 베이즈통계학 - 마케팅 등에서 주목받고 있는 통계학 > 구체적 사례 * 기술통계학 - 데이터의 특징과 경향을 파악, 많은 양의 데이터를 대상으로 한 통계학 ex) 평균과 분산, 상관계수, 표준화 변량, 빅데이터 * 추측통계학 - 표본의 정보를 사용해 모집단의 특성을 추출함(샘플로부터 전체 특성을 추측하는 것) ex) 포아송 분포, 신뢰구간의 추정, 두 집단의 평균 차이 검정, 분산분석, 다중비교법, 비모수 통계 * 실험계획법 - 실험을 성공시키기 위한 방법 ex) 피셔의 3원칙, 직교계획법, 검출력 분석 * 중..

DataFrame 붙이는 방법들 pd.concat pandas.concat(objs, axis=0, join='outer', ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=False, copy=True) obj : df/series, 데이터프레임 또는 시리즈 axis : int, 0 - 인덱스, 1 - 컬럼 join : str, inner 또는 outer ignore_index : Bool, 인덱스 새로 부여 keys : list, multiindex 만드는 경우, integer index말고 keys에 지정해줄 수 있음 names : list, multiindex의 각 인덱스 이름 columns :..