양갱로그

CUDA nvidia-smi Mismatch error nvidia-smi 명령어 사용 시 nvidia-smi failed to initialize nvml: driver/library version mismatch 에러 발생 예상 원인 ubuntu에서 자동 update 적용 시, cuda version mismatch 문제가 발생 solution lsmod | grep nvidia 로 nvidia 관련 사용 드라이버 리스트를 확인 nvidia driver unload한다. ex )sudo rmmod nvidia_drm rmmod: ERROR: Module nvidia is in use 에러 발생 하는 경우, sudo lsof /dev/nvidia*로 nvidia 관련 프로세스 확인해서 kill 한다. ..

No Space left on device error 간혹 리눅스 사용 시, 터미널에서 탭이 동작을 하지 않는다거나 딥러닝 학습 시 No Space left on device 에러가 발생한다. 발생 원인 하드 용량 부족 solution sudo du -sh *로 현재 디렉토리 내 파일 및 폴더의 용량을 확인한다. 큰 용량을 차지하는 폴더로 들어가 1번을 반복 수행하여 필요없거나 오래된 파일 또는 폴더를 정리한다.

Normalization/Standardization/Regularization Data preprocessing을 위해 Normalization, Standardization과 같은 방법을 사용한다. model의 weight가 overfitting하는 것을 막기 위해 Regularization을 사용한다. Normalization original data distribution을 (0, 0)으로 shift 한 후, 분포의 범위를 [0,1]로 rescale 하는 방법 $$ \frac{X-\min(X)}{\max(X)-\min(X)} \ or \ \frac{X-\mu}{\sigma} \ \text{2번째는 standardization이기도 함.} $$ 사용하는 이유 Local minimum에 빠질 가능성을..

Learning Rate cost function(loss function)의 global minimum을 찾기 위해서 Gradient descent를 사용한다. $$ \mathbf{W} := \mathbf{W} - \alpha \frac{\partial}{{\partial}\mathbf{W}}loss(\mathbf{W}) $$ 위 gradient descent에서 곱해지는 $\alpha$ 값이 learning rate이다. learning rate가 큰 경우 Overshooting 발생 learning rate가 작은 경우 training 속도가 너무 느림 보통 learning rate는 0.01로 설정 후 학습해보고 학습 결과가 발산하면 값을 줄이고, 학습 시간이 너무 오래걸리면 큰 값으로 설정한다.