Maxima's Lab

안녕하세요, 오늘은 선형대수학 내 고윳값과 고유벡터 그리고 PCA (주성분 분석)에 대해서 알아보고 해당 개념들을 파이썬을 통해 예제로 알아보겠습니다. Principal Component Analysis (PCA, 주성분 분석)은 고차원 데이터를 저차원 데이터로 줄임과 동시에 데이터의 주요 특성을 최대한 보존하는 방법을 의미한다. 이는, 데이터의 분산이 가장 큰 방향으로 데이터를 재 표현하는 방법이며, 해당 방향을 주성분이다.이미지, 텍스트 등과 같은 데이터들은 다수의 특징(Feature)를 가지기 때문에 PCA를 통해 데이터 압축, 노이즈 제거, 시각화 등에 사용된다. 다음은 Logit 데이터를 PCA를 적용하는 파이썬 예시 이다. import numpy as npimport matplotlib.pyp..

안녕하세요, 오늘은 Distributed Data Parallel (DDP) 사용하는 방법에 대해서 알아보겠습니다. Distributed Data Parallel (DDP)는 PyTorch에서 멀티 GPU 학습을 효율적으로 처리하는 병렬 학습 프레임워크입니다. 각 GPU가 자신의 모델 복사본을 가지고 데이터를 나누어 학습하므로써, Backward 시에만 Gradient를 서로 통신하여 동기화합니다. 다음은, DPP를 활용하는 코드 예시 입니다. import osimport torchimport torch.nn as nnimport torch.optim as optimimport torch.distributed as distfrom torch.nn.parallel import DistributedDataP..