Maxima's Lab

안녕하세요, 오늘은 Distributed Data Parallel (DDP) 사용하는 방법에 대해서 알아보겠습니다. Distributed Data Parallel (DDP)는 PyTorch에서 멀티 GPU 학습을 효율적으로 처리하는 병렬 학습 프레임워크입니다. 각 GPU가 자신의 모델 복사본을 가지고 데이터를 나누어 학습하므로써, Backward 시에만 Gradient를 서로 통신하여 동기화합니다. 다음은, DPP를 활용하는 코드 예시 입니다. import osimport torchimport torch.nn as nnimport torch.optim as optimimport torch.distributed as distfrom torch.nn.parallel import DistributedDataP..

안녕하세요, 오늘은 Anomaly Detection의 개념에 대해 알아보고 Pytorch 프레임워크를 활용해서 코드를 구현해보는 방법에 대해서 알아보도록 하겠습니다. Anomaly Detection : 이상 감지는 이미지 또는 일련의 이미지 내에서 비정상적이거나 비정상적인 패턴, 개체 또는 이벤트를 식별하느 프로세스를 의미합니다. 이어서, Anomaly Detection Task에서 Reconstruction Loss Functions으로 자주 사용하는 Loss Functions에 대해서 알아보도록 하겠습니다. Mean Squared Error (MSE) : 예측 값과 실제 값 사이의 제곱 차이의 평균을 측정하는 손실 함수 입니다. 이는 재구성된 이미지와 원본 이미지의 차이를 계산하기 위해 자주 사용됩니..

안녕하세요, 오늘은 딥러닝에서 Normalization (정규화)에 대해서 알아보겠습니다. 딥러닝에서 Normalization은 입력 데이터를 조정하여 모델의 학습 성능을 개선하는 방법 중 하나입니다. 여러 종류의 Normalization 기법이 있으며, 가정 널리 사용되는 종류들은 다음과 같습니다. Batch Normalization (BN) : 각 미니배치의 입력 데이터를 정규화하여 평균과 분산을 조정하는 방법입니다. 이를 통해 학습 도중 발생하는 Internal Covariate Shift를 줄일 수 있으며, 더욱 안정적인 학습이 가능해집니다. Layer Normalization (LN) : BN과 유사하지만, 전체 미니배치 대신 레이어 내에서 평균과 분산을 계산하여 정구화하는 방법입니다. BN에 ..

안녕하세요, 오늘은 Aggregated Residual Transformations for Deep Neural Networks (https://arxiv.org/pdf/1611.05431.pdf) 위 논문에 대해서 리뷰를 해보고 해당 모델에 대해서 구현해보도록 하겠습니다. RexNeXt는 ResNet의 성능을 개선하기 위해 ResNet과는 다른 방식으로 모델을 구성하였습니다. 이를 위해 ResNet에서 사용된 residual block을 확장하여, 여러 개의 경로를 사용하는 모델 아키텍처인 ResNeXt를 제안하였습니다. RexNeXt의 핵심 아이디어는 Cardinality 입니다. Carninality는 ResNeXt에서 레이어 마다 입력 데이터를 여러 개의 경로로 보내는 개념을 나타냅니다. 예를 들..

안녕하세요, 오늘은 Attention U-Net: Learning Where to Look for the Pancreas (https://arxiv.org/pdf/1804.03999.pdf) 위 논문에 대해서 리뷰를 해보도록 하겠습니다. 먼저 Attention U-Net의 전체 구조는 다음과 같습니다. Attention U-Net 모델은 U-Net 아키텍처를 기반으로 하면서, Decoder에서 Attention 메커니즘을 사용하여 성능을 향상시킨 딥러닝 모델입니다. U-Net 모델은 Encoder와 Decoder로 구성되어 있으며, 인코더에서는 이미지를 축소해가며 특성을 추출하고, Decoder에서는 이러한 특성을 기반으로 이미지를 확대하여 Segmentation Mask를 생성합니다. Attention..

안녕하세요, 오늘은 Pytorch 내 torchvision.transforms에 대해 알아보도록 하겠습니다. transforms 내 알아볼 내용들은 다음과 같습니다. CenterCrop RandomCrop Resize RandomVerticalFlip & RandomHorizontalFlip 아래의 Original Image에 대해 적용해보도록 하겠습니다. 위의 이미지는 (256, 256, 3) Shape을 지니고 있는 이미지입니다. 먼저, (200, 200, 3) Shape로 Center Crop을 적용해보겠습니다. import torch import torchvision.transforms as transforms transforms = transforms.Compose( [transforms.ToT..

안녕하세요, 오늘은 Pytorch 내 Tensor와 Cuda 사용법에 대해서 알아보도록 하겠습니다. Tensor 및 Cuda 사용법에 대한 내용은 다음과 같습니다. torch.tensor() torch.as_tensor() size() dtype device unsqueeze() & squeeze() permute() & transpose() 다음은 Tensor와 Cuda를 사용하기 전 Cuda와 관련된 상태를 알아보는 코드입니다. import torch print(torch.cuda.is_available()) print(torch.cuda.current_device()) print(torch.cuda.device_count()) print(torch.cuda.get_device_name(0)) 위의 ..

안녕하세요, 오늘은 Pytorch 내 TensorDataset과 DataLoader에 대해 알아보도록 하겠습니다. 코드를 구현하기 위한 과정은 다음과 같습니다. 임의의 numpy.narray 타입의 데이터 셋 생성(train_x, train_y) numpy.narray 타입의 데이터 셋을 torch.Tensor 타입으로 변환 TensorDataset을 이용하여 데이터 셋 구성 DataLoader를 이용하여 Batch로 구성 위의 과정에 대해 전체 코드는 다음과 같습니다. import torch from torch.utils.data import TensorDataset, DataLoader import numpy as np train_x = np.random.randint(0, 256, (64, 3, 2..