Maxima's Lab

안녕하세요, 오늘은 Distributed Data Parallel (DDP) 사용하는 방법에 대해서 알아보겠습니다. Distributed Data Parallel (DDP)는 PyTorch에서 멀티 GPU 학습을 효율적으로 처리하는 병렬 학습 프레임워크입니다. 각 GPU가 자신의 모델 복사본을 가지고 데이터를 나누어 학습하므로써, Backward 시에만 Gradient를 서로 통신하여 동기화합니다. 다음은, DPP를 활용하는 코드 예시 입니다. import osimport torchimport torch.nn as nnimport torch.optim as optimimport torch.distributed as distfrom torch.nn.parallel import DistributedDataP..

안녕하세요, 오늘은 Label Smoothing의 개념에 대해서 알아보고 알아보겠습니다. Label Smoothing (라벨 스무딩)이란, 딥러닝 분류 모델을 학습 시 사용하는 정규화 기법이며, 모델 학습 시 과확신을 방지하기 위해 사용합니다. 이를 위해 다음과 같이 One-Hot Encoding Labeling을 조정하게 됩니다. (Ex) : [1, 0, 0, 0, 0] ==> [0.8, 0.05, 0.05, 0.05, 0.05] 위와 같이 적용하기 위해서는 Categorical Crossentropy 함수를 수정해야 합니다. def label_smoothing_loss(y_true, y_pred, label_smoothing=0.1): num_classes = tf.cast(tf.shape(y_tru..

안녕하세요, 오늘은 딥러닝에서 Normalization (정규화)에 대해서 알아보겠습니다. 딥러닝에서 Normalization은 입력 데이터를 조정하여 모델의 학습 성능을 개선하는 방법 중 하나입니다. 여러 종류의 Normalization 기법이 있으며, 가정 널리 사용되는 종류들은 다음과 같습니다. Batch Normalization (BN) : 각 미니배치의 입력 데이터를 정규화하여 평균과 분산을 조정하는 방법입니다. 이를 통해 학습 도중 발생하는 Internal Covariate Shift를 줄일 수 있으며, 더욱 안정적인 학습이 가능해집니다. Layer Normalization (LN) : BN과 유사하지만, 전체 미니배치 대신 레이어 내에서 평균과 분산을 계산하여 정구화하는 방법입니다. BN에 ..

안녕하세요, 오늘은 Aggregated Residual Transformations for Deep Neural Networks (https://arxiv.org/pdf/1611.05431.pdf) 위 논문에 대해서 리뷰를 해보고 해당 모델에 대해서 구현해보도록 하겠습니다. RexNeXt는 ResNet의 성능을 개선하기 위해 ResNet과는 다른 방식으로 모델을 구성하였습니다. 이를 위해 ResNet에서 사용된 residual block을 확장하여, 여러 개의 경로를 사용하는 모델 아키텍처인 ResNeXt를 제안하였습니다. RexNeXt의 핵심 아이디어는 Cardinality 입니다. Carninality는 ResNeXt에서 레이어 마다 입력 데이터를 여러 개의 경로로 보내는 개념을 나타냅니다. 예를 들..

안녕하세요, 오늘은 Attention U-Net: Learning Where to Look for the Pancreas (https://arxiv.org/pdf/1804.03999.pdf) 위 논문에 대해서 리뷰를 해보도록 하겠습니다. 먼저 Attention U-Net의 전체 구조는 다음과 같습니다. Attention U-Net 모델은 U-Net 아키텍처를 기반으로 하면서, Decoder에서 Attention 메커니즘을 사용하여 성능을 향상시킨 딥러닝 모델입니다. U-Net 모델은 Encoder와 Decoder로 구성되어 있으며, 인코더에서는 이미지를 축소해가며 특성을 추출하고, Decoder에서는 이러한 특성을 기반으로 이미지를 확대하여 Segmentation Mask를 생성합니다. Attention..

안녕하세요, 오늘은 "Free-Form Image Inpainting with Gated Convolution" (https://arxiv.org/pdf/1806.03589.pdf) 위 논문에 대해서 리뷰를 해보도록 하겠습니다. 해당 논문은 이전의 Inpainting 기술에서 보완해야 할 몇가지 문제점을 해결하기 위해 Gated Convolution Neural Network를 사용합니다. 논문에 대한 전반적인 내용들은 다음과 같습니다. 기존의 Inpainting 기술의 문제점 분석 및 Gated Convolution Neural Network의 개념과 작동 방식을 소개하며, Free-From Image Inpainting 모델의 구조와 학습 방법에 대해 상세히 설명합니다. 해당 모델은 Input Ima..

안녕하세요, 오늘은 "U-Net: Convolutional Networks for Biomedical Image Segmentation" 위 논문에 대해서 리뷰를 해보도록 하겠습니다. 먼저 U-Net의 전체 구조에 대해서 살펴보겠습니다. 위의 U-Net의 구조를 보시면 전체적으로 왼쪽, 오른쪽 부분을 나눠서 생각할 수 있습니다. Left side : Convolution(3x3, ReLU), Max Pooling(Downsampling), Crop Right side : Convolution(3x3, ReLU), Convolution(1x1, ReLU), Upsampling, Copy 왼쪽과 오른쪽 부분 모두 Convolution(ReLU)가 동일하게 사용된다는 공통점이 있지만, 왼쪽은 Max Pooli..

안녕하세요, 오늘은 "SegNet : A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation" 위 논문에 대해서 리뷰를 해보도록 하겠습니다. SegNet은 Segmentic Pixel-wise Segmentation을 위한 모델이며, Encoder와 Decoder의 형태로 구성되어 있습니다. 모델의 전체 구조는 다음 그림과 같습니다. 위의 SegNet 아키텍처 내 좌측 Layer 구성이 Encoder, 우측 Layer 구성이 Decoder 입니다. 먼저, Encoder에 대한 내용입니다. [Encoder, 인코더] 위상적으로 VGG16의 Convolutional Layer와 동일하며, Fully Connected Layer 포함 ..