Maxima's Lab

안녕하세요, 오늘은 Distributed Data Parallel (DDP) 사용하는 방법에 대해서 알아보겠습니다. Distributed Data Parallel (DDP)는 PyTorch에서 멀티 GPU 학습을 효율적으로 처리하는 병렬 학습 프레임워크입니다. 각 GPU가 자신의 모델 복사본을 가지고 데이터를 나누어 학습하므로써, Backward 시에만 Gradient를 서로 통신하여 동기화합니다. 다음은, DPP를 활용하는 코드 예시 입니다. import osimport torchimport torch.nn as nnimport torch.optim as optimimport torch.distributed as distfrom torch.nn.parallel import DistributedDataP..

안녕하세요, 오늘은 YAML 파일 작성 및 사용 하는 방법에 대해서 알아보겠습니다. YAML 파일을 작성 후 Python에서 사용하기 위해서는 다음 패키지를 설치합니다. pip install pyyaml 패키지 설치 후 다음과 같이 config.yaml 파일을 작성하는 예시를 살펴 보겠습니다. YAML 파일을 작성하는 주요 데이터 형식은 다음과 같습니다. 문자열 (String)정수 (Integer)부동 소수점 (Float)BooleanNull 값Collection (리스트, 딕셔너리)복합 자료형먼저, 문자열 (String) 예시에 대해서 알아보겠습니다. string: "Hello, World!"single_quoted_string: 'Hello, World!'unquoted_string: HelloWor..

안녕하세요, 오늘은 Cryptography 라이브러리에서 hazmat 모듈을 사용하는 방법에 대해서 알아보겠습니다. hazmat 모듈을 사용하는 예시는 다음과 같습니다. from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modesfrom cryptography.hazmat.primitives import paddingfrom cryptography.hazmat.backends import default_backendfrom cryptography.hazmat.primitives import hashesfrom cryptography.hazmat.primitives.kdf.pbkdf2 import PBKDF2HMACimport o..

안녕하세요, 오늘은 Windows 운영체제에서 .bat 파일을 활용하여 파이썬에서 공유 폴더 설정 및 해제 하는 방법에 대해서 알아보겠습니다. 공유 폴더 설정 및 해제를 위해 유의해야할 부분은 "관리자 권한"으로 실행해야한다는 부분입니다. 관리자 권한으로 실행하기 위해서 다음과 같이 .bat 파일을 구성해야 합니다. @echo off>nul 2>&1 "%SYSTEMROOT%\system32\cacls.exe" "%SYSTEMROOT%\system32\config\system"if '%errorlevel%' NEQ '0' ( echo Requesting administrative privileges... goto UACPrompt) else ( goto gotAdmin ):UACPromptech..

안녕하새요, 오늘은 Ubuntu 운영 체제에서 Samba 서비스를 사용하여 공유 폴더를 설정하고 해제하는 방법에 대해서 알아보겠습니다. 먼저, samba 패키지를 설치합니다. sudo apt-get updatesudo apt-get install samba 위의 명령어를 통해 samba 패키지를 설치 후 서비스 상태 확인을 다음 명령어를 통해 확인합니다. sudo systemctl status smbd 서비스 상태가 정상적인 것을 확인 후 다음 명령어를 통해 시스템 사용자 추가 후 Samba 사용자로 추가합니다. sudo adduser 사용자이름sudo smbpasswd -a 사용자이름 위의 명령어 실행 후 사용자의 Samba 비밀번호를 입력가능합니다. 또한, 외부에서 Samba 서비스에 접근하기 위해서..

안녕하세요, 오늘은 파이썬으로 한글 Text를 Encoding 및 Decoding 하는 방법에 대해서 알아보겠습니다. 한글 Text에 대해서 Encoding을 하기 위해서는 각 문자를 초성, 중성, 종성으로 구분해서 Encoding을 진행해야합니다. 먼저, 초성, 중성, 종성이 될 수 있는 자음과 모음들에 대해서 알아보겠습니다. def generate_hangul_jamos(): # 초성 choseong = [chr(code) for code in range(0x1100, 0x1113)] # 중성 (모음) jungseong = [chr(code) for code in range(0x1161, 0x1176)] # 중성 jongseong = [chr(code) for code in range(0x11A8, ..

안녕하세요, 오늘은 Tensorflow 2에서 대용량 데이터를 학습하는 방법에 대해서 알아보겠습니다. 먼저, MNIST 데이터 셋(28, 28)을 Resize(512, 512) 해서 정해진 경로에 저장하는 코드는 다음과 같습니다. import tensorflow as tf from PIL import Image import os import cv2 # MNIST 데이터셋 로드 mnist = tf.keras.datasets.mnist (train_images, train_labels), (test_images, test_labels) = mnist.load_data() # 디렉토리 생성 os.makedirs('/mnist_png', exist_ok=True) # (28, 28) => (512, 512) R..

안녕하세요, 오늘은 CuPy 라이브러리에 대해서 설명하겠습니다. CuPy는 NumPy와 호환되며, NIVIDIA CUDA GPU에서 실행되는 라이브러리입니다. 이는 NumPy API의 GPU 가속 버전을 제공하여 대규모 수학 연산을 빠르게 수행하며 높은 수준의 병렬 처리를 수행합니다. 아래는 NumPy를 사용한 CPU 버전, 그리고 CuPy를 사용한 GPU 버전에 대한 파이썬 코드입니다. import numpy as np import time # 2개의 행렬 초기화 a_cpu = np.random.rand(2000, 2000).astype(np.float32) b_cpu = np.random.rand(2000, 2000).astype(np.float32) for _ in range(0, 10): # CP..