Maxima's Lab

안녕하세요, 오늘은 선형대수학 내 고윳값과 고유벡터 그리고 PCA (주성분 분석)에 대해서 알아보고 해당 개념들을 파이썬을 통해 예제로 알아보겠습니다. Principal Component Analysis (PCA, 주성분 분석)은 고차원 데이터를 저차원 데이터로 줄임과 동시에 데이터의 주요 특성을 최대한 보존하는 방법을 의미한다. 이는, 데이터의 분산이 가장 큰 방향으로 데이터를 재 표현하는 방법이며, 해당 방향을 주성분이다.이미지, 텍스트 등과 같은 데이터들은 다수의 특징(Feature)를 가지기 때문에 PCA를 통해 데이터 압축, 노이즈 제거, 시각화 등에 사용된다. 다음은 Logit 데이터를 PCA를 적용하는 파이썬 예시 이다. import numpy as npimport matplotlib.pyp..

안녕하세요, 오늘은 Distributed Data Parallel (DDP) 사용하는 방법에 대해서 알아보겠습니다. Distributed Data Parallel (DDP)는 PyTorch에서 멀티 GPU 학습을 효율적으로 처리하는 병렬 학습 프레임워크입니다. 각 GPU가 자신의 모델 복사본을 가지고 데이터를 나누어 학습하므로써, Backward 시에만 Gradient를 서로 통신하여 동기화합니다. 다음은, DPP를 활용하는 코드 예시 입니다. import osimport torchimport torch.nn as nnimport torch.optim as optimimport torch.distributed as distfrom torch.nn.parallel import DistributedDataP..

안녕하세요, 오늘은 Tensorflow 프레임워크에서 Classification 모델을 .onnx 파일과 .trt 파일로 변환하고 해당 파일을 활용하여 Inference 하는 방법에 대해서 알아보겠습니다. 이를 위해 TEST를 진행한 패키지 버전 및 환경은 다음과 같습니다. - OS : Ubuntu 22.04- CUDA : 11.8- GPU : NVIDIA GeForce RTX 4070 Laptop GPU- Python : 3.10.12- tensorflow : 2.14.0- tf2onnx : 1.16.1- onnxruntime-gpu : 1.18.1- nvidia-tensorrt : 8.4.3.1- pycuda : 2024.1 먼저, tensorflow 2 모델을 onnx 파일로 변환하는 코드에 대해서..

안녕하세요, 오늘은 YAML 파일 작성 및 사용 하는 방법에 대해서 알아보겠습니다. YAML 파일을 작성 후 Python에서 사용하기 위해서는 다음 패키지를 설치합니다. pip install pyyaml 패키지 설치 후 다음과 같이 config.yaml 파일을 작성하는 예시를 살펴 보겠습니다. YAML 파일을 작성하는 주요 데이터 형식은 다음과 같습니다. 문자열 (String)정수 (Integer)부동 소수점 (Float)BooleanNull 값Collection (리스트, 딕셔너리)복합 자료형먼저, 문자열 (String) 예시에 대해서 알아보겠습니다. string: "Hello, World!"single_quoted_string: 'Hello, World!'unquoted_string: HelloWor..

안녕하세요, 오늘은 Cryptography 라이브러리에서 hazmat 모듈을 사용하는 방법에 대해서 알아보겠습니다. hazmat 모듈을 사용하는 예시는 다음과 같습니다. from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modesfrom cryptography.hazmat.primitives import paddingfrom cryptography.hazmat.backends import default_backendfrom cryptography.hazmat.primitives import hashesfrom cryptography.hazmat.primitives.kdf.pbkdf2 import PBKDF2HMACimport o..

안녕하세요, 오늘은 Node Selector 개념에 대해서 알아보고 예제 코드를 적용해보겠습니다. https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector Assigning Pods to NodesYou can constrain a Pod so that it is restricted to run on particular node(s), or to prefer to run on particular nodes. There are several ways to do this and the recommended approaches all use label selectors to facilitate the selecti..

안녕하세요, 오늘은 Pod Scheduling을 하는 방법 중에 하나인 Taints와 Tolerations 개념과 예제 코드에 대해서 알아보겠습니다. Taints와 Tolerations는 노드에 특정 Pod가 스케줄링되는 것을 제어하기 위한 메커니즘이며, 특정 노드에 특정 Pod가 배치되지 않도록 하거나, 특정 Pod가 특정 노드에서만 실행되도록 할 때 사용됩니다. Taints와 Tolerations는 함께 작동하여 노드의 리소스를 보다 효율적으로 사용하고, 특정 요구 사항을 가진 Pod의 배치를 제어하는 개념입니다. Taints 개념을 적용하기 위한 형식은 다음과 같습니다. kubectl taint nodes key=value:effect key: Taint의 키.value: Taint의 값.effe..

안녕하세요, 오늘은 Kubernetes에서 YAML 파일 내 kind 항목으로 사용할 수 있는 객체 유형들에 대해서 알아보겠습니다. 아래는 YAML 파일을 작성하는 간단한 예시 입니다.apiVersion: v1kind: Podmetadata: name: sample-podspec: containers: - name: nginx image: nginx:1.14.2 크게 나누면 다음과 같이 나눌 수 있습니다. [Workloads : 애플리케이션을 정의하는 객체]Pod : 클러스터에서 실행 중인 프로세스의 단일 인스턴스ReplicationController : 관리하는 Pod를 지속적으로 관리 하여 원하는 복제본 수를 유지ReplicaSet : 세트 기반 선택기를 지원하여 이 기능을 확장하여 포드 ..