Maxima's Lab

안녕하세요, 오늘은 NiFi 설치하는 방법에 대해서 알아보겠습니다. Apache NiFi는 데이터를 자동으로 모으고, 가공하고, 옮기고, 추적할 수 있는 GUI 기반 데이터 흐름 자동화 툴입니다. 그럼, Ubuntu에서 NiFi를 설치하는 방법에 대해서 알아보겠습니다. sudo add-apt-repository ppa:openjdk-r/ppasudo apt updatesudo apt install openjdk-21-jdk -yjava -version 먼저, NiFi를 실행시키기 위해 Java를 설치해야 하는데 NiFi 2.4.0을 설치할 예정이기 떄문에 Java 21 개발 킷(JDK)을 설치해 줍니다. wget https://archive.apache.org/dist/nifi/2.4.0/nifi-2.4..

안녕하세요, 오늘은 Kafka를 설치하는 방법에 대해서 알아보겠습니다. 실시간 데이터 스트리밍 플랫폼으로, 대규모 데이터를 빠르고 안정적으로 처리할 수 있게 해주는 분산 메시징 시스템 입니다. Kafka 관련된 용어는 다음과 같습니다.ProducerKafka로 데이터를 보내는 주체 (예: 웹 서버, 센서 등)ConsumerKafka에서 데이터를 읽는 주체 (예: 분석 시스템, DB 등)Topic메시지가 저장되는 논리적인 공간. 데이터의 주제(채널) 같은 개념BrokerKafka 서버 하나하나를 의미. 여러 개가 클러스터로 동작ZookeeperKafka 클러스터를 관리해주는 조율자 역할. 최근엔 KRaft 모드로 대체 가능PartitionTopic을 나눈 작은 단위로, 병렬성과 처리 속도를 높이는 데 사용..

안녕하세요, 오늘은 선형대수학 내 고윳값과 고유벡터 그리고 PCA (주성분 분석)에 대해서 알아보고 해당 개념들을 파이썬을 통해 예제로 알아보겠습니다. Principal Component Analysis (PCA, 주성분 분석)은 고차원 데이터를 저차원 데이터로 줄임과 동시에 데이터의 주요 특성을 최대한 보존하는 방법을 의미한다. 이는, 데이터의 분산이 가장 큰 방향으로 데이터를 재 표현하는 방법이며, 해당 방향을 주성분이다.이미지, 텍스트 등과 같은 데이터들은 다수의 특징(Feature)를 가지기 때문에 PCA를 통해 데이터 압축, 노이즈 제거, 시각화 등에 사용된다. 다음은 Logit 데이터를 PCA를 적용하는 파이썬 예시 이다. import numpy as npimport matplotlib.pyp..

안녕하세요, 오늘은 Distributed Data Parallel (DDP) 사용하는 방법에 대해서 알아보겠습니다. Distributed Data Parallel (DDP)는 PyTorch에서 멀티 GPU 학습을 효율적으로 처리하는 병렬 학습 프레임워크입니다. 각 GPU가 자신의 모델 복사본을 가지고 데이터를 나누어 학습하므로써, Backward 시에만 Gradient를 서로 통신하여 동기화합니다. 다음은, DPP를 활용하는 코드 예시 입니다. import osimport torchimport torch.nn as nnimport torch.optim as optimimport torch.distributed as distfrom torch.nn.parallel import DistributedDataP..

안녕하세요, 오늘은 Tensorflow 프레임워크에서 Classification 모델을 .onnx 파일과 .trt 파일로 변환하고 해당 파일을 활용하여 Inference 하는 방법에 대해서 알아보겠습니다. 이를 위해 TEST를 진행한 패키지 버전 및 환경은 다음과 같습니다. - OS : Ubuntu 22.04- CUDA : 11.8- GPU : NVIDIA GeForce RTX 4070 Laptop GPU- Python : 3.10.12- tensorflow : 2.14.0- tf2onnx : 1.16.1- onnxruntime-gpu : 1.18.1- nvidia-tensorrt : 8.4.3.1- pycuda : 2024.1 먼저, tensorflow 2 모델을 onnx 파일로 변환하는 코드에 대해서..

안녕하세요, 오늘은 YAML 파일 작성 및 사용 하는 방법에 대해서 알아보겠습니다. YAML 파일을 작성 후 Python에서 사용하기 위해서는 다음 패키지를 설치합니다. pip install pyyaml 패키지 설치 후 다음과 같이 config.yaml 파일을 작성하는 예시를 살펴 보겠습니다. YAML 파일을 작성하는 주요 데이터 형식은 다음과 같습니다. 문자열 (String)정수 (Integer)부동 소수점 (Float)BooleanNull 값Collection (리스트, 딕셔너리)복합 자료형먼저, 문자열 (String) 예시에 대해서 알아보겠습니다. string: "Hello, World!"single_quoted_string: 'Hello, World!'unquoted_string: HelloWor..

안녕하세요, 오늘은 Cryptography 라이브러리에서 hazmat 모듈을 사용하는 방법에 대해서 알아보겠습니다. hazmat 모듈을 사용하는 예시는 다음과 같습니다. from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modesfrom cryptography.hazmat.primitives import paddingfrom cryptography.hazmat.backends import default_backendfrom cryptography.hazmat.primitives import hashesfrom cryptography.hazmat.primitives.kdf.pbkdf2 import PBKDF2HMACimport o..

안녕하세요, 오늘은 Node Selector 개념에 대해서 알아보고 예제 코드를 적용해보겠습니다. https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector Assigning Pods to NodesYou can constrain a Pod so that it is restricted to run on particular node(s), or to prefer to run on particular nodes. There are several ways to do this and the recommended approaches all use label selectors to facilitate the selecti..