KAFKA 실행 및 실습

$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.propertiesKAFKA 실행KAFA 설치를 위해 AWS의 EC2 인스턴스에 Ubuto를 설치를 하였습니다.Windows 에서 터미널 접속으로 실행 시 .pem 파일이 있는 .ssh 폴더에 들어가 연결을 위한 명령어를 입력합니다. ZooKeeper 실행카프카 실행 전 주키퍼를 실행해야 합니다. $KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties 정상적으로 Zookeeper가 실행 됐는지를 확인해보겠습니다. 새로운 터미널을 열고 다음 명령어를 이용해 2181 포트가 정상적으로 LISTEN 상태 인..

• format_list_bulleted Data Engineering
• · 2024. 8. 2.
• textsms

Day 3: Intro to Conditional Statements

ObjectiveIn this challenge, we learn about conditional statementsTaskGiven an integer, , perform the following conditional actions:If is odd, print WeirdIf is even and in the inclusive range of to , print Not WeirdIf is even and in the inclusive range of to , print WeirdIf is even and greater than , print Not Weirdimport mathimport osimport randomimport reimport sysif __name__ == '__main__': ..

• format_list_bulleted Python/HackerRank
• · 2024. 8. 2.
• textsms

KAFKA

Kafka를 이용한 아키텍처카프카는 각 시스템별 의존성을 제거하고, 수집에 대한 파이프라인을 오로지 카프카를 토과해 Data Lake에 적재한다는 것을 알 수 있습니다.따라서 시스템간 의존성을 카프카를 통해 간접적으로 가지게 됩니다. 이렇게 직접 시스템간 연결이 아닌 카프카를 통해 연결되기 때문에 시스템에 대한 확장을 굉장히 쉽게 할 수 있다는 것이 가장 큰 장점입니다. 새로운 시스템에 대한 신뢰도도 각 머신의 신뢰도를 유지한채로 시스템을 구축할 수 있습니다.또한 카프카를 이용해 각 시스템의 통신 프로토콜을 통합하기도 쉬워지게 됩니다.예를 들어 시스템A는 http통신을 사용하고, 시스템B는 파일이나 RDBMS 같은 다른 프로토콜을 사용하는 소스라고 하더라도 이러한 프로토콜에 대한 내용은 카프카에서만 신경..

• format_list_bulleted Data Engineering
• · 2024. 8. 1.
• textsms

파이썬 함수 & 라이브러리 - string() 문자열 및 공백제거

strip()- 빈공백 제거 : strip() 함수 괄호 안에 아무것도 넣지 않으면(white space) 문자열 양끝의 공백을 제거할 때 활용이 된다.str = " Hello World "str.strip()'Hello World'tip, input값에 공백을 제거하기 위해서다음과 같이 사용도 가능 meal_cost = float(input().strip()) tip_percent = int(input().strip()) tax_percent = int(input().strip())- 문자열 제거 : strip('text') 함수 괄호 안에 인자(숫자,문자,특수기호)를 넣으면 해당 양쪽끝의 인자가 제거된다.test = '000 aaaa bbbb cccc 000'result ..

• format_list_bulleted Python/Basic
• · 2024. 7. 31.
• textsms

Day 2 - Operators

ObjectiveIn this challenge, you will work with arithmetic operators. TaskGiven the meal price (base cost of a meal), tip percent (the percentage of the meal price being added as tip), and tax percent (the percentage of the meal price being added as tax) for a meal, find and print the meal's total cost. Round the result to the nearest integer.Complete the solve function in the editor below.solve ..

• format_list_bulleted Python/HackerRank
• · 2024. 7. 31.
• textsms

선형대수 (2)

정방 행렬(square matrix) : 열과 행이 같아 정사각형 모양의 행렬대각 행렬(diagonal matrix) : 행과 열이 같은 위치를 대각이라 하고 대각 위치가 아닌곳을 비대각이라한다. 대각행렬은 대각 위치에만 0 또는 일정한 값이 있고 나머지 비대각에는 0의 값만 갖는 행렬이다.항등행렬(identity matrix) ; 대각 행렬중 모든 대각의 값이 1인 대각행렬을 항등행렬이라 하고 알파벳 대문자 I로 사용한다.대칭행렬(symmetrix matrix) : 전치연산을 통해 얻은 전치행렬과 원래의 행렬의 값이 같으면 대칭행렬이라한다 따라서, 정방행렬만 대칭행렬이 될 수있다.

• format_list_bulleted Data Analysis
• · 2024. 7. 18.
• textsms