KAFKA 실행 및 실습

$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.propertiesKAFKA 실행KAFA 설치를 위해 AWS의 EC2 인스턴스에 Ubuto를 설치를 하였습니다.Windows 에서 터미널 접속으로 실행 시 .pem 파일이 있는 .ssh 폴더에 들어가 연결을 위한 명령어를 입력합니다. ZooKeeper 실행카프카 실행 전 주키퍼를 실행해야 합니다. $KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties 정상적으로 Zookeeper가 실행 됐는지를 확인해보겠습니다. 새로운 터미널을 열고 다음 명령어를 이용해 2181 포트가 정상적으로 LISTEN 상태 인..

• format_list_bulleted Data Engineering
• · 2024. 8. 2.
• textsms

KAFKA

Kafka를 이용한 아키텍처카프카는 각 시스템별 의존성을 제거하고, 수집에 대한 파이프라인을 오로지 카프카를 토과해 Data Lake에 적재한다는 것을 알 수 있습니다.따라서 시스템간 의존성을 카프카를 통해 간접적으로 가지게 됩니다. 이렇게 직접 시스템간 연결이 아닌 카프카를 통해 연결되기 때문에 시스템에 대한 확장을 굉장히 쉽게 할 수 있다는 것이 가장 큰 장점입니다. 새로운 시스템에 대한 신뢰도도 각 머신의 신뢰도를 유지한채로 시스템을 구축할 수 있습니다.또한 카프카를 이용해 각 시스템의 통신 프로토콜을 통합하기도 쉬워지게 됩니다.예를 들어 시스템A는 http통신을 사용하고, 시스템B는 파일이나 RDBMS 같은 다른 프로토콜을 사용하는 소스라고 하더라도 이러한 프로토콜에 대한 내용은 카프카에서만 신경..

• format_list_bulleted Data Engineering
• · 2024. 8. 1.
• textsms