개발자를 넘어 과학자로!!

    Data Engineering/Kafka 2

    Filebeat <-> Kafka Version 이슈

    우리는 막대한 량의 로그를 수집하기 위해 elastic 사의 Filebeat 를 사용하고 있고 실시간 집계를 위해 Kafka 로 보내고있다. 근데 Filebeat 와 Kafka 사이에 커넥션이 자꾸 끊어져서 실시간 집계가 안되는 문제가 발생해서 봤더니 둘간의 버전 문제가 있었다. Elastic 공홈에서 Filebeat를 찾으면 아래와 같은 문구가 있다. Compatibility This output works with all Kafka versions in between 0.11 and 2.1.0. Older versions might work as well, but are not supported. 0.10 은 Broker와 커넥션이 갑자기 끊어지고 Broker의 Leader Partition 을 못찾..

    Data Engineering/Kafka 2019.09.27

    Kafka 버전 확인

    $ find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' kafka_2.9.2-0.8.1.1.jar.asc where 0.8.1.1 is your kafka version Kafka Version Check Github

    Data Engineering/Kafka 2019.08.21
    이전
    1
    다음
    더보기
    프로필사진

    개발자를 넘어 과학자로!!

    Data Engineering ML Engineering 다음은...Deep Learning ? 도전은 계속된다.

    • 시간 구성 (207)
      • ML Engineering (0)
        • 데이터 탐색 (0)
        • Feature Engineering (0)
        • 모델 학습 (0)
        • 모델 평가 (0)
        • FDS운영 (0)
      • Data Engineering (37)
        • Kafka (2)
        • spark (19)
        • Scalar (3)
        • HBase (5)
        • airflow (1)
        • SQL Skin (3)
        • data preprocessing (4)
      • Public (131)
        • DevGraphy (1)
        • 주요 프로젝트 (6)
        • tip & tech (122)
        • 아이디어 (2)
        • 개발방법론 (0)
      • Private (38)
        • IT 동향파악 (13)
        • 출퇴근 영화제 (3)
        • 살며 생각하며 (10)
        • 읽어본 책 (9)
        • 캠핑 (2)
        • 낚시 (1)

    Tag

    최근글과 인기글

    • 최근글
    • 인기글

    최근댓글

    공지사항

    페이스북 트위터 플러그인

    • Facebook
    • Twitter

    Archives

    Calendar

    «   2025/05   »
    일 월 화 수 목 금 토
    1 2 3
    4 5 6 7 8 9 10
    11 12 13 14 15 16 17
    18 19 20 21 22 23 24
    25 26 27 28 29 30 31

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바