우리는 막대한 량의 로그를 수집하기 위해 elastic 사의 Filebeat 를 사용하고 있고 실시간 집계를 위해 Kafka 로 보내고있다.
근데 Filebeat 와 Kafka 사이에 커넥션이 자꾸 끊어져서 실시간 집계가 안되는 문제가 발생해서 봤더니
둘간의 버전 문제가 있었다.
Elastic 공홈에서 Filebeat를 찾으면 아래와 같은 문구가 있다.
Compatibility
This output works with all Kafka versions in between 0.11 and 2.1.0. Older versions might work as well, but are not supported.
0.10 은 Broker와 커넥션이 갑자기 끊어지고 Broker의 Leader Partition 을 못찾는 버그가 있다.
이런 경우 Kafka Version up 하면 해결된다.