Sådan installeres Apache Kafka i CentOS / RHEL 7

Apache Kafka er en kraftfuld messaging-motor, der er meget brugt i BigData-projekter og dataanalysens livscyklus. Det er en open source-platform til at oprette real-time datastreaming-rørledninger. Det er en distribueret publicerings-abonnementsplatform med pålidelighed, skalerbarhed og holdbarhed.

Vi kan have Kafka som en enkeltstående eller som en klynge. Kafka gemmer streamingdataene, og de kan kategoriseres som emner. Emnet vil have et antal partitioner, så det kan håndtere en vilkårlig mængde data. Vi kan også have flere replikaer til fejltolerant, som vi har i HDFS. I en Kafka-klynge er mægleren en komponent, der gemmer de offentliggjorte data.

Zookeeper er en obligatorisk tjeneste til at køre en Kafka-klynge, da den bruges til at styre koordineringen af Kafka-mæglerne. Zookeeper spiller en nøglerolle mellem producent og forbruger, hvor den er ansvarlig for at opretholde tilstanden for alle mæglere.

I denne artikel vil vi forklare, hvordan du installerer Apache Kafka i en enkelt node CentOS 7 eller RHEL 7.

Installation af Apache Kafka i CentOS 7

1. Først skal du installere Java på dit system for at køre Apache Kafka uden fejl. Så installer den standard tilgængelige version af Java ved hjælp af følgende yum-kommando og bekræft Java-versionen som vist.

# yum -y install java-1.8.0-openjdk
# java -version

2. Download derefter den seneste stabile version af Apache Kafka fra den officielle webside eller brug følgende wget-kommando til at downloade den direkte og udtrække den.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Opret et symbolsk link til kafka-pakken, og tilføj derefter Kafka-miljøstien til .bash_profile -filen, og initialiser den derefter som vist.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. Start derefter Zookeeper, der er indbygget i Kafka-pakken. Da det er en enkelt node-klynge, kan du starte zookeeper med standardegenskaber.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Bekræft, om zookeeper er tilgængelig eller ikke ved blot at telnet til Zookeeper port 2181.

# telnet localhost 2181

6. Start Kafka med dets standardegenskaber.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Bekræft, om Kafka er tilgængelig eller ikke ved blot at telnet til Kafka port 9092

# telnet localhost 9092

8. Opret derefter et eksempel på et emne.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Angiv det oprettede emne.

# kafka-topics.sh --zookeeper localhost:2181 --list

I denne artikel har vi set, hvordan man installerer en enkelt node Kafka-klynge i CentOS 7. Vi vil se, hvordan man installerer en multinode Kafka-klynge i den næste artikel.