Kafka seadistamine: 4 sammu

2024 Autor: John Day | [email protected]. Viimati modifitseeritud: 2024-01-30 08:48

Sissejuhatus:

Apache Kafka on avatud lähtekoodiga skaleeritav ja suure läbilaskevõimega sõnumside süsteem, mille on välja töötanud Scalas kirjutatud Apache Software Foundation. Apache Kafka on spetsiaalselt loodud selleks, et üks klaster saaks olla suure keskkonna keskne andmeside. Sellel on palju suurem läbilaskevõime võrreldes teiste sõnumimaaklerite süsteemidega, nagu ActiveMQ ja RabbitMQ. See on võimeline tõhusalt käsitlema suuri koguseid reaalajas andmeid. Saate Kafka juurutada ühte Apache serverisse või hajutatud rühmitatud keskkonda.

Funktsioonid:

Kafka üldised omadused on järgmised:

Püsiv sõnum kettal, mis tagab pideva jõudluse.

Suur läbilaskevõime koos kettastruktuuridega, mis toetavad sadu tuhandeid sõnumeid sekundis.

Hajutatud süsteem skaleerub hõlpsalt ilma seisakuid.

Toetab mitut tellijat ja tasakaalustab automaatselt tarbijad ebaõnnestumise ajal.

See õpetus näitab, kuidas installida ja konfigureerida Apache Kafka Ubuntu 16.04 serverisse.

Nõuded

Ubuntu 16.04 server.

Juuriväline kasutajakonto, millel on teie serveris seadistatud superkasutajaõigused.

1. samm: alustamine ja Java installimine

1) Hakkame veenduma, et teie Ubuntu 16.04 server on täielikult ajakohane

Saate oma serverit värskendada, käivitades järgmised käsud:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java installimine

Kontrollige järgmise käsu abil, kas teie arvutisse on juba installitud java või java vaikeversioon:-

java -versioon

Isegi kui teil on java, kuid madalam versioon, peate selle täiendama.

Saate Java installida järgmiselt:-

sudo apt-get install default-jdk

VÕI

Oracle JDK 8 saate installida Webupd8 meeskonna PPA hoidla abil.

Hoidla lisamiseks käivitage järgmine käsk:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Samm: installige Zookeeper

Mis on Zookeeper?

Zookeeper on tsentraliseeritud teenus konfiguratsiooniteabe säilitamiseks, nime andmiseks, hajutatud sünkroonimiseks ja grupiteenuste pakkumiseks. Kõiki selliseid teenuseid kasutavad ühel või teisel kujul hajutatud rakendused. Iga kord, kui need rakendatakse, tehakse palju tööd, et parandada paratamatuid vigu ja võistlustingimusi. Seda tüüpi teenuste rakendamise keerukuse tõttu hoiavad rakendused tavaliselt nendega kokku, mistõttu muutuste korral muutuvad need hapraks ja hallatavaks. Isegi kui seda õigesti teha, põhjustavad nende teenuste erinevad rakendused rakenduste juurutamisel haldamise keerukust.

Enne Apache Kafka installimist peab teil olema loomaaiahoidja saadaval ja käivitatud. ZooKeeper on avatud lähtekoodiga teenus konfiguratsiooniteabe säilitamiseks, hajutatud sünkroonimiseks, nimede andmiseks ja grupiteenuste pakkumiseks.

1) Vaikimisi on Zookeeperi pakett saadaval Ubuntu vaikehoidlas

Saate selle installida, käivitades järgmise käsu:-

sudo apt-get install zookeeperd

Kui installimine on lõppenud, käivitatakse see automaatselt deemonina. Vaikimisi töötab Zookeeper pordil 2181.

Saate seda testida, käivitades järgmise käsu:

netstat -ant | grep: 2181

Väljastus peaks näitama, et porti 2181 kuulatakse.

Samm: installige ja käivitage Kafka Server

Nüüd, kui Java ja ZooKeeper on installitud, on aeg Kafka Apache veebisaidilt alla laadida ja välja võtta.

1) Kafka allalaadimiseks saate kasutada curl või wget: (Kafka versioon 0.10.1.1)

Kafka seadistuse allalaadimiseks käivitage järgmine käsk:-

curl -O

VÕI

wget

2) Looge Kafka jaoks kataloog

Seejärel looge kataloog Kafka installimiseks:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Pakkige allalaaditud kaust lahti

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Muutke kasutajanime vastavalt oma kasutajanimele

4) Käivitage kafka server

Järgmine samm on Kafka serveri käivitamine, saate selle käivitada, käivitades skripti kafka-server-start.sh, mis asub kataloogis /opt/kafka/kafka_2.11-0.10.1.1/bin/, kasutades järgmist käsku:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kontrollige, kas Kafka server töötab hästi

Teil on nüüd Kafka server, mis töötab ja kuulab porti 9092.

Nüüd saame kuulamisporte kontrollida:

- Loomaaiapidaja: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Samm: testige oma Kafka serverit

Nüüd on aeg kontrollida, kas Kafka server töötab õigesti.

1) Loo uus teema

Kafka testimiseks looge Apache Kafkas näidisteema nimega "testimine", kasutades järgmist käsku:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --loo --teemade testimine --zookeeper localhost: 2181-partitsioonid 1-selgitustegur 1

2) Kontrollige, kas teie teema on edukalt loodud

Nüüd paluge Zookeeperil loetleda Apache Kafka saadaolevad teemad, käivitades järgmise käsu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Avaldage sõnum, kasutades loodud teemat

kaja "tere maailm" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-maaklerite nimekiri localhost: 9092-teemade testimine

4) Saate sõnumi loodud teemal

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-Bootstrap-server localhost: 9092-teema testimine-algusest peale

5) Faili saatmiseks, kasutades kafkat, üle teema

kafka-console-producer.sh-maaklerite nimekiri localhost: 9092-teemade testimine