Настройка на Kafka: 4 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:52

Въведение:

Apache Kafka е мащабируема и високопроизводителна система за съобщения с отворен код, разработена от софтуерната фондация Apache, написана на Scala. Apache Kafka е специално проектиран да позволява на един клъстер да служи като централен гръбнак на данни за голяма среда. Той има много по -висока производителност в сравнение с други системи за посредници на съобщения като ActiveMQ и RabbitMQ. Той е в състояние ефективно да обработва големи обеми данни в реално време. Можете да разгърнете Kafka на един Apache сървър или в разпределена клъстерирана среда.

Характеристика:

Общите характеристики на Kafka са следните:

Постоянно съобщение на диска, което осигурява постоянна производителност във времето.

Висока производителност с дискови структури, които поддържат стотици хиляди съобщения в секунда.

Разпределената система се мащабира лесно, без престой.

Поддържа множество абонати и автоматично балансира потребителите по време на повреда.

Този урок показва как да инсталирате и конфигурирате Apache Kafka на сървър на Ubuntu 16.04.

Изисквания

Сървър на Ubuntu 16.04.

Потребителски акаунт без root, със суперпотребителски права, настроен на вашия сървър.

Стъпка 1: Първи стъпки и инсталиране на Java

1) Нека започнем да се уверяваме, че вашият Ubuntu 16.04 сървър е напълно актуален

Можете да актуализирате сървъра си, като изпълните следните команди:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Инсталиране на Java

Проверете дали вашата машина има вече инсталиран Java или има версия по подразбиране на java чрез следната команда:-

java -версия

Дори ако имате Java, но по -ниска версия, ще трябва да я надстроите.

Можете да инсталирате Java чрез:-

sudo apt-get install default-jdk

ИЛИ

Можете да инсталирате Oracle JDK 8, като използвате PPA хранилището на екипа на Webupd8.

За да добавите хранилището, изпълнете следната команда:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Стъпка 2: Инсталирайте Zookeeper

Какво е Zookeeper?

Zookeeper е централизирана услуга за поддържане на конфигурационна информация, именуване, осигуряване на разпределена синхронизация и предоставяне на групови услуги. Всички тези видове услуги се използват под една или друга форма от разпределени приложения. Всеки път, когато се прилагат, има много работа, която отива за коригиране на грешките и условията на състезанието, които са неизбежни. Поради трудностите при внедряването на този вид услуги, първоначално приложенията обикновено ги пестят, което ги прави крехки при наличието на промяна и трудни за управление. Дори когато са направени правилно, различните реализации на тези услуги водят до сложност на управлението, когато приложенията са разгърнати.

Преди да инсталирате Apache Kafka, ще трябва да имате наличен и работещ зоопарк. ZooKeeper е услуга с отворен код за поддържане на конфигурационна информация, осигуряване на разпределена синхронизация, именуване и предоставяне на групови услуги.

1) По подразбиране пакетът Zookeeper е наличен в хранилището по подразбиране на Ubuntu

Можете да го инсталирате, като изпълните следната команда:-

sudo apt-get install zookeeperd

След като инсталацията приключи, тя ще се стартира автоматично като демон. По подразбиране Zookeeper ще работи на порт 2181.

Можете да го тествате, като изпълните следната команда:

netstat -ant | grep: 2181

Изходът трябва да ви покаже, че се слуша порт 2181.

Стъпка 3: Инсталирайте и стартирайте Kafka Server

Сега, когато Java и ZooKeeper са инсталирани, е време да изтеглите и извлечете Kafka от уебсайта на Apache.

1) Можете да използвате curl или wget, за да изтеглите Kafka: (версия на Kafka 0.10.1.1)

Изпълнете следната команда, за да изтеглите настройката на kafka:-

curl -O

ИЛИ

wget

2) Създайте директория за Kafka

След това създайте директория за инсталиране на Kafka:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Разархивирайте изтеглената папка

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Променете потребителското име според вашето потребителско име

4) Стартирайте kafka сървъра

Следващата стъпка е да стартирате сървъра Kafka, можете да го стартирате, като стартирате скрипт kafka-server-start.sh, намиращ се в /opt/kafka/kafka_2.11-0.10.1.1/bin/, като използвате следната команда:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Проверете дали Kafka Server работи добре

Вече имате сървър Kafka, работещ и слушащ на порт 9092.

Сега можем да проверим портовете за слушане:

- ZooKeeper: 2181

- Кафка: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Стъпка 4: Тествайте вашия сървър Kafka

Време е да се провери дали сървърът на Kafka работи правилно.

1) Създайте нова тема

За да тествате Kafka, създайте примерна тема с име "testing" в Apache Kafka, като използвате следната команда:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Проверете дали вашата тема е създадена успешно

Сега помолете Zookeeper да изброи наличните теми за Apache Kafka, като изпълните следната команда:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Публикувайте съобщение, използвайки създадената от вас тема

ехо "здравей свят" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-брокерски списък localhost: 9092-тематично тестване

4) Получете съобщението по създадената тема

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-bootstrap-сървър localhost: 9092-тематично тестване –от началото

5) За да изпратите файл с помощта на kafka върху тема

kafka-console-producer.sh --broker-list localhost: 9092 –тематично тестване