Я прохожу через kafka connect, и я пытаюсь понять концепции.
Допустим, у меня есть кластер kafka (узлы k1, k2 и k3), и он запущен, теперь я хочу запустить рабочих kafka connect на разных узлах, скажем, c1 и c2 в распределенном режиме.
Несколько вопросов.
1) Чтобы запустить или запустить kafka connect в распределенном режиме, мне нужно использовать команду ../bin/connect-distributed.sh, которая доступна в узлах кластера kakfa, поэтому мне нужно запустить kafka connect с любого из узлов кластера kafka? или любой узел, с которого я запускаю kafka connect, должен иметь двоичные файлы kafka, чтобы я мог использовать ../bin/connect-distributed.sh
2) Мне нужно скопировать мои подключаемые модули коннектора на любой узел кластера kafka (или на все узлы кластера?), Откуда я выполняю шаг 1?
3) как кафка копирует эти подключаемые модули коннектора на рабочий узел перед запуском процесса jvm на рабочем узле? потому что плагин - это тот, у которого есть мой код задачи, и его нужно скопировать в worker, чтобы запустить процесс в worker.
4) Нужно ли мне устанавливать что-либо в узлах подключения кластера c1 и c2, например, необходимо установить Java или любое связанное с подключением kafka?
5) В некоторых местах говорится, что используйте конфлюентную платформу, но я хотел бы сначала запустить ее только с apache kafka connect.
может кто-нибудь пожалуйста через какой-то свет или даже указатель на какие-то ресурсы тоже поможет.
Спасибо.
