kafka集群的部署-创新互联

1.zookeeper集群部署不在简介

专注于为中小企业提供网站建设、成都网站设计服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业大余免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了近1000家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

zk对外提供2181端口 分别部署在三台机器上面，也是下面的三台

2.hosts文件一定要做 否则kafka系统启动不起来

[root@linux-node1 bin]# cat /etc/hosts 192.168.56.11  linux-node1 192.168.56.12  linux-node2 192.168.56.13  linux-node3

3.linux-node1

[root@linux-node1 ~]# ll total 202032 -rw-------.  1 root root      1011 Aug 26 18:00 anaconda-ks.cfg lrwxrwxrwx   1 root root        17 Oct  5 02:41 jdk -> /root/jdk1.7.0_79 drwxr-xr-x   8   10  143      4096 Apr 11  2015 jdk1.7.0_79 -rw-r--r--   1 root root 153512879 Oct  5 02:39 jdk-7u79-linux-x64.tar.gz lrwxrwxrwx   1 root root        24 Oct  5 03:03 kafka01 -> /root/kafka_2.11-0.9.0.1 drwxr-xr-x   7 root root        94 Oct  5 03:18 kafka_2.11-0.9.0.1 -rw-r--r--   1 root root  35650542 Oct  5 03:02 kafka_2.11-0.9.0.1.tgz lrwxrwxrwx   1 root root        21 Oct  5 02:43 zk01 -> /root/zookeeper-3.4.6 drwxr-xr-x  10 1000 1000      4096 Feb 20  2014 zookeeper-3.4.6 -rw-r--r--   1 root root  17699306 Oct  5 02:43 zookeeper-3.4.6.tar.gz [root@linux-node1 ~]#

linux-node2

[root@linux-node1 ~]# ll total 202032 -rw-------.  1 root root      1011 Aug 26 18:00 anaconda-ks.cfg lrwxrwxrwx   1 root root        17 Oct  5 02:41 jdk -> /root/jdk1.7.0_79 drwxr-xr-x   8   10  143      4096 Apr 11  2015 jdk1.7.0_79 -rw-r--r--   1 root root 153512879 Oct  5 02:39 jdk-7u79-linux-x64.tar.gz lrwxrwxrwx   1 root root        24 Oct  5 03:03 kafka02 -> /root/kafka_2.11-0.9.0.1 drwxr-xr-x   7 root root        94 Oct  5 03:23 kafka_2.11-0.9.0.1 -rw-r--r--   1 root root  35650542 Oct  5 03:02 kafka_2.11-0.9.0.1.tgz lrwxrwxrwx   1 root root        21 Oct  5 02:44 zk02 -> /root/zookeeper-3.4.6 drwxr-xr-x  10 1000 1000      4096 Feb 20  2014 zookeeper-3.4.6 -rw-r--r--   1 root root  17699306 Oct  5 02:43 zookeeper-3.4.6.tar.gz [root@linux-node1 ~]#

linux-node3

[root@linux-node3 ~]# ll total 202032 -rw-------.  1 root root      1011 Aug 26 18:00 anaconda-ks.cfg lrwxrwxrwx   1 root root        17 Oct  5 02:41 jdk -> /root/jdk1.7.0_79 drwxr-xr-x   8   10  143      4096 Apr 11  2015 jdk1.7.0_79 -rw-r--r--   1 root root 153512879 Oct  5 02:39 jdk-7u79-linux-x64.tar.gz lrwxrwxrwx   1 root root        24 Oct  5 03:04 kafka03 -> /root/kafka_2.11-0.9.0.1 drwxr-xr-x   7 root root        94 Oct  5 03:23 kafka_2.11-0.9.0.1 -rw-r--r--   1 root root  35650542 Oct  5 03:03 kafka_2.11-0.9.0.1.tgz lrwxrwxrwx   1 root root        21 Oct  5 02:44 zk03 -> /root/zookeeper-3.4.6 drwxr-xr-x  10 1000 1000      4096 Feb 20  2014 zookeeper-3.4.6 -rw-r--r--   1 root root  17699306 Oct  5 02:43 zookeeper-3.4.6.tar.gz [root@linux-node3 ~]#

kafka文件查看(每个文件的broker.id 不一样 和zk的myid差不多)

linux-node1

[root@linux-node1 config]# cat server.properties broker.id=1 port=9092 listeners=PLAINTEXT://:9092 num.network.threads=8 num.io.threads=10 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/opt/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 zookeeper.connection.timeout.ms=6000 message.max.byte=5242880 default.replication.factor=2 replica.fetch.max.bytes=5242880 [root@linux-node1 config]# pwd /root/kafka01/config [root@linux-node1 config]#

linux-node2

[root@linux-node2 config]# cat server.properties  broker.id=2 port=9092 listeners=PLAINTEXT://:9092 num.network.threads=8 num.io.threads=10 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/opt/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 zookeeper.connection.timeout.ms=6000 message.max.byte=5242880 default.replication.factor=2 replica.fetch.max.bytes=5242880 [root@linux-node2 config]#

linux-node3

[root@linux-node3 kafka03]# cat  config/server.properties  broker.id=3 port=9092 listeners=PLAINTEXT://:9092 num.network.threads=8 num.io.threads=10 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/opt/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 zookeeper.connection.timeout.ms=6000 message.max.byte=5242880 default.replication.factor=2 replica.fetch.max.bytes=5242880 [root@linux-node3 kafka03]#

分别启动kafka

/root/kafka01/config ./kafka-server-start.sh -daemon ../config/server.properties

测试

./kafka-topics.sh --zookeeper localhost:2181 --create --topic ttt  --partitions 2 --replication-factor 2 ./kafka-topics.sh --zookeeper 192.168.56.12:2181 --list  ./kafka-topics.sh --zookeeper 192.168.56.12:2181  --describe   --topic  ttt

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

新闻标题：kafka集群的部署-创新互联
链接地址：http://dzwzjz.com/article/dihods.html