【数据挖掘】13-kafka集群安装

安装kafka，版本：kafka_2.10-0.8.2.1.tgz

1，安装Zookeeper
http://blog.csdn.net/luolinll1212/article/details/78490714

2，安装kafka

tar -zxvf kafka_2.10-0.8.2.1.tgz
cd kafka_2.10-0.8.2.1/config
vi service.properties
  broker.id=1                    #集群模式，第二台为2，第三台为3
  port=9092                      #默认端口，不需要修改
  host.name=spark30       #本机的主机名
  log.dirs=/root/kafka-logs #日志存放位置
  num.partitions=2              #分区数量
  zookeeper.connect=localhost:2181
  zookeeper.connect.timeout.ms=10000

3，将节点kafka安装文件复制到其他节点

4，启动

cd kafka_2.10-0.8.2.1
bin/kafka-server-start.sh config/server.properties &

5，测试

./kafka-topics.sh --create --zookeeper spark30:2181 --replication-factors 3 --partitons 2 --topic test

6，查看topic信息

./kafka-topics.sh --describe --zookeeper local:2181 --topic test

7，生产

./fakfa-console-producer.sh --broker-list spark:9092 --topic test

8，消费

./kafka-console-consumer.sh --zookeeper spark30:2181 --topic test --from-beginning