首页 > 分布式 > Storm > Storm开发环境快速搭建(单机、集群模式)(基于Storm-0.9.1)
2014
04-14

Storm开发环境快速搭建(单机、集群模式)(基于Storm-0.9.1)

本文主要介绍Storm分布式集群环境的搭建,单机模式(又称本地集群、伪分布式)作为集群模式的一个特例,也会在后面有所介绍。如果在安装搭建的过程中遇到任何问题,可直接回复作者。

Storm集群搭建主要包括以下步骤:

1、搭建一个Zookeeper集群

2、在nimbus、supervisor节点安装依赖包

3、在nimbus、supervisor节点下载并解压缩Storm包

4、修改nimbus、supervisor节点的配置文件(storm.yaml)

5、使用storm脚本启动守护进程(包括nimbus、supervisor、ui)

Storm集群搭建

一些准备

在自己的win2008服务器(IP:202.202.5.223)上安装如下三台虚拟机(普通PC机上也行):

①cluster01:

用户名 / 密码:nimbus / nimbus

ip:192.168.170.128

②cluster02:

用户名 / 密码:zookeeper / zookeeper

ip:192.168.170.129

③cluster03:

用户名 / 密码:supervisor / supervisor

ip:192.168.170.130

此三台虚拟机分别用作Storm集群中的nimbus节点、Zookeeper集群、supervisor节点,因此后面说的在nimbus节点上的操作实际上就是在cluster01这台虚拟机上进行操作,其他类推。

1、搭建一个Zookeeper集群

在cluster02这台虚拟机上搭建zookeeper集群,如何快速搭建zookeeper集群,请参考:http://nileader.blog.51cto.com/1381108/795230,此处不再赘述。

2、在nimbus、supervisor节点安装依赖包

JDK必须安装,本文不再赘述。(java -version检查是否安装JDK)

此外,Storm支持多种语言的开发,需要安装相应的环境。(如果需要运行storm-starter中的例子,则需要安装Python)

3、下载并解压Storm到nimbus、supervisor节点

下载地址:http://storm.incubator.apache.org/downloads.html

注:解压完之后,为了后面的使用方便,可以将storm的bin目录添加到PATH环境变量中。

4、修改nimbus、supervisor节点的配置文件(storm.yaml)

Storm的配置文件位于storm主目录下的conf/storm.yaml,有四处强制需要指定,分别是:

1) storm.zookeeper.servers:指定zookeeper集群中的主机列表,本例中zookeeper集群只有一台主机,配置如下:

storm.zookeeper.servers:

- “192.168.170.129″

2) storm.local.dir: nimbus和supervisor进程需要一个本地磁盘上的目录去存储一些jar包、配置文件,需要注意此目录的权限。

nimbus节点上的配置:

storm.local.dir: “/home/nimbus/storm”

supervisor节点上的配置:

storm.local.dir: “/home/supervisor/storm”

3) nimbus.host:指定nimbus节点对应的主机,配置如下:

nimbus.host: “192.168.170.128″

4) supervisor.slots.ports:对于每个supervisor节点,需要指定一些端口,来运行相应数目的JVM进程。下面的配置开发了四个端口,即在supervisor节点上运行了四个JVM进程(4个worker、此处涉及到Storm中的并行化机制)。

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

注:nimbus节点和supervisor节点上的storm.yaml均需要配置。

5、使用storm脚本启动守护进程(包括nimbus、supervisor、ui)

1)nimbus:在nimbus节点上运行storm nimbus命令

2)supervisor:在supervisor节点上运行 storm supervisor命令

3)ui:在nimbus节点上运行storm ui命令,并访问http://192.168.170.128:8080,出现如下界面则表明集群搭建成功:

stormui

 

单机版集群搭建(伪分布式)

所谓伪分布式,其实并不是真正的分布式,它只是在一台机器上模拟了一个真实的分布式的环境。同理,单机版集群环境也只是用一台机器模拟了一个集群,即若干台计算机组成的环境。

单机版集群搭建的步骤与Storm集群环境的搭建过程大致相同,不过需要注意的是:

1)由于单机版集群只有一台主机,并不涉及与其他机器之间的通信,因此,在出现ip地址的地方用localhost或者127.0.0.1代替即可。

2)由于nimbus、supervisor都在同一台机器上,因此storm.yaml文件只需配置一次即可。

可能出现的问题

在启动nimbus、supervisor守护进程时如果出现问题,不妨把linux的防火墙暂时关闭一下,笔者在部署Storm集群时就遇到过这个问题。

在使用Storm时可能出现的一些其他问题可以参考:http://storm.incubator.apache.org/documentation/Troubleshooting.html


Storm开发环境快速搭建(单机、集群模式)(基于Storm-0.9.1)》有 3 条评论

  1. jyxlcd 说:

    您好!请问为什么Zookeeper是单独装在一台机器上,而不是装在所有的分布式节点上的呢?谢谢!(yuxuanjiang@qq.com)

    • 汪杰宇 说:

      这个教程是去年学习初期写的,搭建在一台机器上主要是方便学习。。。一般情况下都是在奇数个节点上(如3个)搭建Zookeeper集群

  2. 最励志网 说:

    网站不错很漂亮,欢迎互访!

留下一个回复

你的email不会被公开。