Storm的Topology怎么配置

这篇文章主要介绍“Storm的Topology怎么配置”，在日常操作中，相信很多人在Storm的Topology怎么配置问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Storm的Topology怎么配置”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名与空间、网页空间、营销软件、网站建设、临洮网站维护、网站推广。

数据流组

设计一个拓扑时，你要做的最重要的事情之一就是定义如何在各组件之间交换数据（数据流是如何被bolts消费的）。一个数据流组指定了每个bolt会消费哪些数据流，以及如何消费它们。

NOTE：一个节点能够发布一个以上的数据流，一个数据流组允许我们选择接收哪个。

数据流组在定义拓扑时设置，就像我们在第二章看到的：

···
    builder.setBolt("word-normalizer", new WordNormalizer())
           .shuffleGrouping("word-reader");
···

在前面的代码块里，一个bolt由TopologyBuilder对象设定， 然后使用随机数据流组指定数据源。数据流组通常将数据源组件的ID作为参数，取决于数据流组的类型不同还有其它可选参数。

NOTE：每个InputDeclarer可以有一个以上的数据源，而且每个数据源可以分到不同的组。

随机数据流组（随机分组）

随机流组是最常用的数据流组。它只有一个参数（数据源组件），并且数据源会向随机选择的bolt发送元组，保证每个消费者收到近似数量的元组。

随机数据流组用于数学计算这样的原子操作。然而，如果操作不能被随机分配，就像第二章为单词计数的例子，你就要考虑其它分组方式了。

域数据流组（字段分组）

域数据流组允许你基于元组的一个或多个域控制如何把元组发送给bolts。它保证拥有相同域组合的值集发送给同一个bolt。回到单词计数器的例子，如果你用word域为数据流分组，word-normalizer bolt将只会把相同单词的元组发送给同一个word-counterbolt实例。

···
    builder.setBolt("word-counter", new WordCounter(),2)
           .fieldsGrouping("word-normalizer", new Fields("word"));
···

NOTE: 在域数据流组中的所有域集合必须存在于数据源的域声明中。

全部数据流组（全部分组）

全部数据流组，为每个接收数据的实例复制一份元组副本。这种分组方式用于向bolts发送信号。比如，你要刷新缓存，你可以向所有的bolts发送一个刷新缓存信号。在单词计数器的例子里，你可以使用一个全部数据流组，添加清除计数器缓存的功能（见拓扑示例）

    public void execute(Tuple input) {
        String str = null;
        try{
            if(input.getSourceStreamId().equals("signals")){
                str = input.getStringByField("action");
                if("refreshCache".equals(str))
                    counters.clear();
            }
        }catch (IllegalArgumentException e){
            //什么也不做
        }
        ···
    }

我们添加了一个if分支，用来检查源数据流。Storm允许我们声明具名数据流（如果你不把元组发送到一个具名数据流，默认发送到名为”default“的数据流）。这是一个识别元组的极好的方式，就像这个例子中，我们想识别signals一样。 在拓扑定义中，你要向word-counter bolt添加第二个数据流，用来接收从signals-spout数据流发送到所有bolt实例的每一个元组。

   builder.setBolt("word-counter", new WordCounter(),2)
           .fieldsGroupint("word-normalizer",new Fields("word"))
           .allGrouping("signals-spout","signals");

signals-spout的实现请参考git仓库。

自定义数据流组（自定义分组）

你可以通过实现backtype.storm.grouping.CustormStreamGrouping接口创建自定义数据流组，让你自己决定哪些bolt接收哪些元组。

让我们修改单词计数器示例，使首字母相同的单词由同一个bolt接收。

public class ModuleGrouping mplents CustormStreamGrouping, Serializable{
        int numTasks = 0;
        @Override
        public List chooseTasks(List