Storm中的URLInjector该怎么理解
今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

公司主营业务:成都网站建设、成都网站制作、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出顺昌免费做网站回馈大家。
介绍: URLInjector,我封装了的一个简单的客户端,我们将要放URLs,到一个分片队列里面 【sharded queue】,只有放置到分片队列的数据才会被Storm的管线所处理。
package com.digitalpebble.storm.crawler;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import com.digitalpebble.storm.crawler.util.Configuration;
import com.digitalpebble.storm.fetchqueue.ShardedQueue;
public class URLInjector {
private ShardedQueue queue;
URLInjector() throws Exception {
Configuration config = StormConfiguration.create();
queue = ShardedQueue.getInstance(config);
}
public void add(String url) {
try {
queue.add(url);
} catch (Exception e) {
e.printStackTrace();
}
}
public void close() {
queue.close();
}
public static void main(String[] args) throws Exception {
String messages = args[0];
URLInjector client = new URLInjector();
BufferedReader reader = new BufferedReader(new FileReader(new File(
messages)));
String line = null;
while ((line = reader.readLine()) != null) {
client.add(line.trim());
}
reader.close();
client.close();
}
}看完上述内容,你们对Storm中的URLInjector该怎么理解有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。
当前题目:Storm中的URLInjector该怎么理解
本文地址:http://www.lzwzjz.cn/article/gdohep.html


咨询
建站咨询
