博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm线程进程分配方法
阅读量:3982 次
发布时间:2019-05-24

本文共 482 字,大约阅读时间需要 1 分钟。

运行中的Topology主要由以下三个组件组成的:

  • Worker processes(进程)
  • Executors (threads)(线程)
  • Tasks

其中进程数除以机器数可以得到每台机器的进程数,我们以一台机器为例:

Spout或者Bolt的Task个数一旦指定之后就不能改变了,而Executor的数量可以根据情况来进行动态的调整。默认情况下# executor = #tasks即一个Executor中运行着一个Task。

如上面代码所示:

进程数=numWorkers=2
线程数=blue_parallelism_hint(2)+green_parallelism_hint(2)+yellow_parallelism_hint(6)=10

10个线程/2个进程 = 5个线程/进程

Blue-Spout 线程数 = 2 

Blue-Spout Task数 = Blue-Spout NumTasks = 4

4/2=2 即每个Blue-Spout线程有2个Task。

线程数量即并发度可以动态调整,其它的参数启动后就不能调整了。

以一张图更清晰的说明:

转载地址:http://dhpui.baihongyu.com/

你可能感兴趣的文章
coursesa课程 Python 3 programming Accumulating Multiple Results In a Dictionary 统计文件的字母数量
查看>>
Returning a value from a function
查看>>
coursesa课程 Python 3 programming Functions can call other functions 函数调用另一个函数
查看>>
coursesa课程 Python 3 programming Tuple Assignment with Unpacking
查看>>
coursesa课程 Python 3 programming The while Statement
查看>>
course_2_assessment_6
查看>>
coursesa课程 Python 3 programming course_2_assessment_7 多参数函数练习题
查看>>
coursesa课程 Python 3 programming 排序函数sorted的可选参数
查看>>
coursesa课程 Python 3 programming course_2_assessment_8 sorted练习题
查看>>
visca接口转RS-232C接口线序
查看>>
在unity中建立最小的shader(Minimal Shader)
查看>>
RGB 立方体
查看>>
1.3 Debugging of Shaders (调试着色器)
查看>>
关于phpcms中模块_tag.class.php中的pc_tag()方法的含义
查看>>
vsftp 配置具有匿名登录也有系统用户登录,系统用户有管理权限,匿名只有下载权限。
查看>>
linux安装usb wifi接收器
查看>>
关于共享单车定位不准问题
查看>>
终于搞定CString和string之间转换的问题了
查看>>
用防火墙自动拦截攻击IP
查看>>
补充自动屏蔽攻击ip
查看>>