我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Flink设置并行度的方式和执行级别

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Flink设置并行度的方式和执行级别

Flink设置并行度的方式和执行级别

Flink设置并行度的几种方式

  1. 代码中设置setParallelism()

    • 全局设置:

      env.setParallelism(3); 
    • 算子设置(部分设置):

      sum(1).setParallelism(3)
  2. 客户端CLI设置:

    ./bin/flink run -p 3
    
  3.  修改配置文件设置/conf/flink-conf.yaml的parallelism.defaul数值

  4. 最大并行度设置

    • 全局设置:

      env.setMaxParallelism(n) 
    • 算子设置(部分设置):

      sum(1).setMaxParallelism(n)

      默认的最大并行度是近似于operatorParallelism + (operatorParallelism / 2),下限是127,上线是32768. 

执行顺序级别:算子>全局env>CLI>配置文件 。

.setParallelism()的并行度需要小于.setMaxParallelism()的最大并行度。

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Flink设置并行度的方式和执行级别

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Flink设置并行度的方式和执行级别

Flink设置并行度的几种方式代码中设置setParallelism()全局设置:env.setParallelism(3); 算子设置(部分设置):sum(1).setParallelism(3)客户端CLI设置:./bin/flink run -p 3 修
Flink设置并行度的方式和执行级别
2014-07-25

shell脚本5种执行方式及脚本不同的执行方法和区别详解

目录前言概述正题一、方式1绝对路径和方式2相对路径,可以归纳为同一种方法二、方式3使用 sh/bash命令来执行三、方式4使用 . (空格)脚本名称来执行四、方式5使用 source 来执行(主要用于生效配置文件)区别1.关于执行权限2.关
2022-07-19

win2003数据执行保护的开启和关闭方法及设置技巧

先说下数据执行的保护的作用,这是微软的解释: 数据执行保护可帮助保护您的计算机免受病毒和其他安全威胁的破坏。这些病毒和威胁尝试从受保护的内存位置运行(执行)恶意代码来发起攻击,而只有 Windows 和其他程序才应使用这些位置。这种威胁通过
2023-05-30

Golang与RabbitMQ实现分布式任务调度和执行的高效解决方案的最佳实践

实现分布式任务调度和执行的高效解决方案可以使用Golang和RabbitMQ的组合。下面是一个基于Golang和RabbitMQ的最佳实践示例:1. 定义任务模型:首先定义任务的结构体,包括任务ID、任务参数等字段,并将任务的数据结构序列化
2023-10-10

编程热搜

目录