今天宠物迷的小编给各位宠物饲养爱好者分享kettle设置并发的宠物知识,其中也会对kettle 并行完成的后续操作,后续操作需要之前的并行job均完成,该如何设置进行专业的解释,如果能碰巧解决你现在面临的宠物相关问题,别忘了关注本站哦,现在我们开始吧!
start后面的连接线是“锁型”表示无条件执行 转换 后的是“对勾”表示执行成功后执行下一个 如上图“转换”执行成功后才会执行“转换2”,如果出错,整个JOB就停止了
转换里面有个blocking step until steps finish插件
用这个控件,把success换成 阻塞数据直到流程完成,设定监视的步骤名称为 T1和T2
转换里面有个blocking step until steps finish插件
用这个控件,把success换成 阻塞数据直到流程完成,设定监视的步骤名称为 T1和T2
转换里面有个blocking step until steps finish插件
用这个控件,把success换成 阻塞数据直到流程完成,设定监视的步骤名称为 T1和T2
slave节点启动carte服务
master节点配置slave地址就可以了啊
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示: 子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。 在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。 注意: 在集群环境下执行转化时,你必须有一个子服务器作为主服务器(master server)而其余所有的子服务器都作从属服务器(slave server) 代理服务器主机名 设置你要通过代理进行连接的主机名 代理服务器端口 设置与代理进行连接时所需的端口号 Ignore proxy for hosts: regexp|separated 指定哪些服务器不需要通过代理来进行连接。该选项支持你使用正则表达式来制定多个服务器,多个服务器之间以' | ' 字符来进行分割 创建cluster schema 定义转换 定义完了 cluster schema 后,下一步就是定义在集群环境下执行的转换。我们这里展现的只是一个最简单的例子,完全是为了演示而用。现实情况中的集群有可能非常复杂。 首先你像平时一样创建转换,以hop连接连个两个步骤。然后你指定第二个步骤将在集群下执行 然后选择需要使用的集群。转换如图一样显示在GUI中。 注意 Cx4显示这个步骤将在集群中运行,而这个集群中有4个从属服务器。假设我们将计算结果再次存入到数据表中 这个转换虽然定义了集群,但是我们同样可以让它在单机环境下执行,而且可以得到相同的结果。这意味着你可以使用普通的本地模式来测试它。 执行转换 要想以集群方式来运行转换或者作业,首先需要启动在Cluster schema中定义的主服务器和从属服务器,然后再运行转换或者作业。 启动子服务器 子服务器其实是一个嵌入式的名为 Carte 的 小web server。要进行集群转换,首先需要启动cluster schema中的子服务器 脚本启动 kettle 提供了 carte.bat 和 carte.sh ( inux )批处理脚本来启动子服务器,这种启动方式分为两种 使用主机号和端口号 Carte 127.0.0.1 8080 Carte 192.168.1.221 8081 使用配置文件 Carte /foo/bar/carte-config.xml Carte url
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示: 子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。 在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。 注意: 在集群环境下执行转化时,你必须有一个子服务器作为主服务器(master server)而其余所有的子服务器都作从属服务器(slave server) 代理服务器主机名 设置你要通过代理进行连接的主机名 代理服务器端口 设置与代理进行连接时所需的端口号 Ignore proxy for hosts: regexp|separated 指定哪些服务器不需要通过代理来进行连接。该选项支持你使用正则表达式来制定多个服务器,多个服务器之间以' | ' 字符来进行分割 创建cluster schema 定义转换 定义完了 cluster schema 后,下一步就是定义在集群环境下执行的转换。我们这里展现的只是一个最简单的例子,完全是为了演示而用。现实情况中的集群有可能非常复杂。 首先你像平时一样创建转换,以hop连接连个两个步骤。然后你指定第二个步骤将在集群下执行 然后选择需要使用的集群。转换如图一样显示在GUI中。 注意 Cx4显示这个步骤将在集群中运行,而这个集群中有4个从属服务器。假设我们将计算结果再次存入到数据表中 这个转换虽然定义了集群,但是我们同样可以让它在单机环境下执行,而且可以得到相同的结果。这意味着你可以使用普通的本地模式来测试它。 执行转换 要想以集群方式来运行转换或者作业,首先需要启动在Cluster schema中定义的主服务器和从属服务器,然后再运行转换或者作业。 启动子服务器 子服务器其实是一个嵌入式的名为 Carte 的 小web server。要进行集群转换,首先需要启动cluster schema中的子服务器 脚本启动 kettle 提供了 carte.bat 和 carte.sh ( inux )批处理脚本来启动子服务器,这种启动方式分为两种 使用主机号和端口号 Carte 127.0.0.1 8080 Carte 192.168.1.221 8081 使用配置文件 Carte /foo/bar/carte-config.xml Carte url
首先正常连接所有转换如下图(按shift): 然后右键START,点击最下方 完成如图: 谢谢采纳
slave节点启动carte服务
master节点配置slave地址就可以了啊
同问:目前只发现怎么把内存加大。但即使加到1440M又如何一样会出错
而且我还是将job分开处理的 多次调用 目前来说是内存使用已经最小了
但还是在处理到1/3的时候就溢出了 头痛的是这个溢出不是100%出现
求解决
这个问题已经解决了 我们实在没办法 把kettle源码改掉了
kettle 4.2版中 kettle-core.jar 包下org.pentaho.di***re.logging.LoggingRegistry
第115行出现逻辑错误删除了为空的数据导致空指针异常
听说其他版本没这个问题 你可以试试
本文由宠物迷 百科常识栏目发布,非常欢迎各位朋友分享到个人朋友圈,但转载请说明文章出处“kettle 并行完成的后续操作,后续操作需要之前的并行job均完成,该如何设置”
上一篇
俗称猫爪草是什么中药?
下一篇
招标压价技巧?