Beam中的OutputTag怎么使用
短信预约 -IT技能 免费直播动态提醒
在Apache Beam中,OutputTag是用来定义一个特定类型的Side Output的标记。Side Output是在处理元素时可以将其发送到另一个PCollection中的一种机制。使用OutputTag可以帮助将不同类型的输出分开,方便后续处理。
要使用OutputTag,首先需要创建一个OutputTag对象并指定要标记的类型,例如:
// 创建一个OutputTag对象,类型为String
final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};
然后在ParDo函数中,可以使用OutputTag将元素发送到Side Output中,例如:
PCollectionTuple output = input.apply(ParDo.of(new DoFn<String, String>() {
@ProcessElement
public void processElement(ProcessContext c) {
String element = c.element();
if (element.startsWith("A")) {
c.output(outputTag, element);
} else {
c.output(element);
}
}
}).withOutputTags(outputTag, TupleTagList.empty()));
在上面的例子中,如果元素以"A"开头,则将其发送到Side Output中,否则将其发送到主输出中。最后,可以通过调用output.get(outputTag)
来获取Side Output的PCollection,例如:
PCollection<String> sideOutput = output.get(outputTag);
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341