欢迎来到cool的博客
7

Music box

Click to Start

点击头像播放音乐
新博客链接

Apache Beam GCP Dataflow 在开发中很有帮助的document,demo

  • 两个Pcolection, 两个pubsub  group(join)的例子:

https://github.com/GoogleCloudPlatform/bigquery-etl-dataflow-sample/blob/master/src/main/java/com/google/cloud/bqetl/mbdata/MusicBrainzTransforms.java

  • TriggerExample 可以帮你对 trigger有更深的了解:

https://github.com/apache/beam/blob/v2.11.0/examples/java/src/main/java/org/apache/beam/examples/cookbook/TriggerExample.java#L252

  • GCP Pub/Sub 的一些使用经验

https://blog.levichen.tw/gcp-pub-sub-%E4%BD%BF%E7%94%A8%E7%B6%93%E9%A9%97-7569dcad5024

  • 封装了很多方法,比如 Bigdecimal 的 Sum, Avg 等等。

https://www.programcreek.com/java-api-examples/?code=apache/beam/beam-master/sdks/java/extensions/sql/src/main/java/org/apache/beam/sdk/extensions/sql/impl/transform/BeamAggregationTransforms.java#

  • 一些 beam 基础中文文档

https://www.twblogs.net/a/5c6d2b03bd9eee5bea9df3ba

https://blog.csdn.net/ffjl1985/article/details/78055152

 

 

 

 

返回列表