日々地道に成長

思いついたことを書いていきます。

【Digdag BigQuery】DigdagのshコマンドからBigQueryのbqコマンドを使用する

お疲れ様です。コーヒーです。

 

今回はDigdagでのBigQueryの操作についてまとめていこうと思います。

DigdagでBigQueryを操作する方法は主に下記の3つがあります。

  1. DigdagのshコマンドからBigQueryのbqコマンドを使用する
  2. Digdagのbqコマンドを使用する

今回は1つ目のDigdagのshコマンドからBigQueryのbqコマンドを使用する方法について解説していきます。

BigQueryのbqコマンド概要について

BigQueryのbqコマンドのリファレンスについては下記になります。

cloud.google.com

bqコマンドを使用することでCLI上でBigQueryの操作を行うことが出来ます。

例としてはテーブルのコピーやクエリの実行等があります。

今回はクエリの実行をDigdag上で行います。

実行方法について

sh>: bq query --use_legacy_sql=false  < xxx.sql

上記のようにdigdagの[sh>]でbqコマンドを呼び出して実行します。

オプションで[--use_legacy_sql]でfalseを指定しています。

これは標準SQLを使用するために必要な設定となっています。

そのほかにもいろいろな設定を選べるため(replace設定やパーティションの設定等)それぞれ必要な時に調べてみるとよいと思います。

 

今回は以上になります。

次回は2つ目のDigdagのbqコマンドを使用する方法を解説しようと思います。

最後まで読んでいただきありがとうございました。