【Digdag BigQuery】DigdagのshコマンドからBigQueryのbqコマンドを使用する
お疲れ様です。コーヒーです。
今回はDigdagでのBigQueryの操作についてまとめていこうと思います。
DigdagでBigQueryを操作する方法は主に下記の3つがあります。
- DigdagのshコマンドからBigQueryのbqコマンドを使用する
- Digdagのbqコマンドを使用する
今回は1つ目のDigdagのshコマンドからBigQueryのbqコマンドを使用する方法について解説していきます。
BigQueryのbqコマンド概要について
BigQueryのbqコマンドのリファレンスについては下記になります。
bqコマンドを使用することでCLI上でBigQueryの操作を行うことが出来ます。
例としてはテーブルのコピーやクエリの実行等があります。
今回はクエリの実行をDigdag上で行います。
実行方法について
上記のようにdigdagの[sh>]でbqコマンドを呼び出して実行します。
オプションで[--use_legacy_sql]でfalseを指定しています。
これは標準SQLを使用するために必要な設定となっています。
そのほかにもいろいろな設定を選べるため(replace設定やパーティションの設定等)それぞれ必要な時に調べてみるとよいと思います。
今回は以上になります。
次回は2つ目のDigdagのbqコマンドを使用する方法を解説しようと思います。
最後まで読んでいただきありがとうございました。