【Digdag】Digdag実践トレーニング方法【基礎】
お疲れ様です。コーヒーです。
今回は「Digdagって何?」って人でも一から実践で使えるようになるまでのトレーニング方法となります。
トレーニングの流れとしては以下のようになってます。
- Digdagについて調べる
- Digdagのインストール
- Digdagの簡易実行
- Digdagのサンプルプログラムの理解
- DigdagとEmbulkを組み合わせ
- Digdagでの変数の使用
こちらの内容を全て完了するころには、Digdagをある程度使いこなせているはずです!
ぜひ最後まで挑戦してDigdagをマスターしてください!
1.Digdagについて調べる
Digdagとは何かを調べなくては始まりません。
こちらの段階では自分なりにメモ等でよいので調べてみてください!
参考として、自分のブログの内容を載せておきますのでこちらも確認してみてください。
2.Digdagのインストール
自身の環境でDigdagを使用できるようにインストールを行いましょう!
OSによりインストール方法に違いはありますが、手順に沿ってやってみましょう。
以下参考になります。
3.Digdagの簡易実行
インストールがおこなえたら、実際に動作がおこなえるかのテストも含めて実行してみましょう。
こちらの段階でエラー等がある場合はインストールの見直しやパスの確認をおこなってみてください。
それでは、こちらのプログラムを実際に実行してみましょう。
[test.dig]
実行コマンド
4.Digdagのサンプルプログラムの理解
先ほどの簡易実行したプログラムについてさらに理解を深めていきましょう。
どれがどの役割をしているのかを理解することが出来れば、今後自分でプログラムを作成するしやすくなります。
以下公式ドキュメントになりますが参考にしてみてください。
5.DigdagとEmbulkを組み合わせての出力
ここからは実践編としてEmbulkと組み合わせたプログラムを作成してみましょう。
以下のEmbulkトレーニングを先にやっておくとより良いです!
それでは以下の処理の流れをDigdagで作成してみてください。
- digdagの実行日次をを標準出力に表示
- MySQLからEmbulkトレーニングで作成したテーブルをcsv形式で自分のローカル環境へ出力(embulkを使用)
- 出力したcsvファイルの行数を標準出力に表示
6.Digdagでの変数の使用
先ほど作成したプログラムを変数を使用したものに変更してみましょう!
そうすることで、より汎用性の高いプログラムになります。
Embulkも含めると少しわかりにくいところもあると思いますが、以下参考にしてください。
終わりに
ここから先はそれぞれの目的に合ったプログラムを作成していきましょう。
コード形式でワークフローを作成できるDigdagをぜひ使いこなしましょう!
お疲れ様でした。
最後までお読みいただきありがとうございます!