日々地道に成長

思いついたことを書いていきます。

【Digdag】Digdag実践トレーニング方法【基礎】

お疲れ様です。コーヒーです。

 

今回は「Digdagって何?」って人でも一から実践で使えるようになるまでのトレーニング方法となります。

レーニングの流れとしては以下のようになってます。

  1. Digdagについて調べる
  2. Digdagのインストール
  3. Digdagの簡易実行
  4. Digdagのサンプルプログラムの理解
  5. DigdagとEmbulkを組み合わせ
  6. Digdagでの変数の使用

こちらの内容を全て完了するころには、Digdagをある程度使いこなせているはずです!

ぜひ最後まで挑戦してDigdagをマスターしてください!

1.Digdagについて調べる

Digdagとは何かを調べなくては始まりません。

こちらの段階では自分なりにメモ等でよいので調べてみてください!

参考として、自分のブログの内容を載せておきますのでこちらも確認してみてください。

stady-diary.hatenablog.com

2.Digdagのインストール

自身の環境でDigdagを使用できるようにインストールを行いましょう!

OSによりインストール方法に違いはありますが、手順に沿ってやってみましょう。

以下参考になります。

stady-diary.hatenablog.com

3.Digdagの簡易実行

インストールがおこなえたら、実際に動作がおこなえるかのテストも含めて実行してみましょう。

こちらの段階でエラー等がある場合はインストールの見直しやパスの確認をおこなってみてください。

それでは、こちらのプログラムを実際に実行してみましょう。

[test.dig]

#timezonの設定
timezone: Asia/Tokyo
#パラメータの設定 _export: var: "digdag"
#タスクの定義 +task: echo>: start ${var}#オペレータの使用

実行コマンド

digdag run test.dig

4.Digdagのサンプルプログラムの理解

先ほどの簡易実行したプログラムについてさらに理解を深めていきましょう。

どれがどの役割をしているのかを理解することが出来れば、今後自分でプログラムを作成するしやすくなります。

以下公式ドキュメントになりますが参考にしてみてください。

docs.digdag.io

5.DigdagとEmbulkを組み合わせての出力

ここからは実践編としてEmbulkと組み合わせたプログラムを作成してみましょう。

以下のEmbulkトレーニングを先にやっておくとより良いです!

stady-diary.hatenablog.com

それでは以下の処理の流れをDigdagで作成してみてください。

  1. digdagの実行日次をを標準出力に表示
  2. MySQLからEmbulkトレーニングで作成したテーブルをcsv形式で自分のローカル環境へ出力(embulkを使用)
  3. 出力したcsvファイルの行数を標準出力に表示

6.Digdagでの変数の使用

先ほど作成したプログラムを変数を使用したものに変更してみましょう!

そうすることで、より汎用性の高いプログラムになります。

Embulkも含めると少しわかりにくいところもあると思いますが、以下参考にしてください。

stady-diary.hatenablog.com

終わりに

ここから先はそれぞれの目的に合ったプログラムを作成していきましょう。

コード形式でワークフローを作成できるDigdagをぜひ使いこなしましょう!

 

お疲れ様でした。

最後までお読みいただきありがとうございます!