日々地道に成長

思いついたことを書いていきます。

【Digdag】Digdag入門講座~概要編~【初心者】

お疲れ様です。コーヒーです。

 

今回はDigdagについて、初心者による初心者向け解説をしてみようと思います。

Digdagの基本的な概念について説明していきます!!

 

Digdagとは

Digdagとは、いろんな操作を定義に従い自動実行してくれるワークフローエンジンと呼ばれるものです。

ワークフローエンジンには他にも以下のようなものがあります。

  • Airflow
  • Argo

Digdagの特徴としては以下のようなものがあります

  • 開発が容易である
  • tresure data社が開発したため、tresure dataとのコネクタが充実している
  • グループによりタスクを管理できる
  • プラグインによる拡張性
  • エラー時にエラー箇所から再実行可能
  • 様々なクラウドに対応(S3等)

Digdagの基本的な流れ

Digdagでのワークフローを定義する基本的な流れを説明します。

  1. [.dig]ファイルの作成
  2. [timezone]の設定
  3. [_export]でパラメータを設定
  4. [+]タスクの定義
  5. オペレータの使用

では、実際のDigdagを見つつ上記の流れを確認しましょう!

#timezonの設定
timezone: Asia/Tokyo
#パラメータの設定 _export: var: "digdag"
#タスクの定義 +task: echo>: start ${var}#オペレータの使用

上記のプログラムは[start digdag]と表示するだけのものとなっています。

今は流れだけ掴んでください!!

 

次回、digdagのインストールと詳しい使用方法について説明していきます!

最後まで読んでいただきありがとうございます!!