日々地道に成長

思いついたことを書いていきます。

2021-12-27から1日間の記事一覧

【BigQuery】既存のテーブルをパーティションテーブルに変更する方法

今回はBigQueryの既存テーブルをパーティションテーブルに変更する方法をまとめてみました。 今回はbqコマンドを使用しての方法になりますので是非参考にしてみてください!

【BigQuery】tsvファイルをBQに取り込む方法

【BigQuery】tsvファイルをBQに取り込む方法

【BigQuery】SQLでテーブルの差分確認

今回はBigQueryでのテーブルの差分確認方法についてです。 データを整理しているときやデータのリカバリ時に、二つのテーブルの差分を確認する必要が出てくると思います。 そんな時に今回紹介する方法を利用すればすぐに確認できると思います。

【Linux,windows,S3】ファイルの行数カウントについて

今回はデータ準備をする上でよく確認するファイルの行数カウントについてまとめてみました。 それぞれの状況別に確認方法を紹介していきます!

【BigQuery,digdag】BQとdigdagを使用した平日判定処理の作成方法

今回はDigdagのでの平日判定処理の作成方法をまとめてみました。 祝日も除外しての平日のみの処理を作成する必要があったため、この処理を作成してみました。

【Digdag】sh_resultプラグインの使用、活用方法

今回はDigdagのsh_resultプラグインの使用方法をまとめてみました。 こちらのプラグインはshコマンドの結果を変数として使用できる、非常に便利なプラグインになっております。

【Digdag】digdagにおけるif文の基本使用方法【基礎】

今回はDigdagのif文の使用方法をまとめてみました。 if文はプログラムにおいて必須の部分ですので、Digdagにおいてもマスターしておくとよいと思います!

【Digdag】digdagにおけるfor文の基本使用方法【基礎】

今回はDigdagのfor文の使用方法をまとめてみました。 for文はプログラムにおいて必須の部分ですので、Digdagにおいてもマスターしておくとよいと思います!