今回はBigQueryの既存テーブルをパーティションテーブルに変更する方法をまとめてみました。 今回はbqコマンドを使用しての方法になりますので是非参考にしてみてください！

【BigQuery】tsvファイルをBQに取り込む方法

今回はBigQueryでのテーブルの差分確認方法についてです。 データを整理しているときやデータのリカバリ時に、二つのテーブルの差分を確認する必要が出てくると思います。 そんな時に今回紹介する方法を利用すればすぐに確認できると思います。

今回はデータ準備をする上でよく確認するファイルの行数カウントについてまとめてみました。 それぞれの状況別に確認方法を紹介していきます！

今回はDigdagのでの平日判定処理の作成方法をまとめてみました。 祝日も除外しての平日のみの処理を作成する必要があったため、この処理を作成してみました。

今回はDigdagのsh_resultプラグインの使用方法をまとめてみました。 こちらのプラグインはshコマンドの結果を変数として使用できる、非常に便利なプラグインになっております。

今回はDigdagのif文の使用方法をまとめてみました。 if文はプログラムにおいて必須の部分ですので、Digdagにおいてもマスターしておくとよいと思います！

今回はDigdagのfor文の使用方法をまとめてみました。 for文はプログラムにおいて必須の部分ですので、Digdagにおいてもマスターしておくとよいと思います！

お疲れ様です。コーヒーです。 今回は最近AWS認定クラウドプラクティショナーの資格勉強を始めたため、こちらの試験の概要についてまとめてみました！ 今回試験を受ける経緯 現在自分はデータプレパレーション周りの知識を習得しています。 主にはSQLやETLツ…

今回はawkを使用して重複行を削除する方法を紹介します

今回は自分がPythonエンジニア基礎試験に合格するために行ったことを紹介していきます！ 同じような状況の人はぜひ参考に勉強を進めてみてください！

今回はBigQueryにおけるビッグデータの出力方法について解説していきます。GCS経由での方法を今回はおすすめしていこうと思います。

今回はLinuxコマンドのmkdirコマンドのちょっと便利なオプションについての解説になります。 このオプションを使用すると、ディレクトリが存在していてもエラーをはかないためちょっとしたときに使えると便利です。

DigdagのshコマンドからBigQueryのbqコマンドを使用する方法について解説していきます。

今回はembulk-input-bigqueryとembulk-output-bigqueryでのエラーについてまとめてみます。

今回はDigdagでのBQコマンドの使用方法を分かりやすく解説しています。

お疲れ様です。コーヒーです。 今回はBigQueryの「An internal error occurred and the request could not be completed」エラーについてと、その対処法についてです。 エラーの状況について digdag+embulkでbqのクエリを実行時発生 発生タイミングは不定期 …

お疲れ様です。コーヒーです。 今回はDigdag+Embulkをで変数を使用して、分かりやすく、使いまわしやすく、修正しやすいプログラムを目指していこうと思います。 前回作成した処理を変数を使用したものに変更していこうと思いますので、よければそちらも確認…

Digdagとembulkを組み合わせた、簡単な処理について解説しています。 今回はBigQueryからs3にファイルを転送する手順となっています。