今回はAWSソリューションアーキテクト-アソシエイト-試験を合格したので、試験の概要や自分なりの合格方法等を紹介します！

「Digdagって何？」って人でも一から実践で使えるようになるまでのトレーニング方法紹介

お疲れ様です。コーヒーです。 今回は「Embulkって何？」って人でも一から実践で使えるようになるまでのトレーニング方法となります。 トレーニングの流れとしては以下のようになってます。 ETLツールについて調べる Embulkのインストール Embulkの簡易実行 …

お疲れ様です。コーヒーです。 今回はAWSクラウドプラクティショナー試験を合格したので、試験の概要や自分なりの合格方法等を紹介します！ AWSクラウドプラクティショナーとは AWSの基礎的な知識の学習および証明に最適な資格となっております。 AWSには他…

今回はBigQueryの既存テーブルをパーティションテーブルに変更する方法をまとめてみました。 今回はbqコマンドを使用しての方法になりますので是非参考にしてみてください！

【BigQuery】tsvファイルをBQに取り込む方法

今回はBigQueryでのテーブルの差分確認方法についてです。 データを整理しているときやデータのリカバリ時に、二つのテーブルの差分を確認する必要が出てくると思います。 そんな時に今回紹介する方法を利用すればすぐに確認できると思います。

今回はデータ準備をする上でよく確認するファイルの行数カウントについてまとめてみました。 それぞれの状況別に確認方法を紹介していきます！

今回はDigdagのでの平日判定処理の作成方法をまとめてみました。 祝日も除外しての平日のみの処理を作成する必要があったため、この処理を作成してみました。

今回はDigdagのsh_resultプラグインの使用方法をまとめてみました。 こちらのプラグインはshコマンドの結果を変数として使用できる、非常に便利なプラグインになっております。

今回はDigdagのif文の使用方法をまとめてみました。 if文はプログラムにおいて必須の部分ですので、Digdagにおいてもマスターしておくとよいと思います！

今回はDigdagのfor文の使用方法をまとめてみました。 for文はプログラムにおいて必須の部分ですので、Digdagにおいてもマスターしておくとよいと思います！

お疲れ様です。コーヒーです。 今回は最近AWS認定クラウドプラクティショナーの資格勉強を始めたため、こちらの試験の概要についてまとめてみました！ 今回試験を受ける経緯 現在自分はデータプレパレーション周りの知識を習得しています。 主にはSQLやETLツ…

今回はawkを使用して重複行を削除する方法を紹介します

今回は自分がPythonエンジニア基礎試験に合格するために行ったことを紹介していきます！ 同じような状況の人はぜひ参考に勉強を進めてみてください！

今回はBigQueryにおけるビッグデータの出力方法について解説していきます。GCS経由での方法を今回はおすすめしていこうと思います。

今回はLinuxコマンドのmkdirコマンドのちょっと便利なオプションについての解説になります。 このオプションを使用すると、ディレクトリが存在していてもエラーをはかないためちょっとしたときに使えると便利です。

DigdagのshコマンドからBigQueryのbqコマンドを使用する方法について解説していきます。

今回はembulk-input-bigqueryとembulk-output-bigqueryでのエラーについてまとめてみます。

今回はDigdagでのBQコマンドの使用方法を分かりやすく解説しています。

お疲れ様です。コーヒーです。 今回はBigQueryの「An internal error occurred and the request could not be completed」エラーについてと、その対処法についてです。 エラーの状況について digdag+embulkでbqのクエリを実行時発生 発生タイミングは不定期 …

お疲れ様です。コーヒーです。 今回はDigdag+Embulkをで変数を使用して、分かりやすく、使いまわしやすく、修正しやすいプログラムを目指していこうと思います。 前回作成した処理を変数を使用したものに変更していこうと思いますので、よければそちらも確認…

Digdagとembulkを組み合わせた、簡単な処理について解説しています。 今回はBigQueryからs3にファイルを転送する手順となっています。

Digdagのインストール方法をわかりやすく説明しています。

digdagの基本的な知識について解説しています。

Embulkの簡単な使用方法について解説いたします。主な内容としてはembulkのQuikstart方法です

Embukjのインストール方法について初心者向けに解説いたします。

Embulkについての初心者向け解説。EmbulkからETLに触れるという人にとって分かりやすく解説しています

お疲れ様です。コーヒーです。 第12回はHTML＆CSSとWEBデザイン実践編の最終回とします！ HTMLとCSSでできる範囲のことは一通りやったため、次回からはなにか新しいことに挑戦していこうかなと思います。 前回は紹介ページのコンテンツ追加を行いました！ 第…

お疲れ様です。コーヒーです。 第11回も引き続きHTML＆CSSとWEBデザイン実践編です！ 前回は紹介ページの作成を行いました！ 第10回： https://stady-diary.hatenablog.com/entry/2020/08/03/191003?_ga=2.126368654.2052626876.1598104009-1694477281.15432…