【BigQuery】tsvファイルをBQに取り込む方法

お疲れ様です。コーヒーです。

今回はBigQueryにtsvファイルを取り込む方法を2パターン紹介します！

tsvファイルをBigQueryに取り込むにはひと工夫必要となりますので、こちら参考にしてみてください。

BQコマンドでのロードする方法

bqコマンドのloadを使用した方法になります。

ロードしたいファイルに関してはGCSにあらかじめ置いておいてください。

bq load --source_format=CSV --encoding=UTF-8 --field_delimiter="\t" dataset.table gs://path

• --source_format：csv
• --field_delimiter："\t" 

上記のようにオプションを設定することによりtsvファイルでもロードを行うことが出来ます！

Linuxコマンドでcsvファイルに変換する方法

こちらはそもそもcsvに変換してから取り込んでしまおうという方法です。

cat test.tsv | tr "\\t" "," > test.csv

catコマンド：ファイル内容を出力

trコマンド：文字列変換

上記2つのコマンドをパイプ処理で繋げ、csvファイルをtsvファイルに変換してます。

変換後のファイルは通常のcsvファイルをBQに取り込む方法で行えます。

例としてbqコマンドでの取り込みは以下のようになります。

bq load --source_format=CSV --encoding=UTF-8 dataset.table gs://path

以上でtsvファイルの読み込み方法は終了となります！

最後まで読んでいただきありがとうございました！！