Teasure Data の Bulk Import 方法

こんなときに便利

手元にある大量のレコードを持つデータを Treasure Data にぶち込みたいとき・ぶち込む必要があるとき。

準備

Import する CSVカラム名とカラム数を、Import 先のテーブルと一致させておく (システム固定の time カラムは除く)。

手順

1. 「Catalog」ページの「Upload」ボタンをクリックする

画面右上 (2020/05/29 現在) の「Upload」ボタンをクリックします。

f:id:iishun:20200529143837p:plain

2. Import する CSV をファイルを選択する

「Browser」ボタンからあらかじめ準備しておいた CSV または TSV ファイルを選択したください。

f:id:iishun:20200529151527p:plain

3. プレビュー表示後「Advanced Settings」をクリックする

CSV がアップロードされると内容がプレビューされます。データの内容からある程度自動で String や Date などの型が設定されますが、テーブルのカラムと一致していない場合があるので「Advanced Settings」からカラムの型や Import 時の細かいオプションを確認・選択します。

f:id:iishun:20200529152520p:plain

4. プルダウンからカラムの型を選択する

「SCHEMA SETTINGS」エリアから適切なカラムの型を確認・選択してください。選択し終えたら「Save」ボタンをクリックしてプレビュー画面に戻ります。

f:id:iishun:20200529154624p:plain

5. 再度プレビューされた内容を確認して「Save」ボタンをクリックする

カラムが先程選択した型通りに変更されていることを確認した後、「Save」ボタンをクリックしてください。

f:id:iishun:20200529160043p:plain

6. Import 先スキーマを選択する

Import 先のスキーマを選択してください (ログインしているアカウントの Write 権限があるスキーマのみ)。

f:id:iishun:20200529160445p:plain

新しいテーブルを作成しつつ Import することも可能のようですが、あらかじめ準備しておくほうが確認する手間も省けるので、先にスキーマとテーブルを準備しておくことをおすすめします。

7. Import 先テーブルを選択する

Import 先のスキーマを選択してください (ログインしているアカウントの Write 権限があるテーブルのみ)。

f:id:iishun:20200529161042p:plain

8. Import 方法を選択する

2 種類方法があります。

f:id:iishun:20200529161753p:plain

  1. Append: 既存のレコードはそのままに、新しいレコードとして INSERT されます。
  2. Replace: Import 対象テーブルに既存のレコードが存在する場合、全て DELETE されてから INSERT されます。要は中身が入れ替わります。

9. タイムゾーンを選択する

Immport 時間のタイムゾーンを選択します。おおよそ「Asia/Tokyo」一択だと思いますが、サービスの性質に従って適宜変更してください。テーブル作成時に固定で生成されている「time」カラムにタイムゾーンに従った実行時間が unixtime で入ります。

f:id:iishun:20200529164600p:plain

10. 「Start Upload」ボタンをクリックする

「Start Upload」ボタンをクリックすると Job 実行画面に切り替わり、Bulk Import が始まります。

f:id:iishun:20200529164857p:plain

カラム数や容量にもよると思いますが、おおよそ 9 秒ぐらいで約 15,000 レコードの Import が終わりました。