BigQueryのフィールド取得とクエリで利用できる型への変換

Table.Metadata 各フィールドのスキーマを取得する#

cloud.google.com/go/bigqueryを利用すると、次のように BigQuery のテーブルのスキーマを取得できる。

1
md, err := client.Dataset("my_dataset").Table("my_table").Metadata(ctx)
2

3
for _, fs := range md.Schema {
4
  fmt.Printf("Name: %s, FieldType: %s\n", fs.Name, fs.Type)
5
}

https://pkg.go.dev/cloud.google.com/go/bigquery#FieldSchema

FieldType を Google SQL で利用できる型に変換する#

Table.Metadataで取得されるFieldTypeは、BigQuery でフィールドを定義する値であって、Google SQL*で利用できる型とは異なる場合がある。

*Google SQL : BigQuery の SQL は、Google SQL を採用している。

Google SQL の Data types についてのドキュメントを参照して、可能な限り BigQuery FieldType と同名の Google SQL Data Type を選択した変換表は次のようになる。

RECORD が当然として、FLOAT は FLOAT64 などへの変換が必要になる。INTEGER と BOOLEAN はそれぞれ同名のエイリアスがあるため、そのまま利用できる。

取得したスキーマを元に NULL を挿入するクエリを生成する場合を考える。STRING などの場合は、取得された FieldType をそのまま利用して次のようにすればいい。

1
fmt.Sprintf("CAST(NULL AS %s) AS %s", fs.Type, fs.Name)

しかし、FLOAT の場合を考慮すると分岐が必要になる。

1
fieldType := fs.Type
2
if fs.Type == bigquery.FloatFieldType {
3
    fieldType = "FLOAT64"
4
}
5
fmt.Sprintf("CAST(NULL AS %s) AS %s", fieldType, fs.Name)

RECORD を考慮する場合は、さらに Field のスキーマを見て、再帰的に処理する必要がある。 例えば、STRING 型の p1 と p2 というフィールドを持つ record_field の場合、次のようなクエリを生成すればいい。

1
CAST(NULL AS STRUCT<p1 STRING, p2 FLOAT64>) AS record_field