問題:
Python使ってCSVファイルから非構造化データをPostgreにinsertしているときに処理がコケたときのメモ.
_csv.Error:フィールドがフィールド制限を超えています(131072)
と出てしまった.
解決策:
csvファイルには非常に大きなフィールドが含まれている可能性があるため,field_size_limit値を変更する.
import sys
import csvcsv.field_size_limit(sys.maxsize)
これで処理がコケなくなった.
そもそもこういうDB設計でいいのかどうかという問題は置いとく…