タイトルの通り, Google CloudとPythonで程よいバッチ処理(正確にはワークフロー処理)を作ったという話です, 2024年っぽさあるのでそういうタイトルにしています*1&こちらは個人開発事例であり, 業務および所属組織とは無関係です. 仕事ではなく, 個人開発(例のごとく野球データ分析, メジャーリーグです)で, 毎日データサイトからクローリングしてGoogle Cloud Storage(GCS)にCSV保存(Exporter) CSVファイルがGCSにあったらBigQueryのテーブルに保存(Importer*2) シーズンが始まったらこれを毎日一回のバッチ処理として実行(Trigger*3) というデータ基盤的なプロダクトを作っています*4, お絵かき(Blueprint)は以下のとおりです. 今回作ったモノです. CSV保存(Exporter)とBigQuery保存(