Life is Like a Boat

忘備録や経済、投資、プログラミングに関するメモやtipsなど

今週の売買:なし 年初からの実現益: +1289

年初からの実現益は1289万になりました。

直近では平田機工やエンジャパンがプラスに貢献しています。

最近、取引の履歴を見て振り返るというプロセスに時間を割けず... 面倒なのがSBIでダウンロードしたcsv文字コードです。 このcsv文字コードSJISで、そのままGoogle spreadsheetにアップロードすると文字化けしてしまいます。

そこでnkfというテキストデータの文字コードを変換してくれるunixのコマンドを使って変換作業をかませています。

流れとしては

  1. Safari/ChromeでSBIから取引履歴をcsvでダウンロード

  2. ローカルでnkfをつかってそのcsvファイルをSJIS -> UTF8変換

  3. 変換後のファイルをGoogle Driveにアップロード

  4. フィルターやQUERY関数を使って集計作業

ざっくりこれだけでも10分くらいはかかります。

これらを自動化する方法としては 1についてはログイン後の情報なのでJavascriptを使うアプローチならCasperJSやNightmareJSといったスクレイピングに特化したライブラリを使ってcsvファイルをダウンロードするという方法があります。 3のGoogle Driveにアップロードする作業ですが、目的は集計することなので、データをつっこむ先はMySQLでもPostgreSQLでも構いません。 Pythonのpandasでデータを持ってきて集計できますからね。

なので

  1. スクレイピングしてcsvをダウンロード

  2. sjis->uft8変換

  3. Postgresへのインサート処理

  4. Pandasで集計結果を出す。

これでやりたい事が自動化できそうです。 ToDoタスクに入れておこう。