Life is Like a Boat

忘備録や投資日記、プログラミングに関するメモやtipsなど

pandas

いい加減に覚えたい、よく使うPandas APIレファンレンス1

Pandasで毎回似たような操作するのに、「あれ、この前やったのに、なんだったっけ」と思い出せずに古いJupyter Notebookを検索しています。 いい加減覚えたいのでBlog記事にすることで記憶力を向上させたいと思いますw 生データ(.csv)でこんなデータセットが…

pandasでデータフレームをto_sqlする

pandasでDataframeをto_sqlする時、 sqlalchemy.exc.IntegrityError: (psycopg2.IntegrityError) duplicate key value violates unique constraint "experiment_pkey" が出て困りました。 エラーが出た経緯としては 下記のtableをread_sqlでDataframeにする …

KABU+を使ってみた。csvのダウンロードからPandasで利用するまで。

駄犬さんの紹介でKABU+さんのスタンダードプランに申し込んでみました。 はい、KABU+使ってます。Webからクローリングしてくる手間を考えると、楽ができて便利ですよー— 駄犬 (@daken_in_market) July 4, 2018 KABU+は株価データ・投資指標データ等の株式投…

景気ウォッチャー調査のxlsファイルをpandasで加工してみる

官公庁が出している統計データの大半はpdf, csv, xlsです。pdfはさておき、pandasはcsvやxlsをわりかし楽にdataframeに取り込めるのでありがたいです。 元データ 統計表(Excel表形式):景気ウォッチャー調査 - 内閣府 季節調整値の全国の分野・業種別、地…

Tdnetで公開されている業績予想修正に関するXBRLをpandasで加工してみた

Tdnetで公開されている業績予想修正に関するXBRL(正確にはixbrl.htm)をpandasで加工してランキングにしてみました。 下記のランキングの抽出条件としては、 Tdnetでは発表から一ヶ月経つとファイルがダウンロードできなくなるので4月20日以降の業績予想修正…