Life is Like a Boat

忘備録や投資日記、プログラミングに関するメモやtipsなど

pandas

バフェット・コードのAPI機能を使ってデータをPandasのDataframe化する

年初にCAMPFIREでバフェット・コードがファンドレイズしてまして、有料機能がお得に使えるので一口申し込みました。 以下、その有料機能の目玉の一つであるAPI機能を使ってデータを取得、PandasでDataframe化するまでの記録です。 手順としては、 バフェット…

いい加減に覚えたい、よく使うPandas APIレファンレンス2

Pandas側からDBとのやり取りはよくするのに、いつも書き方を忘れてしまうのでメモ代わりに残してみました。 流れ 環境変数を読み込む クエリを作ってデータフレーム化する です。 インストール まずモジュールのインストールから pip install -U python-dote…

いい加減に覚えたい、よく使うPandas APIレファンレンス1

Pandasで毎回似たような操作するのに、「あれ、この前やったのに、なんだったっけ」と思い出せずに古いJupyter Notebookを検索しています。 いい加減覚えたいのでBlog記事にすることで記憶力を向上させたいと思いますw 生データ(.csv)でこんなデータセットが…

pandasでデータフレームをto_sqlする

pandasでDataframeをto_sqlする時、 sqlalchemy.exc.IntegrityError: (psycopg2.IntegrityError) duplicate key value violates unique constraint "experiment_pkey" が出て困りました。 エラーが出た経緯としては 下記のtableをread_sqlでDataframeにする …

KABU+を使ってみた。csvのダウンロードからPandasで利用するまで。

駄犬さんの紹介でKABU+さんのスタンダードプランに申し込んでみました。 はい、KABU+使ってます。Webからクローリングしてくる手間を考えると、楽ができて便利ですよー— 駄犬 (@daken_in_market) July 4, 2018 KABU+は株価データ・投資指標データ等の株式投…

景気ウォッチャー調査のxlsファイルをpandasで加工してみる

官公庁が出している統計データの大半はpdf, csv, xlsです。pdfはさておき、pandasはcsvやxlsをわりかし楽にdataframeに取り込めるのでありがたいです。 元データ 統計表(Excel表形式):景気ウォッチャー調査 - 内閣府 季節調整値の全国の分野・業種別、地…

Tdnetで公開されている業績予想修正に関するXBRLをpandasで加工してみた

Tdnetで公開されている業績予想修正に関するXBRL(正確にはixbrl.htm)をpandasで加工してランキングにしてみました。 下記のランキングの抽出条件としては、 Tdnetでは発表から一ヶ月経つとファイルがダウンロードできなくなるので4月20日以降の業績予想修正…