急に容量が増えたときの調査方法
スクレイピングしてたら意図しないストレージ容量の増加が起きた.
データの保存先のMySQLの容量は大したものではなかったため意図せぬログファイルやキャッシュファイルの仕業と考えられた.
実際, ディスク容量アナライザを用いると/tmpや/varなどが最終更新日となっていた.
そこで以下のようなfindコマンドのオプションで調べた
sudo find /tmp/ -mmin -10 -ls ^C sudo find /tmp/ -mmin -60 -size +100M | xargs ls -l | sort -rn
結果, /tmp/ にスクレイピングで使っていたseleniumのChromeのキャッシュファイルらしきものが大量にあった.
seleniumのChromeキャッシュ出力先の設定
ChromeDriverを使いseleniumでスクレイピングしてたら/tmp/.google.Chrome.(任意の英文字) というディレクトリが急激に増えメインストレージの容量を逼迫した.
ChromeDriverのログは環境変数TMPDIRに指定したファイルに出力されるそう
従って~/.bash_profileに次のように記述しsourceすることで任意の場所に吐き出せる.
# ~/.bash_profile export TMPDIR='/mnt/aaaa/chrome_cache/'
