• このエントリーをはてなブックマークに追加
運用備忘録: 2GBまで肥大化したmlocate.dbが犯人でした
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

運用備忘録: 2GBまで肥大化したmlocate.dbが犯人でした

2014-11-27 20:45
    どうもこんばんわ。システム運用担当のButameronです。
    トラブル対応の備忘録として時々不定期にこんな記事も書いていこうと思います。


    OPAP-JPでは、定期的な簡易バックアップにbtrfsのスナップショット機能を使っています。
    (オンラインfsckすらない実験的なファイルシステムを実運用で使うというあたり、壊滅的にダメな人です。どうもこんばんわ。)

    これの良いところは、Copy on Writeの仕組みでストレージを効率的に使えることです。
    あるファイルを一切変更しなければ、いくらそのスナップショットを作ってもほぼそのファイルひとつ分だけの領域だけしか占拠しません。限られたストレージ容量を効率的に使いながらファイルの履歴を保存するという用途に重宝するというわけです。(上手く使えば、遠隔バックアップも効率的に行うことができます)

    さて、ConoHa支援プログラム でVPSの無償提供を受け始めてから数ヶ月、上記のような感じでしばらく調子よく運用していたはずなのですが、最近、ストレージ容量がじわじわと圧迫されてきていることに気がつきました。ファイル容量は全体で30GB程度しかないはずなのに、気がつけばストレージの半分が消費されています。これは間違いなくスナップショットのしわざです。

    クオータを有効にして、btrfsQuota.py で調べたところ、どうもそれぞれのスナップショットが排他的に2GBを消費しているという状況。

    sudo btrfs quota enable /
    sudo btrfs quota rescan /
    sudo btrfsQuota.py /

    subvol group         total    unshared
    -------------------------------------------------------------------------------
    (略)
    var/snapshots/000115_@ 0/1146      4.84G       1.80G
    var/snapshots/000115_@home 0/1147      0.11G       0.00G
    (略)


    ということは、どこかに定期的に書き換わる2GBぐらいのファイルがあるということです。
    findコマンドで2GB以上のファイルを探すと、ありました。

    「/var/lib/mlocate/mlocate.db」


    これは、ファイルの一覧を保存しているデータベースのようですが、なぜか2GB以上にまで肥大化しています。尋常ではありません。

    なぜこんなに肥大化したのか。
    大量のスナップショットと、恐らく、その内部のシンボリックリンクの無限ループ。
    スナップショットは/var/snapshots的な場所に作成していたため、mlocateの探索対象となっていたのです。それだけでも数十倍のファイル数になりますが、もしかすると、どこかにシンボリックリンクのループが形成されていて、無限にファイルが記録されていくという恐ろしいことが起きていたのかもしれません。

    そして、mlocate.dbはcronか何かで定期的に書き換えられるため、ほぼ全てのスナップショットにそれぞれ中身が違う2GBのmlocate.dbが存在し、結果として「スナップショット数×2GB」の容量を消費していたのでした。


    犯人が分かればあとは対策するだけです。

    まず、/etc/updatedb.conf を編集し「PRUNEPATHS」に除外するディレクトリを追記します。

    あとは、以下のコマンドを実行してmlocate.dbを再構築すれば完了です。
    sudo rm /var/lib/mlocate/mlocate.db
    sudo updatedb 


    この結果、mlocate.dbは12MBにまで小さくなりました。
    いやはやビックリです。


    チャンネル会員ならもっと楽しめる!
    • 会員限定の新着記事が読み放題!※1
    • 動画や生放送などの追加コンテンツが見放題!※2
      • ※1、入会月以降の記事が対象になります。
      • ※2、チャンネルによって、見放題になるコンテンツは異なります。
    ブログイメージ
    こうしす!通信
    更新頻度: 毎月2本程度
    最終更新日:
    チャンネル月額: ¥540 (税込)

    チャンネルに入会して購読

    コメントを書く
    コメントをするには、
    ログインして下さい。