apacheがセマフォを食いつぶす件

以下のログが出てapacheが停止しているー

[Sat Feb 25 03:14:02.160466 2017] [core:emerg] [pid 20337] (28)No space left on device: AH00023: Couldn't create the watchdog-callback mutex 
[Sat Feb 25 03:14:02.160495 2017] [:emerg] [pid 20337] AH00020: Configuration Failed, exiting

ググるとわんさか出てくるが、多分、logrotate時のHUPでセマフォが解放されてない
で、起動できなくなった時の対処法はみんな書いてあるけど、運用中のapache停止防止については書かれていないー
運用中のapacheに対してipcrmすると、使っているセマフォまで消してしまう可能性あり。どうやらセマフォは結構根の深いところで使っているとのこと

で、ipcsの数を監視するpluginで、アラート来たら再起動するようにしました。というお話し。