満足への果てしない旅
2017/06/12
IT 仕事落雷による影響を考慮し、社内サーバを停止したら大変なことになりました。
忘れもしない、6月5日(月)の夕方頃。
落雷が非常にひどく、事務所にあるサーバに落雷対策の電源は設置していなかったので念のためサーバの電源を落とす。
順次写真をDBに格納し、GPS座標を格納するタスクをスケジューリングしていたことなんてすっかり忘れて…。
多重起動回避のため、lockファイルがあればタスクが起動しないような作りにしていたものの、タスクの実行中に電源を落としたためlockファイルが削除されず残ったまま。
結果、それ以降、正常な動作として、タスクは起動されず、そのため社内システムに撮影した写真が蓄積されていないことに気づく。
6月5日のログには電源が切れるタイミングまで下記のログが続く。
MySQL error:2006: MySQL server has gone away
とりあえずMysqlの再起動を試みたものの、GUI操作画面のため誤ってアップデートボタンを押し、アップデート完了後、my.cnfが初期化されたまま、タスクを実行したらメモリサイズにひっかかり、
MySQL error:1153: Got a packet bigger than ‘max_allowed_packet’ bytes
という嫌なログを吐いてることに気づく。
無理やり処理がすすんでしまったレコードを全て抽出し、削除し終え、my.cnfでmax_allowed_packet等も増やしてどうにか対応完了。
あとは無理にタスクを実行せず、正規のタスクスケジュールを待って、明日どのようなログが吐かれているのか待つことにしました。
ドキドキでなりません。
サーバのハード面の運用はやはり怖い。
早めに外部に持っていこうと思いつつ、構築する時間がとれない悩みどころ。