5/5から5/16にかけて、カクヨムに繋がりにくくなる障害が続いていました。カクヨムをご利用の皆様には大変ご不便をおかけいたしましたが、こちらの事象が解決したことを報告いたします。
起きた障害の流れ
まず、カクヨムに繋がりにくくなる事象が発生していたのは以下の時刻でした。
- 2022/5/5 20:45 ~ 20:55
- 2022/5/8 21:25 ~ 21:40
- 2022/5/9 12:25 ~ 12:40
- 2022/5/10 12:25 ~ 12:35
- 2022/5/11 12:25 ~ 12:35
当該事象の対応のため2022/5/9 14時頃から、一次的に下記の処置を実施しました。こちらにつきましては本障害の解決にともなって取り下げております。
- カクヨムViewerアプリで特定の条件に当てはまる方が特定の操作をした場合にページが閲覧できなくなる
また対応の中で以下の時間帯にサービスの停止を伴うメンテナンスを行いました。
- 2022/5/11 15:00 ~ 15:15
この後、以下の時間に予約投稿などカクヨムの一部が動作しない状態になっていました。この予約投稿などの障害は、繋がりにくくなっていた事象への対処のためのメンテナンスにおいて、オペレーション手順に漏れがあったことが原因でした。再発防止策として、障害発生の緊急時においても正しく手順を実行できるよう、手順書の記載を見直しいたしました。
- 2022/5/11 15:50 ~ 2022/5/12 11:40
なお2022/5/17の10:30-12:00にも停止を伴うメンテナンスを予告しておりました。こちらは停止を伴う可能性があったものの、結果的には無停止でのメンテナンスを行いました。
上記のメンテナンスにより、繋がりにくくなっていた障害は解決いたしました。この後、念の為現在まで同様の障害が発生していないことを確認し、本報告を行っております。
障害の原因と対応
一連の障害の原因は、カクヨムの利用者が増えた結果、昼の12時半ごろを中心としたアクセス数が最も多い時間帯に、一部のサーバーが応答しきれないアクセスが発生したことによるものでした。
ただ、障害発生時に異常値を出しているサーバーが多かったためすぐに原因を特定できず、考えられる候補への対処を順次実施していきました。行った対応は、特定の傾向のアクセスの処理速度の改善、データベースの増強、アクセス数にあわせて自動で増減させているサーバーの台数増減設定の見直しなどです。そのため、最終的なボトルネックとなっていた原因の特定と対応までに時間を要してしまいました。
今後は同様の障害が起きないよう、当該のサーバーをアクセス増にあわせて増強していくための計画を検討しております。
上記の経緯により、カクヨムに繋がりにくくなる障害が発生し、原因を究明して解決するまでにお時間を頂くこととなってしまいました。また対処の不備により、一部機能がご利用いただけない期間が発生してしまいました。
このたびはカクヨムをご利用の皆様に多大なご迷惑をおかけいたしまして、誠に申し訳ございませんでした。これからも皆様に安心してカクヨムをご利用いただけるよう、対策を行ってまいります。
