POPCHAT-Xクラウド環境（AWS）でサーバー不安定による障害のお知らせ（2023.3.3追記：復旧報告）

追記：2023年3月3日（木）19:50時点

長らくご迷惑をおかけいたしましたPOPCHAT-Xクラウド環境の障害に関しまして、復旧となっております。

別途、POPCHAT-Xシリーズをご利用のお客様ご担当者およびサポート会社ご担当者の方々には、ご登録いただいておりますメールアドレス宛てに詳しい障害復旧報告メールも配信されております。そちらもご確認をお願いできますでしょうか。

この度の当社クラウド環境の障害におきまして、ご利用のお客様および関係の皆様に多大なご迷惑をおかけいたしました事を深くお詫び申し上げます。
大変誠に申し訳ございませんでした。

 

追記：2023年2月23日（木）14:35時点

昨日夜間から本日お昼頃までにかけて、一部のお客様にて認証時に「メンテナンス中です」のメッセージが表示されて認証できない障害が発生しまして対処を行い、本日12:40頃までに問題解消致しました。

該当のお客様には度重なり多大なご迷惑をおかけ致しまして大変誠に申し訳ございませんでした。

 

追記：2023年2月21日（火）18:05時点

下記の障害（POPCHAT-X気機器本体とクラウド環境との接続エラーによる認証障害）の件、2/17(土)夜間～2/18(土)にかけてのクラウド側メンテナンスとその後の現地お客様POPCHAT-X機器本体の電源リブート対応ご協力の後、大多数のお客様におきまして状況改善を維持出来ており、引き続き経過観測中となっております。

また、若干ごく一部のお客様から、クラウド接続（死活監視）は正常化したが認証画面がまだ遅い等の旨のご申告を頂戴しており対応中です。

復旧アナウンスまでもう暫くお時間いただけますでしょうか。長らくご迷惑をおかけしておりまして誠に申し訳ございません。

 

追記：2023年2月19日（日）14:50時点

下記の障害（POPCHAT-X気機器本体とクラウド環境との接続エラーによる認証障害）の件、その後も改善に取り組んでおりまして、一昨日夜間からの順次行っておりますメンテナンス作業より以降、クラウド接続の回復を維持できているお客様が増えつつある現状です。

まだ全てのお客様で完全復旧と言える状況となるまで引き続き対応してまいります。

 

追記：2023年2月18日（土）15:05時点

下記の件、一部のお客様でPOPCHAT-X機器本体が所定のクラウド環境に対して断続的に接続エラーとなり認証機能が不安定な状態となる障害に関しまして、その後の状況を報告させていただきます。

昨晩から本日までの間にかけて、緊急対応としてクラウド環境のサーバー一時停止（20:00～20:30頃）を伴うメンテナンス作業を実施、その後も現在まで引き続き該当のお客様のPOPCHAT-X機器本体と所定のクラウド認証基盤/クラウド管理システムとの接続安定性の改善に取り組んでおります。

また、POPCHAT-X機器本体の再起動（電源OFF/ON）の方法、手順のお問い合わせを複数いただいております。POPCHAT-X機器本体の電源OFF/ONのリブート操作は、管理画面で行うのではなく直接電源ボタンを押下していただく作業となっております。機器の物理インターフェース上に見えております丸い小さな電源ボタンを一度押下（長押しNG）して電源OFFプロセスが始まります。電源OFF完了後にもう一度押下すると電源ONとなりリブート完了です。
できましたら、合わせてPOPCHAT-X機器本体ファームOSのバージョンの最新化アップデートも行っていただけますでしょうか。アップデートは管理画面の操作が必要です。クラウド管理サイト（ダッシュボード）にログインし、バージョン管理ページで「今スグアップデート」ボタンを実行してくださいませ。※再起動を伴います。
ご確認をお願いできますでしょうか。

引き続き完全復旧まで取り組んでまいります。
関係する皆様のご理解、ご協力を引き続き宜しくお願い致します。

 

追記：2023年2月17日（金）17:39時点

下記の件、クラウド環境の障害の再発をアナウンスしておりましたが、その件で続報でございます。

本日正午に一旦復旧完了となった時に実施した対処は現在も有効となっておりまして、その時の直接的な障害原因は現在も解消された状態が維持できておりますが、POPCHAT-X機器本体が所定のクラウド認証基盤およびクラウド管理システムとの自動接続を再開できていない或いは暫く後に再びクラウド接続エラーとなった一部のお客様において、認証できない障害が再発しているという現状となっております。
（結果的な認証障害の事象は同じながら、本日正午に復旧完了となるまでのクラウド障害の影響で別の障害原因を引き起こしてしまった可能性があると想定）

つきましては、該当の認証できない障害が再発していらっしゃるお客様におきましては、POPCHAT-X機器本体の再起動（電源OFF/ON）をお試ししてみていただけませんでしょうか。

別途、クラウド側での対応は引き続き全力で進めてまいります。
大変誠に申し訳ございません。

 

追記：2023年2月17日（金）14:16時点

下記のクラウド環境の障害に関しまして、大変申し訳ない事ですが局所的に再発が認められる状況となっておりまして、影響範囲の確認および復旧方法の検討を行っております。

早急に対処方法を検討し、対処を実施するように致します。
大変誠に申し訳ございません。

 

追記：2023年2月17日（金）12:32時点

下記のクラウド環境の障害に関しまして、復旧完了となりパフォーマンスが正常化しております事を確認できましたのでお知らせ致します。

一昨日2月15日（水）の午後15時頃から非常に長い時間に渡って不安定な状態が続いてしまい、多くの皆様に多大なご迷惑をおかけ致しました事を深くお詫び申し上げます。
大変誠に申し訳ございませんでした。

 

追記：2023年2月17日（金）10:31時点

下記のクラウド環境の障害（著しいパフォーマンス悪化）が関しまして、ザックリとした復旧の目処が確認できましたのでお知らせいたします。

【おおよその復旧目処】
・2023年2月17日（金）正午（12:00）頃。

上記の通り、復旧までもう暫くのお時間を頂戴できますでしょうか。
ご理解、ご協力を何卒宜しくお願い致します。

 

追記：2023年2月17日（金）9:42時点

下記のクラウド環境の障害（著しいパフォーマンス悪化）に関しまして、その後の深夜～早朝には一時的に小康状態を保っていた時間帯もあったようですが、今朝から現在に至っては改めて上記AWSクラウド環境のパフォーマンスが一時的な改善と再びの悪化を繰り返す状況が続いております。

このように長らくご迷惑をおかけしたままの状況となっておりまして、大変誠に申し訳ございません。

 

追記：2023年2月16日（木）18:03時点

本件クラウド環境の障害（著しいパフォーマンス悪化）につきまして、現時点でもまだ復旧の目処が確認できておりません。

皆様にご迷惑をおかけする状況が長引いてしまっておりまして、大変誠に申し訳ございません。

引き続き、最大限の努力で確認および対処に取り組んでまいります。

 

【障害】POPCHAT-Xシリーズご利用のお客様各位

昨日午後より現在まで、POPCHAT-Xシリーズのクラウド認証サーバー及びクラウド管理システムが展開されているクラウドサーバーの稼働状態が不安定になっており、断続的に認証エラーが出たり接続できたりを繰り返す状況が続いております。

【参考情報】
Amazon Web Servicesで障害が発生しております。
https://downdetector.jp/shougai/aws-amazon-web-services/

詳しい確認作業を行っておりまして、詳細が確認でき次第、また復旧の目処が立ち次第、改めてお知らせを掲載させていただきます。

ご利用のお客様にはご迷惑をおかけして大変誠に申し訳ございません。