
まず初めに、過去2週間にわたってPalworldまたはShockbyteのサービスで問題を経験されたすべてのお客様に対し、心よりお詫び申し上げます。
Shockbyteのお客様がサーバーのアクティベーション時間の遅延、サーバーパフォーマンスの問題、およびカスタマーサポートの応答遅延を経験されていることを認識しております。
この記事の目的は、現在進行中のすべての問題に対処し、どのように解決しているか、何を学んだか、そして可能な限りすべての問題に対する解決策を提供することです。
長文の投稿となりますが、すべての詳細を共有し、何が起こっているのか、そして実際にどのような対応を取っているのかを明確にすることが重要だと考えています。
#目次
- Palworldの前例のない人気
- ShockbyteがPalworldのローンチに向けてどのように準備したか
- Palworldのすべての問題をどのように解決しているか
- Shockbyteのお客様への約束
#Palworldの前例のない人気
Palworldは、「Pal」と呼ばれる生き物が登場する、新しくエキサイティングなオープンワールドサバイバルゲームで、ポケモンやARK: Survival Evolvedとの多くの類似点があります。
小規模なインディーゲームスタジオが開発したにもかかわらず、ゲームは有望に見え、私たちは非常に成功したローンチを期待していました。しかし、私たちは間違っていました。
実際、Palworldはゲームサーバーホストとして私たちが今までに見たり経験したりした中で最大のゲームローンチでした。
Palworldは皆の予想をはるかに超えました。小規模なインディースタジオであるPocketPairは、2週間も経たないうちに1,900万本のPalworldを販売しました。これを比較するために言うと、世界最大のゲームであるMinecraftは、同じ販売数を達成するのに4年かかりました。
これは前例のない規模の歴史的なローンチでした。
#ShockbyteがPalworldのローンチに向けてどのように準備したか
過去数年間、Shockbyteは新しいゲームサーバーのローンチに関して多くの経験を積んできました。執筆時点で、Shockbyteは合計50タイトルのゲームのサーバーホスティングをローンチしています。
私たちはゲームのローンチに非常に経験豊富で効率的になり、2020年にはわずか2タイトルのローンチから、2023年には19の新タイトルへと拡大しました - これはほぼ2週間に1ゲームのペースです。
このレベルの効率を達成する唯一の方法は、すべてのゲームローンチで学んだことを反復し改善し、プロセスをさらに洗練させていくことでした。私たちはそれを科学的に体系化しており、新しいタイトルごとに改善を続けています。
ゲームローンチの準備は、私たちのすべてのチームに関わるものであり、インフラストラクチャ内での統合、互換性、ハードウェアおよびパフォーマンステスト、市場調査、販売予測、スタッフトレーニング、顧客向けドキュメントなどが含まれます。
Palworldの準備は、他の最近のゲームローンチと同様にスムーズに進みました。ただし、1つの重要な違いがありました - 誰もPalworldがどれほど人気になるかを予測できなかったのです。
Palworldのローンチに先立ち、Shockbyteはインフラストラクチャ全体のサイズを準備として約10%拡張しました。私たちが他に49のゲームをホストし、最大級のゲームサーバーホストの1つであり、10年間事業を続けていることを考えると、これは大規模であり、必要な量をはるかに上回ると考えていました。
しかし、ローンチ初日にこれが長続きしないことが明らかになり、エンジニアたちは即座に新しいサーバーを取得・プロビジョニングして、流入する需要に追いつこうと作業を開始しました。
Palworldのローンチ週末には、需要が非常に高く、当初DDoS攻撃と思われる事象によりウェブサイト全体が数時間ダウンしました。調査の結果、それは本物のトラフィックであり、何千人ものユーザーが同時にサーバーを購入しようとしていたことが判明しました。
#Valheimから学んだこと
私たちは過去にゲームサーバーへの高い需要を何度か経験してきました。当時はそれらが大規模だと思っていましたが、ありがたいことにそれらの経験から多くを学びました。
実際には、Palworldのローンチは過去に経験したShockbyteにとっての最大のゲームローンチ/アップデートの約25倍の規模であることが判明しました。
Valheimは2021年にローンチされ、ローンチから3年間で合計1,200万本を販売しました(再度言いますが、Palworldは2週間で1,900万本を販売しました!)。
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheimは、プライベートサーバーホスティングの新時代として知られ、コミュニティサーバーとこのジャンルのゲームに対するゲーム開発者の目を開かせるゲームでした。Valheimの成功は非常に大きく、V-Rising、Enshrouded、そしてPalworld自体のようなゲームへの道を開きました。
Valheimの成功から多くを学びました。ただし、実装した最大の変更は、サプライチェーンを改善し、将来的に短期間でより多くの在庫を取得できるようにしたことです。
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#Palworldのすべての問題をどのように解決しているか
私たちは、Shockbyteのサービスとパルワールド・ゲーム自体に関して、お客様が現在直面しているすべての問題を認識しています。私たちはお客様の声に耳を傾け、チームは毎日積極的に解決に取り組んでいます。
以下では、すべての問題を詳細にカバーし、チームがそれらを解決するために何をしているかを説明しようと試みました。
お気づきになるテーマは、これらのほぼすべてがPalworldサーバーへの極端な需要に起因しているということですが、それぞれが独自の課題を抱えており、独自の解決策が必要であるということです。
返金や補償について読みたい場合は、以下に専用のセクションがあります。
#問題と解決策 - 目次
#サーバーアクティベーションの遅延
このセクションを読む前に、上記の「ShockbyteがPalworldのローンチに向けてどのように準備したか」セクションから始めることをお勧めします。上記のセクションには、このセクションに関連する多くの背景情報が含まれています。
サービスのアクティベーションに遅延を経験されているすべてのお客様に申し訳ございません。チームが24時間体制でこの問題の解決に取り組んでいることをお約束します。
#なぜ遅延が発生したのか、そしてどのように解決しているか
Shockbyteは通常、購入時にサーバーを即座に自動的にアクティベートします。
Palworldのローンチ以来、サーバーのアクティベーションが通常よりも遅くなっています。これは2つの理由で発生し、私たちはそれぞれ独立して解決に取り組んでいます。
#[解決済み] サーバーをプロビジョニングするのにかかる時間
サーバーが購入されると、アクティベーションキューに追加されます。当社のシステムはこのキューを自動的に処理し、Palworld以前は通常、各サーバーを完全にアクティベートするのに2〜3分かかっていました。
これは長い時間のように聞こえますが、それはバックエンドシステムが多くの作業を行う必要があるためです - 支払いステータスの確認、選択した地域で利用可能なノードの検索、IPの検索、ゲームサーバーの構成、ユーザーへのサーバーの割り当てなどです。
アクティベーション時間に関して直面した最初の問題は、数秒ごとに注文を受け取っていたことです。これは、在庫があったとしても、注文を履行できる速度よりもはるかに速くアクティベーションキューが積み上がっていたことを意味します。
この問題を解決する唯一の方法は、コードを最適化して、システムが受け取った速度と同じ速度でサーバーをアクティベートできるようにすることでした。
開発者たちは初日からこれに取り組み、48時間以内にこの問題を解決することができました。
- 1日目: コードに小さな最適化を加えることができ、アクティベーション時間を2〜3分から最大60秒に短縮しました。
- 2日目: ITマネージャー(James Hawkinsに感謝)が大きなブレークスルーを成し遂げ、わずか数秒以内にサーバーをアクティベートできるようコードをさらに最適化しました。
#[継続中] 在庫の可用性
Palworldのローンチ以来、当社のIT部門全体がより多くの在庫の取得と展開に集中しています。
初期在庫は数日以内に底をつきましたが、私たちは毎日、昼夜・週末問わずインフラを拡張し続けています。
一部のお客様がサーバーを数日間お待ちいただいていることを承知しています。極端なケースでは、6日または7日間お待ちいただいているお客様も見ております。
待つことがどれほど苛立たしいか理解しており、進捗が遅く感じられるかもしれませんが、実際には毎日膨大な数の注文を履行しています。
現在、毎日2,000台以上のサーバーを提供しています。
実際には、すべてのゲームサーバーホストと当社のサプライヤーも同じ状況にあります。 Palworldは、私たちが見たすべてのプロバイダーの在庫を消し去りました - これは非常に極端な状況で、上流のプロバイダー全般も在庫切れになっています。
解決と緩和のために行っていること:
- インフラ拡張 - インフラに大きく投資し、これまでにインフラ全体をほぼ50%拡張しました。毎日新しいサーバーを展開しています。
- 購入前の警告 - Palworldの需要によりサーバーのアクティベーションが遅延していることを示す大きな警告をウェブサイトに追加しました。
- 地域ごとの遅延通知 - 一部の地域には「7日以上待ち」とラベルが付けられています。
- サプライチェーンの拡張 - 在庫を取得する能力を向上させるため、サプライチェーンをさらに拡張しています。
#サーバーパフォーマンスとクラッシュ
Palworldはアーリーアクセスのゲームであるため、ゲーム内には多くのバグやパフォーマンスの問題が存在しています。
これらのバグはPalworldのゲーム開発者によって積極的に対応されており、今後数日から数週間以内にゲームのアップデートで多くが解決されることが期待されます。
とはいえ、ヒントを提供していますし、問題を緩和するために当社側で行っている変更もあります。
#サーバークラッシュとPalworldのメモリリーク
Palworldには現在、サーバーが一定期間オンラインになった後にクラッシュする原因となるメモリリークのバグが含まれています。
これはゲーム内のバグであるため、Palworldのゲーム開発者によって修正される必要があります。
Palworldサーバーが実行中、RAMの使用量は最終的に上限に達してクラッシュするまで継続的に増加します。
Palworldサーバーにより多くのRAMを割り当てると、より長い時間オンラインのままにすることができますが、最終的にはクラッシュします。
当社の推奨: サーバーを2〜3時間ごとに自動再起動するように構成してください。
これにより、サーバーが安全に停止し、進行状況が保存されます。煩わしいことは承知していますが、少なくともプレイし続けることができ、Palworldがすぐにこの修正をリリースすると確信しています。
一部のお客様は、ゲームがおそらくこの問題のために16〜32GBのRAMを推奨していると述べています。サーバーは通常、ゲーム自体よりも少ないRAMを必要とします。なぜなら、サーバーはグラフィック/ビジュアル資産を読み込む必要がないからです。当社のチームは、サーバーにこれほどの量のメモリは必要ないことを確認するために広範なテストを行いました。
ShockbyteのLamball Palworldプランは4GBのRAMを搭載しており、サーバーのRAMをGrizzboltプランにアップグレードすることが可能です。ただし、RAMは高価であり、16〜32GBのRAMのプランは$40-80+の範囲内である必要があることに注意することが重要です。当社は$12という低価格でプランを提供することができました。
注: ローンチ後すぐに、当社の最低Palworldプランのメモリを3GBから4GBに増やしました。ただし、これによりこのプランの価格をわずかに上げる必要がありました。
どんなにRAMを増やしてもメモリリークは解決できませんが、当社のチームはプランが公正で手頃な価格であることを確認するために広範なテストを実施しました。バグが解決されれば、RAM使用量は安定するはずです。その後、テストを継続し、それに応じてプランと推奨事項を更新していきます。
将来的には、サーバーをより長期間稼働させ、ゲーム内の問題やバグを探すための、より厳格なテストを実施する予定です。
#サーバーパフォーマンス
Palworldがアップデート、最適化、バグ解決を続けるにつれて、Palworldのパフォーマンスは引き続き改善されることが期待されます。
舞台裏では、Palworldサーバーのハードウェアもアップグレードしてパフォーマンス問題の緩和に役立てています - 特にCPUです。
ローンチ以来、実際のサーバーが使用されているのを見て、Palworldがテストで示されたよりもCPUに依存していることを学びました。Palworld用にプロビジョニングしているすべての新しいハードウェアは、以前よりも多くのコアを持つよりパワフルなCPUで動作しています。
これは私たちにとって追加コストとなりましたが、これを価格に反映しないことを選択しました。
#その他のゲーム内エラー
ナレッジベースで多くの一般的な問題に対する解決策を提供しています: https://shockbyte.com/billing/knowledgebase/78/Palworld
Palworldの開発者は、データ損失とプレイヤーデータがリセットされる原因となっていたエラーの修正をすでに公開しています。
#カスタマーサポートの遅延
需要とウェブサイトのトラフィックが大幅に増加したことに伴い、カスタマーサポートへの問い合わせの数もそれに応じて増加しました。
サポートチームに連絡するユーザーの数を制御することはできません - 私たちにできることは、できるだけ早く適応することだけです。
実のところ、当社のサポートチームは現在完全に圧倒されています。サポート量は一夜にして394%増加しました。
需要にできるだけ早く適応するために、できる限りのことを行っています。
Palworldの初期には、50人のサポートエージェントがいました。一晩で197人の追加スタッフを雇うことは不可能なタスクです、ましてや2週間以内に行うことは - これらの新しいスタッフメンバー全員をオンボーディングしてトレーニングする必要があります。
これを迅速に解決するためには、創造的な解決策が必要であり、それが私たちが行っていることです。
サポート需要に適応するために行っていること:
- もちろん、サポートチームの規模を拡大しています。
- サポートチーム全体がサポートチケットに集中するように再配置されました。
- ライブチャットは一時的にAIチャットボットに置き換えられました - モデルをトレーニングしており、実際に非常に印象的です。これまでのところ、約90%のクエリを解決しています。これは一時的な措置です。
- 私たちは過去に効果的だった戦略に注力しています。
- 毎日議論し取り組んでいる、さらに多くのアイデアもあります。
#サポートで突破口を開いた
下記のグラフは、過去3ヶ月間に未解決のチケットがいくつ開いていたかを示しています。
この期間全体を通して数値が基本的にゼロにあることがわかるでしょう - これは、サポートチームが毎日基本的にすべての未解決のクエリに応答していることを意味します。
急激なスパイクは1月19日から始まります - Palworldのローンチ日です。需要がいかに急激に成長したか、そしてチームがいかに迅速にリクエストで溢れかえったかがわかります。
私たちは1日目から戦略を実行し始めましたが、急増は非常に極端で、ほとんどの解決策は結果が見え始めるまでに時間がかかります。
約10日後、私たちは1日に受け取るクエリとほぼ同じ数を解決できるようないくつかのブレークスルーを成し遂げました - これはチケットの増加が止まるグラフで見ることができます。
その大部分はAIによるものです - モデルが十分にトレーニングされた後、1日に何千もの顧客クエリを正常に解決できるようになりました。
私たちは、未処理分をできるだけ早くゼロに戻すために、追加の戦略をすでに実装しています。
#返金、補償、サービス延長
アクティベーションの遅延、サービスの問題、サポートの遅延の影響を受けたお客様には、当社の返金ポリシーに従って返金または補償を提供します。
#返金
返金はカスタマーサポートチケットを送信することで申請できます。
上記のとおり、サポートの遅延により返金処理が通常より遅くなっていることを承知しておりますが、サポートチームはできるだけ早く返金を発行できるよう取り組んでいます。
サポートチームの応答時間は、返金または補償の対象となる資格には影響しないことをご安心ください - 返金の対象である場合、チームがご連絡できるようになり次第、返金が承認されます。
ご辛抱いただき感謝申し上げ、チームができるだけ早く返金を発行するために懸命に働いていることをお約束します。
#補償とサービス延長
サーバーアクティベーションの遅延を経験したお客様には、すでに返金を受けてサービスをキャンセルしたお客様も含めて、補償を提供します。
当社のチームは現在、これらの補償を影響を受けたすべてのお客様に自動的に適用できるシステムを開発中です。システムが完成し、来週には補償の展開を開始する予定です。
その間、[サポートチケットを送信する](https://shockbyte.com/