Palworld

Обращение нашего генерального директора касательно Palworld

Mitch Smith

7 February 2025

24 min read

Я хочу начать с искренних извинений всем клиентам, которые сталкивались с трудностями при использовании Palworld или сервисов Shockbyte за последние 2 недели.

Мы знаем, что клиенты Shockbyte испытывают задержки активации серверов, проблемы с производительностью серверов и задержки в ответах службы поддержки.

Цель этой статьи - рассмотреть все текущие проблемы, объяснить, как мы их решаем, чему мы научились, и предоставить решения для всех проблем, где это возможно.

Это длинная публикация, но я считаю важным поделиться всеми деталями и чётко рассказать, что происходит и какие действия мы реально предпринимаем.

#Содержание

Беспрецедентная популярность Palworld
Как Shockbyte готовился к запуску Palworld
Как мы решаем все проблемы Palworld
Обязательства Shockbyte перед клиентами

#Беспрецедентная популярность Palworld

Palworld - новая и захватывающая игра в жанре выживания с открытым миром, населённая существами под названием «Pals», во многом похожими на Pokémon и ARK: Survival Evolved.

Несмотря на то, что игра была разработана небольшой инди-студией, она выглядела многообещающе, и мы ожидали очень успешного запуска - однако мы ошибались.

На самом деле запуск Palworld стал крупнейшим запуском игры, который мы когда-либо видели или с которым сталкивались как хостинг игровых серверов.

Palworld значительно превзошёл все ожидания. Небольшая инди-студия PocketPair продала 19 миллионов копий Palworld менее чем за 2 недели. Чтобы было понятнее: Minecraft - крупнейшая игра в мире - понадобилось 4 года, чтобы достичь такого же количества продаж.

Это был монументальный запуск беспрецедентного масштаба.

#Как Shockbyte готовился к запуску Palworld

За последние несколько лет Shockbyte накопил большой опыт в запуске новых игровых серверов. На момент написания статьи Shockbyte запустил серверный хостинг для в общей сложности 50 игровых проектов.

Мы стали настолько опытными и эффективными в запуске игр, что перешли от запуска всего 2 проектов в 2020 году до 19 новых проектов в 2023 году - это почти одна игра каждые 2 недели.

Единственный способ достичь такого уровня эффективности - это итерации и улучшения на основе того, чему мы научились с каждым запуском игры, всё больше и больше совершенствуя наш процесс. Мы довели его до науки и становимся только лучше с каждым новым проектом.

Подготовка к запуску игры затрагивает каждую из наших команд и включает такие вещи, как интеграция в нашу инфраструктуру, совместимость, тестирование оборудования и производительности, исследование рынка, прогнозирование продаж, обучение персонала, документация для клиентов и многое другое.

Подготовка к Palworld прошла гладко, как и все наши другие недавние запуски игр, за исключением одного ключевого отличия - никто не мог предположить, насколько популярным окажется Palworld.

Перед запуском Palworld Shockbyte расширил размер всей нашей инфраструктуры примерно на 10% в рамках подготовки. Учитывая, что мы хостим 49 других игр, являемся одним из крупнейших хостингов игровых серверов и работаем уже 10 лет - это огромное расширение, и мы думали, что этого будет более чем достаточно.

Уже к 1-му дню стало ясно, что этого надолго не хватит, и наши инженеры немедленно начали работать над приобретением и подготовкой новых серверов, чтобы справиться с поступающим спросом.

В выходные запуска Palworld спрос был настолько высок, что весь наш сайт был недоступен в течение нескольких часов из-за того, что мы изначально приняли за DDoS-атаку. После расследования выяснилось, что это был реальный трафик - многие тысячи пользователей одновременно пытались купить серверы.

#Уроки от Valheim

Мы уже сталкивались с высоким спросом на игровые серверы несколько раз в прошлом. В то время мы думали, что это огромный спрос, и, к счастью, мы многому научились на этом опыте.

В реальности запуск Palworld оказался примерно в 25 раз масштабнее для Shockbyte, чем самый большой запуск/обновление игры, который мы видели ранее.

Valheim была выпущена в 2021 году и за 3 года с момента запуска продала в общей сложности 12 миллионов копий (напомним, Palworld продал 19 миллионов копий за 2 недели!).

🎉Total number of players exceeds 19 million🎉

It's been less than two weeks since #Palworld was released, thank you!

・Steam: 12 million~ copies
・Xbox: 7 million~ players

We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
— Palworld (@Palworld_EN) January 31, 2024

Valheim - игра, которая прославилась как новая эра в хостинге частных серверов, открыв глаза разработчиков игр на сообщества серверов и этот жанр игр. Успех Valheim был настолько значительным, что проложил путь таким играм, как V-Rising, Enshrouded и даже самому Palworld.

Мы многому научились на успехе Valheim. Однако самым большим изменением, которое мы внедрили, было улучшение нашей цепочки поставок, чтобы в будущем мы могли быстрее приобретать больше товаров.

Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021

#Как мы решаем все проблемы Palworld

Мы знаем обо всех проблемах, с которыми в настоящее время сталкиваются клиенты, как с сервисами Shockbyte, так и с самой игрой Palworld. Мы вас слышим, и наша команда активно работает каждый день над их решением.

Ниже я постарался подробно описать каждую проблему и объяснить, что наша команда делает для их решения.

Вы заметите общую тему: почти все эти проблемы вызваны экстремальным спросом на серверы Palworld, однако каждая из них представляет собой уникальную задачу и требует уникального решения.

Если вы хотите прочитать о возвратах или компенсациях, ниже есть отдельный раздел, посвящённый этому.

#Задержки активации серверов

Перед прочтением этого раздела рекомендую начать с раздела выше под названием «Как Shockbyte готовился к запуску Palworld». В разделе выше есть много контекста, который актуален для этого раздела.

Мы приносим извинения всем клиентам, испытывающим задержки в активации сервиса. Хочу заверить вас, что наша команда работает круглосуточно, чтобы решить эту проблему.

#Почему произошли задержки и как мы их решаем

Shockbyte обычно активирует серверы мгновенно и автоматически после покупки.

С момента запуска Palworld активация серверов происходит медленнее, чем обычно. Это произошло по двум причинам, над которыми мы работали независимо друг от друга.

#[Уже решено] Время на подготовку сервера

Когда сервер покупается, он добавляется в очередь активации. Наша система автоматически обрабатывает эту очередь, и до Palworld обычно требовалось 2-3 минуты, чтобы полностью активировать каждый сервер.

Это звучит долго, но это потому, что бэкенд-системе приходится выполнять много работы - проверять статус оплаты, находить доступный узел в выбранном регионе, находить IP-адрес, настраивать игровой сервер, привязывать сервер к пользователю и т.д.

Первая проблема, с которой мы столкнулись со временем активации, заключалась в том, что мы получали заказы каждые несколько секунд. Это означало, что даже если запасы были в наличии, очередь активации росла гораздо быстрее, чем заказы могли быть выполнены.

Единственный способ решить эту проблему - оптимизировать код, чтобы система могла активировать серверы так же быстро, как мы их получали.

Наши разработчики начали работать над этим в 1-й день и сумели решить эту проблему в течение 48 часов.

День 1: Мы смогли сделать небольшую оптимизацию кода, которая сократила время активации с 2-3 минут до максимум 60 секунд.
День 2: Наш IT-менеджер (отдельная благодарность Джеймсу Хокинсу) совершил огромный прорыв и смог дополнительно оптимизировать код, чтобы активировать серверы всего за несколько секунд.

#[В процессе] Наличие запасов

С момента запуска Palworld весь наш IT-отдел сосредоточен на приобретении и развёртывании дополнительных мощностей.

Хотя наши первоначальные запасы закончились в течение нескольких дней, мы расширяем нашу инфраструктуру каждый день - днём, ночью и в выходные.

Мы знаем, что некоторые клиенты ждут свои серверы несколько дней. В крайних случаях я видел клиентов, ожидающих 6 или 7 дней.

Мы понимаем, насколько может быть неприятно ждать, и осознаём, что может казаться, будто прогресс идёт медленно, однако на самом деле мы выполняем огромное количество заказов каждый день.

В настоящее время мы поставляем более 2000 серверов каждый день.

Реальность такова, что все хостинги игровых серверов и наши поставщики находятся в одинаковой ситуации. Palworld выкупил все запасы у каждого поставщика, которого мы видели - это было настолько экстремально, что и вышестоящие поставщики везде также оказались без запасов.

Что мы делаем для решения и смягчения этого:

Расширение инфраструктуры - Мы значительно инвестировали в нашу инфраструктуру и на данный момент расширили всю нашу инфраструктуру почти на 50%. Мы развёртываем новые серверы каждый день.
Предупреждения перед покупкой - Мы добавили крупное предупреждение на наш сайт о том, что активация серверов задерживается из-за спроса на Palworld.
Уведомления о задержках по регионам - Некоторые регионы помечены задержкой 7+ дней.
Расширение цепочки поставок - Мы дополнительно расширяем нашу цепочку поставок, чтобы улучшить нашу способность приобретать запасы.

#Производительность серверов и сбои

Поскольку Palworld - это игра в раннем доступе, в ней присутствует ряд багов и проблем с производительностью.

Над этими багами активно работает разработчик игры Palworld, и мы ожидаем, что многие из них будут устранены в обновлениях игры в ближайшие дни и недели.

Тем не менее, у нас есть советы для вас и изменения, которые мы вносим со своей стороны, чтобы помочь смягчить проблему.

#Сбои сервера и утечка памяти Palworld

Palworld в настоящее время содержит баг утечки памяти, из-за которого все серверы падают после того, как они были онлайн в течение определённого времени.

Поскольку это баг в игре, он должен быть исправлен разработчиком игры Palworld.

Пока сервер Palworld работает, использование оперативной памяти будет постоянно увеличиваться, пока в конечном итоге не достигнет лимита и не упадёт.

Выделение большего количества RAM для сервера Palworld позволит ему оставаться онлайн дольше, но в конечном итоге он всё равно упадёт.

Наша рекомендация: Настройте автоматический перезапуск вашего сервера каждые 2-3 часа.

Это обеспечит безопасную остановку сервера и сохранение вашего прогресса. Мы знаем, что это раздражает, но по крайней мере вы сможете продолжать играть - и мы уверены, что Palworld выпустит исправление этого вскоре.

Мы видели, как некоторые клиенты упоминают, что игра рекомендует 16-32 ГБ ОЗУ, вероятно, из-за этой проблемы. Сервера обычно требуют меньше ОЗУ, чем сама игра, поскольку серверу не нужно загружать графические/визуальные ресурсы. Наша команда провела обширное тестирование, чтобы подтвердить, что такой объём памяти не нужен для сервера.

Тариф Lamball Palworld от Shockbyte поставляется с 4 ГБ ОЗУ, и можно увеличить ОЗУ на сервере до тарифа Grizzbolt. Однако важно отметить, что ОЗУ дорогое, и тарифы с 16-32 ГБ ОЗУ должны были бы стоить в диапазоне $40-80+. Мы смогли предложить наши тарифы за всего лишь $12.

Примечание: Мы действительно увеличили память нашего самого дешёвого тарифа Palworld с 3 ГБ до 4 ГБ вскоре после запуска. Однако это означало, что нам пришлось немного повысить цену этого тарифа.

Хотя никакой объём ОЗУ не может решить проблему утечки памяти, наша команда провела обширное тестирование, чтобы убедиться, что тарифы справедливые и доступные. После решения бага мы ожидаем, что использование ОЗУ стабилизируется. Затем мы продолжим проводить тестирование и обновлять наши тарифы и рекомендации соответствующим образом.

В будущем мы планируем проводить ещё более строгое тестирование, поддерживая работу серверов в течение более длительных периодов времени и охотясь за внутриигровыми проблемами и багами.

#Производительность сервера

Мы ожидаем, что производительность Palworld будет продолжать улучшаться по мере того, как игра будет обновляться, оптимизироваться и устранять баги.

За кулисами мы также модернизируем наше оборудование для серверов Palworld, чтобы помочь смягчить проблемы с производительностью - в частности, ЦП.

С момента запуска и наблюдения за реальными работающими серверами мы узнали, что Palworld более зависим от ЦП, чем показывали наши тесты. Всё новое оборудование, которое мы предоставляем для Palworld, теперь работает на более мощных ЦП с большим количеством ядер, чем раньше.

Это обошлось нам в дополнительные расходы, однако мы решили не отражать это в нашем ценообразовании.

#Другие внутриигровые ошибки

Мы предоставили решения многих распространённых проблем в нашей Базе знаний: https://shockbyte.com/billing/knowledgebase/78/Palworld

Разработчики Palworld уже опубликовали исправление ошибки, которая вызывала потерю данных и сброс данных игроков.

#Задержки службы поддержки

С огромным ростом спроса и трафика на сайте, количество запросов в службу поддержки также соответственно увеличилось.

Мы не можем контролировать количество пользователей, которые обращаются в нашу службу поддержки - всё, что мы можем сделать, это адаптироваться так быстро, как только можем.

Правда в том, что наша команда поддержки сейчас полностью перегружена. Объём наших обращений в поддержку увеличился на 394% за одну ночь.

Мы делаем всё возможное, чтобы как можно быстрее адаптироваться к спросу.

В начале запуска Palworld у нас было 50 агентов поддержки. Найм дополнительных 197 сотрудников за одну ночь был бы невыполнимой задачей, не говоря уже о том, чтобы сделать это всего за 2 недели - нам всё ещё нужно ввести в курс дела и обучить всех этих новых сотрудников.

Чтобы решить это быстро, нам нужны креативные решения - и именно это мы и делаем.

Что мы делаем, чтобы адаптироваться к спросу на поддержку:

Конечно, мы расширяем размер нашей команды поддержки.
Вся наша команда поддержки была переориентирована на работу с тикетами поддержки.
Живой чат был временно заменён ИИ-чатботом - мы обучаем модель, и она на самом деле невероятно впечатляющая. Пока что она решает около ~90% запросов. Это временная мера.
Мы удваиваем усилия в стратегиях, которые были эффективны для нас в прошлом.
У нас также есть много других идей, которые мы обсуждаем и над которыми работаем каждый день.

#Мы добились прорыва в поддержке

График ниже показывает количество нерешённых тикетов, которые у нас были открыты за последние 3 месяца.

Вы увидите, что на протяжении всего этого периода число находится практически на нуле - это означает, что каждый день наша команда поддержки отвечает практически на все открытые запросы.

Резкий скачок начинается 19 января - в день запуска Palworld. Вы можете видеть, насколько резко вырос спрос и как быстро наша команда была завалена запросами.

Мы начали внедрять стратегии с 1-го дня, однако всплеск был настолько экстремальным, и большинству решений требуется некоторое время, чтобы начать давать результаты.

Примерно через 10 дней мы добились некоторых прорывов, которые позволили нам решать почти столько же запросов, сколько мы получали в день - это видно на графике, где рост тикетов прекращается.

Большой частью этого был наш ИИ - после того, как модель была достаточно обучена, она смогла успешно решать тысячи клиентских запросов в день.

Мы уже внедряем дополнительные стратегии, чтобы как можно быстрее свести объём незакрытых тикетов к нулю.

#Возвраты, компенсации и продление услуг

Для всех клиентов, пострадавших от задержек активации, проблем с сервисом и задержек поддержки, мы будем предлагать возвраты или компенсации в соответствии с нашей политикой возврата.

#Возвраты

Возвраты можно запросить, отправив тикет в службу поддержки.

Мы понимаем, что возвраты в настоящее время обрабатываются медленнее, чем обычно, из-за задержек поддержки, описанных выше, однако наша команда поддержки работает над оформлением возвратов как можно быстрее.

Пожалуйста, будьте уверены, что время ответа нашей команды поддержки не влияет на ваше право на возврат или компенсацию - если вы имеете право на возврат, ваш возврат будет предоставлен, как только наша команда сможет вам ответить.

Мы ценим ваше терпение и заверяем вас, что наша команда усердно работает над оформлением возвратов как можно быстрее.