Quero começar expressando minhas sinceras desculpas a todos os clientes que enfrentaram dificuldades com os serviços de Palworld ou Shockbyte nas últimas 2 semanas.
Estamos cientes de que os clientes da Shockbyte estão enfrentando atrasos nos tempos de ativação de servidores, problemas de desempenho de servidores e atrasos nas respostas do suporte ao cliente.
O objetivo deste artigo é abordar todos os problemas em andamento, explicar como estamos resolvendo-os, o que aprendemos e fornecer soluções para todos os problemas sempre que possível.
É um post longo - mas acho importante compartilhar todos os detalhes e ser claro sobre o que está acontecendo e quais ações estamos realmente tomando.
#Índice
- A popularidade sem precedentes de Palworld
- Como a Shockbyte se preparou para o lançamento de Palworld
- Como estamos resolvendo todos os problemas de Palworld
- O compromisso da Shockbyte com os clientes
#A popularidade sem precedentes de Palworld
Palworld é um jogo novo e empolgante de sobrevivência em mundo aberto, povoado por criaturas chamadas "Pals", apresentando muitas semelhanças com Pokémon e ARK: Survival Evolved.
Apesar de ter sido desenvolvido por um pequeno estúdio indie, o jogo parecia promissor e esperávamos um lançamento muito bem-sucedido - no entanto, estávamos errados.
Na verdade, Palworld foi o maior lançamento de jogo que já vimos ou experimentamos como provedor de servidores de jogos.
Palworld superou as expectativas de todos. O pequeno estúdio indie PocketPair vendeu 19 milhões de cópias de Palworld em menos de 2 semanas. Para colocar em perspectiva, Minecraft, o maior jogo do mundo, levou 4 anos para fazer o mesmo número de vendas.
Foi um lançamento monumental de escala sem precedentes.
#Como a Shockbyte se preparou para o lançamento de Palworld
Nos últimos anos, a Shockbyte adquiriu muita experiência no lançamento de novos servidores de jogos. No momento da escrita, a Shockbyte lançou hospedagem de servidores para um total de 50 títulos de jogos.
Tornamo-nos tão experientes e eficientes com lançamentos de jogos que passamos de apenas 2 títulos lançados em 2020 para 19 novos títulos em 2023 - quase um jogo a cada 2 semanas.
A única forma de alcançar esse nível de eficiência foi iterando e melhorando a partir do que aprendemos com cada lançamento de jogo, refinando ainda mais o nosso processo. Reduzimos isso a uma ciência, e melhoramos cada vez mais a cada novo título.
A preparação para o lançamento de um jogo envolve cada uma das nossas equipes e inclui aspectos como integração com nossa infraestrutura, compatibilidade, testes de hardware e desempenho, pesquisa de mercado, previsão de vendas, treinamento de equipe, documentação para clientes e muito mais.
A preparação para Palworld correu bem, assim como em todos os nossos outros lançamentos de jogos recentes, exceto por uma diferença fundamental - ninguém poderia ter antecipado o quão popular Palworld seria.
Antes do lançamento de Palworld, a Shockbyte expandiu o tamanho de toda a nossa infraestrutura em cerca de 10% como preparação. Considerando que hospedamos 49 outros jogos, somos um dos maiores provedores de servidores de jogos e estamos no mercado há 10 anos - isso é enorme e pensamos que era muito, muito mais do que seria necessário.
Ficou claro logo no primeiro dia que isso não duraria muito e nossos engenheiros começaram imediatamente a trabalhar para adquirir e provisionar novos servidores para acompanhar a demanda.
Durante o fim de semana de lançamento de Palworld, a demanda foi tão alta que todo o nosso site ficou fora do ar por algumas horas devido ao que inicialmente pensamos ser um ataque DDoS. Após investigação, descobriu-se que era tráfego genuíno - milhares de usuários tentando comprar servidores ao mesmo tempo.
#Aprendendo com Valheim
Já experimentamos alta demanda por servidores de jogos várias vezes no passado. Na época pensávamos que eram enormes, e felizmente aprendemos muito com essas experiências.
Na realidade, o lançamento de Palworld acabou sendo cerca de 25x maior para a Shockbyte do que o maior lançamento/atualização de jogo que vimos no passado.
Valheim foi lançado em 2021 e nos 3 anos desde o lançamento vendeu um total de 12 milhões de cópias (lembrando, Palworld vendeu 19 milhões de cópias em 2 semanas!).
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheim é um jogo que foi reconhecido como uma nova era para hospedagem de servidores privados, abrindo os olhos dos desenvolvedores de jogos para servidores comunitários e este gênero de jogos. O sucesso de Valheim foi tão significativo que abriu o caminho para jogos como V-Rising, Enshrouded e até mesmo o próprio Palworld.
Aprendemos muito com o sucesso de Valheim. A maior mudança que implementamos foi melhorar a nossa cadeia de suprimentos para que, no futuro, pudéssemos adquirir mais estoque com pouco aviso prévio.
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#Como estamos resolvendo todos os problemas de Palworld
Estamos cientes de todos os problemas que os clientes estão enfrentando atualmente, tanto com os serviços da Shockbyte quanto com o jogo Palworld em si. Estamos ouvindo, e nossa equipe está trabalhando ativamente todos os dias para resolvê-los.
Abaixo, tentei abordar extensivamente cada problema e explicar o que nossa equipe está fazendo para resolvê-los.
Um tema que você notará é que praticamente cada um deles ocorre devido à demanda extrema por servidores de Palworld, no entanto, cada um apresenta um desafio único e exige uma solução única.
Se quiser ler sobre reembolsos ou compensação, há uma seção dedicada a isso abaixo.
#Problemas e Resoluções - Índice
- Atrasos na ativação de servidores
- Desempenho e travamentos de servidores
- Atrasos no suporte ao cliente
- Reembolsos, Compensações e Extensões de serviço
#Atrasos na ativação de servidores
Antes de ler esta seção, recomendo começar pela seção acima intitulada “Como a Shockbyte se preparou para o lançamento de Palworld”. A seção acima inclui muito contexto que é relevante para esta seção.
Pedimos desculpas a todos os clientes que estão enfrentando atrasos na ativação do serviço. Quero garantir a vocês que nossa equipe está trabalhando 24 horas por dia para resolver isso.
#Por que os atrasos aconteceram, e como estamos resolvendo
A Shockbyte normalmente ativa servidores instantaneamente e automaticamente após a compra.
Desde o lançamento de Palworld, as ativações de servidores têm sido mais lentas do que o normal. Isso aconteceu por dois motivos, nos quais estamos trabalhando para resolver de forma independente.
#[Já resolvido] Tempo para provisionar um servidor
Quando um servidor é comprado, ele é adicionado à fila de ativação. Nosso sistema processa essa fila automaticamente e, antes de Palworld, normalmente levava 2-3 minutos para ativar completamente cada servidor.
Isso parece muito tempo, mas é porque o sistema backend tem que fazer muito trabalho - verificar o status do pagamento, encontrar um nó disponível na região selecionada, encontrar um IP, configurar o servidor de jogo, atribuir o servidor ao usuário, etc.
O primeiro problema que enfrentamos com os tempos de ativação foi que estávamos recebendo pedidos a cada poucos segundos. Isso significava que, mesmo havendo estoque disponível, a fila de ativação estava se acumulando muito mais rápido do que os pedidos podiam ser atendidos.
A única maneira de resolver esse problema era otimizando o código para que o sistema pudesse ativar servidores tão rapidamente quanto os recebíamos.
Nossos desenvolvedores começaram a trabalhar nisso no primeiro dia, e conseguiram resolver esse problema em 48 horas.
- Dia 1: Conseguimos fazer uma pequena otimização no código que reduziu o tempo de ativação de 2-3 minutos para no máximo 60 segundos.
- Dia 2: Nosso Gerente de TI (parabéns ao James Hawkins) fez um avanço enorme e conseguiu otimizar ainda mais o código para ativar servidores em apenas alguns segundos.
#[Em andamento] Disponibilidade de estoque
Desde o lançamento de Palworld, todo o nosso Departamento de TI tem se concentrado em adquirir e implantar mais estoque.
Embora nosso estoque inicial tenha acabado em poucos dias, temos expandido nossa infraestrutura todos os dias - dia, noite e fins de semana.
Sabemos que alguns clientes estão esperando vários dias por seus servidores. Em casos extremos, vi alguns clientes esperando 6 ou 7 dias.
Sabemos como pode ser frustrante esperar e reconhecemos que pode parecer que o progresso está lento, no entanto, estamos realmente atendendo a um grande número de pedidos todos os dias.
Atualmente, estamos entregando mais de 2.000 servidores todos os dias.
A realidade é que todos os provedores de servidores de jogos e nossos fornecedores estão na mesma situação. Palworld varreu o estoque de todos os provedores que vimos - foi tão extremo que os fornecedores upstream em geral também estão sem estoque.
O que estamos fazendo para resolver e mitigar:
- Expansão da infraestrutura - Investimos pesadamente em nossa infraestrutura e até agora expandimos toda a nossa infraestrutura em quase 50%. Estamos implantando novos servidores todos os dias.
- Avisos antes da compra - Adicionamos um grande aviso ao nosso site de que as ativações de servidores estão atrasadas devido à demanda de Palworld.
- Avisos de atraso por região - Algumas regiões foram rotuladas com Espera de mais de 7 dias.
- Expansão da cadeia de suprimentos - Continuamos expandindo nossa cadeia de suprimentos para melhorar nossa capacidade de adquirir estoque.
#Desempenho e travamentos de servidores
Como Palworld é um jogo em acesso antecipado, há uma série de bugs e problemas de desempenho presentes no jogo.
Esses bugs estão sendo trabalhados ativamente pelo desenvolvedor do jogo Palworld e esperamos que muitos deles sejam resolvidos em atualizações do jogo nos próximos dias e semanas.
Dito isso, temos dicas para você e mudanças que estamos fazendo do nosso lado para ajudar a mitigar o problema.
#Travamento de servidor e vazamento de memória de Palworld
Palworld atualmente contém um bug de vazamento de memória que faz com que todos os servidores travem após estarem online por um período de tempo.
Como este é um bug do jogo, ele deve ser corrigido pelo desenvolvedor do jogo Palworld.
Enquanto um servidor de Palworld está em execução, o uso de RAM aumentará continuamente até atingir o limite e travar.
Alocar mais RAM a um servidor de Palworld permitirá que ele permaneça online por mais tempo, mas ele ainda travará eventualmente.
Nossa recomendação: Configure uma reinicialização automática para o seu servidor a cada 2-3 horas.
Isso garantirá que seu servidor pare com segurança e salve seu progresso. Sabemos que é irritante, mas pelo menos você poderá continuar jogando - e temos certeza de que Palworld lançará uma correção para isso em breve.
Vimos alguns clientes mencionando que o jogo recomenda 16-32GB de RAM, provavelmente devido a esse problema. Os servidores normalmente exigem menos RAM do que o jogo em si, pois o servidor não precisa carregar nenhum recurso gráfico/visual. Nossa equipe realizou testes extensivos para confirmar que essa quantidade de memória não é necessária para o servidor.
O plano Lamball Palworld da Shockbyte vem com 4GB de RAM, e é possível atualizar a RAM no servidor para o plano Grizzbolt. No entanto, é importante observar que a RAM é cara, e planos com 16-32GB de RAM precisariam estar na faixa de US$ 40-80+. Conseguimos oferecer nossos planos a partir de US$ 12.
Nota: Aumentamos a memória do nosso menor plano Palworld de 3GB para 4GB logo após o lançamento. No entanto, isso significou que tivemos que aumentar ligeiramente o preço deste plano.
Embora nenhuma quantidade de RAM possa resolver o vazamento de memória, nossa equipe realizou testes extensivos para garantir que os planos sejam justos e acessíveis. Quando o bug for resolvido, esperamos que o uso de RAM se estabilize. Em seguida, continuaremos a realizar testes e atualizar nossos planos e recomendações conforme necessário.
No futuro, planejamos realizar testes ainda mais rigorosos, mantendo os servidores em execução por períodos mais longos e procurando problemas e bugs no jogo.
#Desempenho do servidor
Esperamos que o desempenho de Palworld continue a melhorar à medida que o jogo continua a ser atualizado, otimizado e tem seus bugs corrigidos.
Nos bastidores, também estamos atualizando nosso hardware para servidores de Palworld para ajudar a mitigar problemas de desempenho - especificamente, a CPU.
Desde o lançamento e ao ver servidores reais em uso, aprendemos que Palworld é mais dependente de CPU do que nossos testes mostraram. Todo o novo hardware que estamos provisionando para Palworld agora está rodando em CPUs mais robustas com mais núcleos do que antes.
Isso teve um custo adicional para nós, no entanto, escolhemos não refletir isso em nossos preços.
#Outros erros no jogo
Fornecemos soluções para muitos problemas comuns em nossa Base de Conhecimento: https://shockbyte.com/billing/knowledgebase/78/Palworld
Os desenvolvedores de Palworld já publicaram uma correção para um erro que estava causando perda de dados e redefinição de dados do jogador.
#Atrasos no suporte ao cliente
Com o enorme aumento na demanda e no tráfego do site, o número de consultas de suporte ao cliente também aumentou de acordo.
Não podemos controlar o número de usuários que entram em contato com nossa equipe de suporte - tudo o que podemos fazer é nos adaptar o mais rápido possível.
A verdade é que nossa equipe de suporte está completamente sobrecarregada no momento. Nosso volume de suporte aumentou 394% durante a noite.
Estamos fazendo tudo o que podemos para nos adaptar à demanda o mais rápido possível.
No início de Palworld, tínhamos 50 agentes de suporte. Contratar 197 funcionários extras durante a noite seria uma tarefa impossível, quanto mais fazer isso em apenas 2 semanas - ainda precisamos integrar e treinar todos esses novos membros da equipe.
Para resolver isso rapidamente, precisamos de soluções criativas - e é isso que estamos fazendo.
O que estamos fazendo para nos adaptar à demanda de suporte:
- Claro, estamos expandindo o tamanho da nossa equipe de suporte.
- Toda a nossa equipe de suporte foi realocada para focar em tickets de suporte.
- O chat ao vivo foi substituído temporariamente por um Chatbot de IA - estamos treinando o modelo, e ele é realmente incrivelmente impressionante. Até agora, está resolvendo cerca de ~90% das consultas. Esta é uma medida temporária.
- Estamos redobrando os esforços em estratégias que foram eficazes para nós no passado.
- Também temos muitas outras ideias que estamos discutindo e nas quais estamos trabalhando todos os dias.
#Fizemos um avanço no suporte
O gráfico abaixo mostra o número de tickets não resolvidos que tivemos em aberto nos últimos 3 meses.
Você verá que durante todo este período o número está essencialmente em zero - isso significa que todos os dias nossa equipe de suporte está respondendo a essencialmente todas as consultas em aberto.
O pico imediato começa em 19 de janeiro - a data de lançamento de Palworld. Você pode ver o quão acentuadamente a demanda cresceu e a rapidez com que nossa equipe foi inundada por solicitações.
Começamos a implementar estratégias desde o primeiro dia, no entanto, o aumento foi tão extremo e a maioria das soluções leva algum tempo para começar a apresentar resultados.
Após cerca de 10 dias, fizemos alguns avanços que nos permitiram resolver praticamente tantas consultas quanto recebíamos por dia - isso pode ser visto no gráfico onde o crescimento de tickets para.
Uma grande parte disso foi nossa IA - depois que o modelo foi suficientemente treinado, ele tem sido capaz de resolver com sucesso milhares de consultas de clientes por dia.
Já estamos implementando estratégias adicionais para reduzir a fila pendente a zero o mais rápido possível.
#Reembolsos, Compensações e Extensões de serviço
Para qualquer cliente afetado por atrasos de ativação, problemas de serviço e atrasos de suporte, ofereceremos reembolsos ou compensação de acordo com nossa política de reembolso.
#Reembolsos
Os reembolsos podem