Voglio iniziare esprimendo le mie sincere scuse a tutti i clienti che hanno riscontrato problemi con Palworld o con i servizi Shockbyte nelle ultime 2 settimane.
Siamo consapevoli che i clienti di Shockbyte stanno riscontrando ritardi nei tempi di attivazione dei server, problemi di prestazioni dei server e ritardi nelle risposte dell'assistenza clienti.
Lo scopo di questo articolo è affrontare tutti i problemi in corso, spiegare come li stiamo risolvendo, cosa abbiamo imparato e fornire soluzioni a tutti i problemi ove possibile.
È un post lungo - ma penso sia importante condividere tutti i dettagli ed essere chiari su ciò che sta accadendo e sulle azioni che stiamo effettivamente intraprendendo.
#Indice dei contenuti
- La popolarità senza precedenti di Palworld
- Come Shockbyte si è preparata al lancio di Palworld
- Come stiamo risolvendo tutti i problemi di Palworld
- L'impegno di Shockbyte verso i clienti
#La popolarità senza precedenti di Palworld
Palworld è un nuovo ed entusiasmante gioco di sopravvivenza open-world popolato da creature chiamate "Pal", con molte somiglianze con Pokémon e ARK: Survival Evolved.
Nonostante sia stato sviluppato da un piccolo studio di gioco indipendente, il gioco sembrava promettente e ci aspettavamo un lancio di grande successo - tuttavia, ci sbagliavamo.
Infatti, Palworld è stato il più grande lancio di un gioco che abbiamo mai visto o sperimentato come provider di server di gioco.
Palworld ha superato di gran lunga le aspettative di tutti. Il piccolo studio indie PocketPair ha venduto 19 milioni di copie di Palworld in meno di 2 settimane. Per dare un'idea, Minecraft, il gioco più grande del mondo, ha impiegato 4 anni per raggiungere lo stesso numero di vendite.
Si è trattato di un lancio monumentale di portata senza precedenti.
#Come Shockbyte si è preparata al lancio di Palworld
Negli ultimi anni, Shockbyte ha acquisito molta esperienza nel lancio di nuovi server di gioco. Al momento della stesura, Shockbyte ha lanciato l'hosting di server per un totale di 50 titoli di gioco.
Siamo diventati così esperti ed efficienti con i lanci dei giochi che siamo passati dal lanciare solo 2 titoli nel 2020 a 19 nuovi titoli nel 2023 - ovvero quasi un gioco ogni 2 settimane.
L'unico modo per raggiungere questo livello di efficienza è stato iterare e migliorare ciò che abbiamo imparato con ogni singolo lancio di gioco, perfezionando sempre di più il nostro processo. Lo abbiamo ridotto a una scienza, e miglioriamo solo con ogni nuovo titolo.
La preparazione per il lancio di un gioco coinvolge ognuno dei nostri team e include cose come l'integrazione all'interno della nostra infrastruttura, la compatibilità, i test hardware e di prestazione, le ricerche di mercato, le previsioni di vendita, la formazione del personale, la documentazione per i clienti e altro.
La preparazione di Palworld è andata liscia proprio come tutti gli altri nostri recenti lanci di giochi, tranne per una differenza fondamentale - nessuno avrebbe potuto prevedere quanto sarebbe stato popolare Palworld.
Prima del lancio di Palworld, Shockbyte ha ampliato le dimensioni dell'intera infrastruttura di circa il 10% in preparazione. Considerando che ospitiamo altri 49 giochi, siamo uno dei più grandi host di server di gioco e operiamo da 10 anni - questo è enorme e pensavamo fosse di gran lunga più del necessario.
È diventato chiaro entro il giorno 1 che questo non sarebbe durato a lungo e i nostri ingegneri hanno immediatamente iniziato a lavorare per acquisire e fornire nuovi server per tenere il passo con la domanda in arrivo.
Durante il weekend di lancio di Palworld, la domanda era così alta che il nostro intero sito web è andato offline per alcune ore a causa di quello che inizialmente pensavamo fosse un attacco DDoS. Dopo l'indagine, si è rivelato essere traffico genuino - molte migliaia di utenti che cercavano di acquistare server contemporaneamente.
#Imparare da Valheim
Abbiamo già sperimentato un'alta domanda di server di gioco molteplici volte in passato. All'epoca pensavamo fossero enormi, e per fortuna abbiamo imparato molto da quelle esperienze.
In realtà, il lancio di Palworld si è rivelato circa 25 volte più grande per Shockbyte rispetto al più grande lancio/aggiornamento di un gioco che abbiamo visto in passato.
Valheim è stato lanciato nel 2021 e nei 3 anni dal lancio ha venduto un totale di 12 milioni di copie (come promemoria, Palworld ha venduto 19 milioni di copie in 2 settimane!).
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheim è un gioco rinomato per aver inaugurato una nuova era per l'hosting di server privati, aprendo gli occhi degli sviluppatori di giochi sui server della community e su questo genere di giochi. Il successo di Valheim è stato così significativo da aprire la strada a giochi come V-Rising, Enshrouded e persino Palworld stesso.
Abbiamo imparato molto dal successo di Valheim. Tuttavia, il cambiamento più grande che abbiamo implementato è stato migliorare la nostra catena di approvvigionamento in modo che in futuro potessimo acquisire più scorte con breve preavviso.
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#Come stiamo risolvendo tutti i problemi di Palworld
Siamo consapevoli di tutti i problemi che i clienti stanno attualmente affrontando, sia con i servizi Shockbyte che con il gioco Palworld stesso. Vi stiamo ascoltando, e il nostro team sta lavorando attivamente ogni giorno per risolverli.
Di seguito, ho cercato di trattare in modo approfondito ogni problema e di spiegare cosa sta facendo il nostro team per risolverli.
Un tema che noterete è che praticamente ognuno di questi è dovuto all'estrema domanda di server Palworld, tuttavia ognuno presenta una sfida unica e richiede una soluzione unica.
Se desideri leggere informazioni sui rimborsi o sulle compensazioni, c'è una sezione dedicata di seguito.
#Problemi e soluzioni - Indice dei contenuti
- Attivazioni dei server ritardate
- Prestazioni dei server e crash
- Ritardi nell'assistenza clienti
- Rimborsi, Compensazioni ed Estensioni del servizio
#Attivazioni dei server ritardate
Prima di leggere questa sezione, consiglierei di iniziare con la sezione precedente intitolata "Come Shockbyte si è preparata al lancio di Palworld". La sezione precedente include molto contesto rilevante per questa sezione.
Ci scusiamo con tutti i clienti che stanno riscontrando ritardi nell'attivazione del servizio. Voglio assicurarvi che il nostro team sta lavorando 24 ore su 24 per risolverli.
#Perché si sono verificati i ritardi e come li stiamo risolvendo
Shockbyte attiva normalmente i server istantaneamente e automaticamente al momento dell'acquisto.
Dal lancio di Palworld, le attivazioni dei server sono state più lente del solito. Ciò è accaduto per due motivi, sui quali abbiamo lavorato in modo indipendente per risolverli.
#[Già risolto] Tempo per fornire un server
Quando un server viene acquistato, viene aggiunto alla coda di attivazione. Il nostro sistema elabora automaticamente questa coda e prima di Palworld, normalmente ci volevano 2-3 minuti per attivare completamente ogni server.
Sembra molto tempo, ma questo perché il sistema di backend deve fare molto lavoro - controllare lo stato del pagamento, trovare un nodo disponibile nella regione selezionata, trovare un IP, configurare il server di gioco, assegnare il server all'utente, ecc.
Il primo problema che abbiamo affrontato con i tempi di attivazione era che ricevevamo ordini ogni pochi secondi. Ciò significava che, anche se le scorte erano disponibili, la coda di attivazione si stava accumulando molto più velocemente di quanto gli ordini potessero essere evasi.
L'unico modo per risolvere questo problema era ottimizzare il codice in modo che il sistema potesse attivare i server alla stessa velocità con cui li ricevevamo.
I nostri sviluppatori hanno iniziato a lavorarci dal giorno 1 e sono riusciti a risolvere questo problema entro 48 ore.
- Giorno 1: Siamo stati in grado di apportare una piccola ottimizzazione al codice che ha ridotto il tempo di attivazione da 2-3 minuti a un massimo di 60 secondi.
- Giorno 2: Il nostro IT Manager (un saluto a James Hawkins), ha realizzato un enorme passo avanti ed è stato in grado di ottimizzare ulteriormente il codice per attivare i server in pochi secondi.
#[In corso] Disponibilità delle scorte
Dal lancio di Palworld, il nostro intero Dipartimento IT si è concentrato sull'acquisizione e l'implementazione di più scorte.
Sebbene le nostre scorte iniziali si siano esaurite in pochi giorni, abbiamo ampliato la nostra infrastruttura ogni singolo giorno - giorno, notte e weekend.
Sappiamo che alcuni clienti hanno aspettato diversi giorni per i loro server. In casi estremi, ho visto alcuni clienti aspettare 6 o 7 giorni.
Sappiamo quanto possa essere frustrante aspettare e riconosciamo che potrebbe sembrare che i progressi siano lenti, tuttavia stiamo effettivamente evadendo un numero enorme di ordini ogni giorno.
Attualmente, stiamo consegnando oltre 2.000 server ogni singolo giorno.
La realtà è che tutti gli host di server di gioco e i nostri fornitori sono nella stessa situazione. Palworld ha esaurito le scorte di ogni provider che abbiamo visto - è stato così estremo che anche i fornitori a monte sono ovunque a corto di scorte.
Cosa stiamo facendo per risolverlo e mitigarlo:
- Espansione dell'infrastruttura - Abbiamo investito molto nella nostra infrastruttura e finora abbiamo ampliato l'intera infrastruttura di quasi il 50%. Stiamo distribuendo nuovi server ogni singolo giorno.
- Avvisi prima dell'acquisto - Abbiamo aggiunto un grande avviso sul nostro sito web che le attivazioni dei server sono ritardate a causa della domanda di Palworld.
- Avvisi di ritardo per regione - Alcune regioni sono state etichettate con un'attesa di 7+ giorni.
- Espansione della catena di approvvigionamento - Stiamo ulteriormente espandendo la nostra catena di approvvigionamento per migliorare la nostra capacità di acquisire scorte.
#Prestazioni dei server e crash
Poiché Palworld è un gioco in early access, sono presenti diversi bug e problemi di prestazioni all'interno del gioco.
Su questi bug stanno lavorando attivamente gli sviluppatori del gioco Palworld e ci aspettiamo che molti di essi vengano risolti negli aggiornamenti del gioco nei prossimi giorni e settimane.
Detto questo, abbiamo dei suggerimenti per voi e modifiche che stiamo apportando da parte nostra per aiutare a mitigare il problema.
#Crash del server e memory leak di Palworld
Palworld contiene attualmente un bug di memory leak che causa il crash di tutti i server dopo che sono stati online per un certo periodo di tempo.
Poiché si tratta di un bug nel gioco, deve essere risolto dagli sviluppatori del gioco Palworld.
Mentre un server Palworld è in esecuzione, l'utilizzo della RAM aumenterà continuamente fino a raggiungere il limite e crashare.
Allocare più RAM a un server Palworld gli permetterà di rimanere online più a lungo, ma alla fine si bloccherà comunque.
La nostra raccomandazione: Configura un riavvio automatico del tuo server ogni 2-3 ore.
Ciò garantirà che il tuo server si arresti in modo sicuro e salvi i tuoi progressi. Sappiamo che è fastidioso, ma almeno potrai continuare a giocare - e siamo sicuri che Palworld rilascerà presto una correzione per questo.
Abbiamo visto alcuni clienti menzionare che il gioco raccomanda 16-32 GB di RAM probabilmente a causa di questo problema. I server in genere richiedono meno RAM rispetto al gioco stesso poiché il server non ha bisogno di caricare alcun asset grafico/visivo. Il nostro team ha condotto test approfonditi per confermare che questa quantità di memoria non è necessaria per il server.
Il piano Lamball Palworld di Shockbyte viene fornito con 4 GB di RAM ed è possibile aggiornare la RAM del server al piano Grizzbolt. Tuttavia, è importante notare che la RAM è costosa e i piani con 16-32 GB di RAM dovrebbero essere nell'intervallo di $40-80+. Siamo riusciti a offrire i nostri piani a partire da $12.
Nota: Abbiamo aumentato la memoria del nostro piano Palworld più basso da 3 GB a 4 GB poco dopo il lancio. Tuttavia, ciò ha significato che abbiamo dovuto aumentare leggermente il prezzo di questo piano.
Sebbene nessuna quantità di RAM possa risolvere il memory leak, il nostro team ha eseguito test approfonditi per garantire che i piani siano equi e accessibili. Una volta risolto il bug, ci aspettiamo che l'utilizzo della RAM si stabilizzi. Continueremo quindi a eseguire test e ad aggiornare i nostri piani e le nostre raccomandazioni di conseguenza.
In futuro, abbiamo intenzione di eseguire test ancora più rigorosi, mantenendo i server in esecuzione per periodi di tempo più lunghi e cercando problemi e bug nel gioco.
#Prestazioni del server
Ci aspettiamo che le prestazioni di Palworld continuino a migliorare man mano che il gioco continua ad aggiornarsi, ottimizzarsi e risolvere bug.
Dietro le quinte, abbiamo anche aggiornato il nostro hardware per i server Palworld per aiutare a mitigare i problemi di prestazioni - in particolare, la CPU.
Dopo il lancio e dopo aver visto server reali in uso, abbiamo imparato che Palworld è più CPU-bound di quanto i nostri test mostrassero. Tutto il nuovo hardware che stiamo fornendo per Palworld ora gira su CPU più potenti con più core di prima.
Questo ci è costato di più, tuttavia, abbiamo scelto di non riflettere questo nei nostri prezzi.
#Altri errori in-game
Abbiamo fornito soluzioni a molti problemi comuni nella nostra Knowledgebase: https://shockbyte.com/billing/knowledgebase/78/Palworld
Gli sviluppatori di Palworld hanno già pubblicato una correzione per un errore che causava la perdita di dati e il reset dei dati dei giocatori.
#Ritardi nell'assistenza clienti
Con l'enorme aumento della domanda e del traffico del sito web, anche il numero di richieste di assistenza clienti è aumentato di conseguenza.
Non possiamo controllare il numero di utenti che contattano il nostro team di supporto - tutto ciò che possiamo fare è adattarci il più rapidamente possibile.
La verità è che il nostro team di supporto è completamente sopraffatto in questo momento. Il nostro volume di supporto è aumentato del 394% da un giorno all'altro.
Stiamo facendo tutto il possibile per adattarci alla domanda il più velocemente possibile.
All'inizio di Palworld, avevamo 50 agenti di supporto. Assumere altri 197 dipendenti da un giorno all'altro sarebbe un compito impossibile, figuriamoci farlo in sole 2 settimane - dobbiamo ancora integrare e formare tutti questi nuovi membri del personale.
Per risolvere il problema rapidamente, abbiamo bisogno di soluzioni creative - ed è quello che stiamo facendo.
Cosa stiamo facendo per adattarci alla domanda di supporto:
- Naturalmente, stiamo ampliando le dimensioni del nostro team di supporto.
- L'intero nostro team di supporto è stato riassegnato per concentrarsi sui ticket di supporto.
- La live chat è stata sostituita temporaneamente con un Chatbot AI - stiamo addestrando il modello, ed è davvero incredibilmente impressionante. Finora sta risolvendo circa il ~90% delle richieste. Si tratta di una misura temporanea.
- Stiamo raddoppiando gli sforzi sulle strategie che sono state efficaci per noi in passato.
- Abbiamo anche molte altre idee di cui stiamo discutendo e su cui stiamo lavorando ogni giorno.
#Abbiamo ottenuto un progresso nel supporto
Il grafico qui sotto mostra il numero di ticket non risolti che abbiamo avuto aperti negli ultimi 3 mesi.
Vedrai che durante tutto questo periodo il numero è essenzialmente a zero - ciò significa che ogni giorno il nostro team di supporto risponde essenzialmente a tutte le rich