Ik wil beginnen met mijn oprechte excuses aan alle klanten die de afgelopen 2 weken problemen hebben ondervonden met Palworld of de Shockbyte-services.
We zijn ons ervan bewust dat klanten van Shockbyte vertragingen ervaren bij serveractivaties, problemen met serverprestaties en vertragingen in reacties van de klantenservice.
Het doel van dit artikel is om alle lopende problemen aan te pakken, uit te leggen hoe we deze oplossen, wat we hebben geleerd en waar mogelijk oplossingen te bieden voor alle problemen.
Het is een lang bericht - maar ik vind het belangrijk om alle details te delen en duidelijk te zijn over wat er gebeurt en welke acties we daadwerkelijk ondernemen.
#Inhoudsopgave
- De ongekende populariteit van Palworld
- Hoe Shockbyte zich heeft voorbereid op de lancering van Palworld
- Hoe we alle Palworld-problemen oplossen
- Shockbyte's toewijding aan klanten
#De ongekende populariteit van Palworld
Palworld is een nieuwe en spannende open-world survivalgame met wezens genaamd "Pals", die veel overeenkomsten vertoont met Pokémon en ARK: Survival Evolved.
Ondanks dat het werd ontwikkeld door een kleine indie-gamestudio, zag de game er veelbelovend uit en verwachtten we een zeer succesvolle lancering - maar we hadden het mis.
Sterker nog, Palworld was de grootste game-lancering die we ooit hebben gezien of meegemaakt als gameserver-host.
Palworld overtrof ieders verwachtingen ruimschoots. De kleine indie-studio PocketPair verkocht in minder dan 2 weken 19 miljoen exemplaren van Palworld. Om dat in perspectief te plaatsen: Minecraft, de grootste game ter wereld, had 4 jaar nodig om hetzelfde aantal verkopen te behalen.
Dit was een monumentale lancering van ongekende omvang.
#Hoe Shockbyte zich heeft voorbereid op de lancering van Palworld
In de afgelopen jaren heeft Shockbyte veel ervaring opgedaan met het lanceren van nieuwe gameservers. Op het moment van schrijven heeft Shockbyte serverhosting gelanceerd voor in totaal 50 gametitels.
We zijn zo ervaren en efficiënt geworden met game-lanceringen dat we van slechts 2 titels in 2020 naar 19 nieuwe titels in 2023 zijn gegaan - dat is bijna één game elke 2 weken.
De enige manier om dit niveau van efficiëntie te bereiken was door te itereren en te verbeteren op basis van wat we leerden bij elke game-lancering, en zo ons proces steeds verder te verfijnen. We hebben er een wetenschap van gemaakt en we worden alleen maar beter met elke nieuwe titel.
De voorbereiding op een game-lancering raakt elk van onze teams en omvat zaken zoals integratie binnen onze infrastructuur, compatibiliteit, hardware- en prestatietests, marktonderzoek, verkoopprognoses, training van personeel, klantendocumentatie en meer.
De voorbereiding op Palworld verliep vlot, net als al onze andere recente game-lanceringen, behalve op één belangrijk punt - niemand had kunnen voorzien hoe populair Palworld zou worden.
Voorafgaand aan de lancering van Palworld heeft Shockbyte de omvang van onze hele infrastructuur ter voorbereiding met ongeveer 10% uitgebreid. Aangezien we 49 andere games hosten, een van de grootste gameserver-hosts zijn en al 10 jaar in het bedrijf zitten, is dit enorm en we dachten dat dit veel, veel meer was dan nodig zou zijn.
Het werd op dag 1 al duidelijk dat dit niet lang zou standhouden en onze engineers begonnen onmiddellijk te werken aan het verkrijgen en inrichten van nieuwe servers om de toenemende vraag bij te kunnen houden.
Tijdens het lanceringsweekend van Palworld was de vraag zo hoog dat onze hele website enkele uren plat lag, wat we aanvankelijk dachten dat een DDoS-aanval was. Na onderzoek bleek het echter om echt verkeer te gaan - vele duizenden gebruikers die tegelijkertijd servers probeerden te kopen.
#Leren van Valheim
We hebben in het verleden meerdere keren een hoge vraag naar gameservers ervaren. Destijds dachten we dat deze enorm waren, en gelukkig hebben we veel geleerd van die ervaringen.
In werkelijkheid bleek de lancering van Palworld voor Shockbyte ongeveer 25x groter te zijn dan de grootste game-lancering/update die we in het verleden hebben gezien.
Valheim werd in 2021 gelanceerd en heeft in de 3 jaar sinds de lancering in totaal 12 miljoen exemplaren verkocht (ter herinnering: Palworld verkocht 19 miljoen exemplaren in 2 weken!).
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheim is een game die bekendstaat als een nieuw tijdperk voor private serverhosting, en heeft de ogen van game-ontwikkelaars geopend voor community-servers en dit genre van games. Het succes van Valheim was zo significant dat het de weg heeft geëffend voor games zoals V-Rising, Enshrouded en zelfs Palworld zelf.
We hebben veel geleerd van het succes van Valheim. De grootste verandering die we hebben doorgevoerd was het verbeteren van onze toeleveringsketen, zodat we in de toekomst op korte termijn meer voorraad kunnen verkrijgen.
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#Hoe we alle Palworld-problemen oplossen
We zijn op de hoogte van alle problemen waarmee klanten momenteel worden geconfronteerd, zowel met de Shockbyte-services als met de Palworld-game zelf. We luisteren, en ons team werkt elke dag actief aan het oplossen ervan.
Hieronder heb ik geprobeerd elk probleem uitgebreid te behandelen en uit te leggen wat ons team doet om ze op te lossen.
Een thema dat je zult opmerken is dat bijna al deze problemen het gevolg zijn van de extreme vraag naar Palworld-servers, maar elk daarvan vormt een unieke uitdaging en vereist een unieke oplossing.
Als je meer wilt lezen over terugbetalingen of compensatie, is er hieronder een speciale sectie voor.
#Problemen & Oplossingen - Inhoudsopgave
- Vertraagde serveractivaties
- Serverprestaties & crashes
- Vertragingen bij klantenservice
- Terugbetalingen, compensatie & verlenging van services
#Vertraagde serveractivaties
Voordat je deze sectie leest, raad ik aan eerst te beginnen met de sectie hierboven getiteld "Hoe Shockbyte zich heeft voorbereid op de lancering van Palworld". De sectie hierboven bevat veel context die relevant is voor deze sectie.
Onze excuses aan alle klanten die vertragingen ervaren bij de service-activering. Ik wil je verzekeren dat ons team dag en nacht werkt om dit op te lossen.
#Waarom de vertragingen zijn ontstaan en hoe we ze oplossen
Shockbyte activeert servers normaal gesproken direct en automatisch bij aankoop.
Sinds de lancering van Palworld zijn de serveractivaties trager dan normaal. Dit gebeurde om twee redenen, waar we onafhankelijk van elkaar aan hebben gewerkt om ze op te lossen.
#[Reeds opgelost] Tijd om een server in te richten
Wanneer een server wordt gekocht, wordt deze toegevoegd aan de activeringswachtrij. Ons systeem verwerkt deze wachtrij automatisch en vóór Palworld duurde het normaal gesproken 2-3 minuten om elke server volledig te activeren.
Dit klinkt als een lange tijd, maar dat komt omdat het backend-systeem veel werk moet doen - de betalingsstatus controleren, een beschikbaar knooppunt in de geselecteerde regio vinden, een IP zoeken, de gameserver configureren, de server aan de gebruiker toewijzen, enzovoort.
Het eerste probleem waarmee we werden geconfronteerd met betrekking tot activeringstijden was dat we elke paar seconden bestellingen ontvingen. Dit betekende dat zelfs als er voorraad beschikbaar was, de activeringswachtrij veel sneller opstapelde dan dat bestellingen konden worden afgerond.
De enige manier om dit probleem op te lossen was door de code te optimaliseren zodat het systeem servers net zo snel kon activeren als we ze ontvingen.
Onze ontwikkelaars zijn hier op dag 1 mee aan de slag gegaan en hebben dit probleem binnen 48 uur weten op te lossen.
- Dag 1: We hebben een kleine optimalisatie van de code kunnen doorvoeren waardoor de activeringstijd van 2-3 minuten naar maximaal 60 seconden ging.
- Dag 2: Onze IT Manager (een shoutout naar James Hawkins) maakte een enorme doorbraak en wist de code verder te optimaliseren om servers binnen slechts enkele seconden te activeren.
#[Lopend] Voorraadbeschikbaarheid
Sinds de lancering van Palworld is onze hele IT-afdeling gericht op het verkrijgen en inzetten van meer voorraad.
Hoewel onze initiële voorraad binnen enkele dagen was uitverkocht, hebben we onze infrastructuur elke dag uitgebreid - dag, nacht en weekenden.
We weten dat sommige klanten al meerdere dagen op hun server wachten. In extreme gevallen heb ik klanten 6 of 7 dagen zien wachten.
We weten hoe frustrerend wachten kan zijn en we beseffen dat het kan voelen alsof de voortgang traag is, maar in werkelijkheid voltooien we elke dag een enorm aantal bestellingen.
Momenteel leveren we elke dag meer dan 2.000 servers.
De realiteit is dat alle gameserver-hosts en onze leveranciers zich in dezelfde situatie bevinden. Palworld heeft door de voorraad van elke aanbieder die we hebben gezien gerukt - het was zo extreem dat upstream-leveranciers in het algemeen ook geen voorraad meer hebben.
Wat we doen om dit op te lossen en te verzachten:
- Uitbreiding van infrastructuur - We hebben zwaar geïnvesteerd in onze infrastructuur en hebben tot nu toe onze hele infrastructuur met bijna 50% uitgebreid. We zetten elke dag nieuwe servers in.
- Waarschuwingen voorafgaand aan aankoop - We hebben een grote waarschuwing toegevoegd op onze website dat serveractivaties zijn vertraagd vanwege de Palworld-vraag.
- Vertragingsmeldingen per regio - Sommige regio's zijn gemarkeerd met een wachttijd van 7+ dagen.
- Uitbreiding van toeleveringsketen - We hebben onze toeleveringsketen verder uitgebreid om ons vermogen om voorraad te verkrijgen te verbeteren.
#Serverprestaties & crashes
Aangezien Palworld een early access-game is, zijn er een aantal bugs en prestatieproblemen aanwezig in de game.
Aan deze bugs wordt actief gewerkt door de Palworld-gameontwikkelaar en we verwachten dat veel ervan de komende dagen en weken in game-updates worden opgelost.
Dat gezegd hebbende, hebben we wel tips voor je en wijzigingen die we aan onze kant doorvoeren om het probleem te helpen verzachten.
#Servercrashes & Palworld memory leak
Palworld bevat momenteel een memory leak-bug die ervoor zorgt dat alle servers crashen nadat ze een bepaalde tijd online zijn geweest.
Aangezien dit een bug in de game is, moet deze worden opgelost door de Palworld-gameontwikkelaar.
Terwijl een Palworld-server draait, blijft het RAM-gebruik continu toenemen totdat het uiteindelijk de limiet bereikt en crasht.
Het toewijzen van meer RAM aan een Palworld-server zal ervoor zorgen dat deze langer online blijft, maar uiteindelijk zal hij toch crashen.
Onze aanbeveling: Configureer een automatische herstart voor je server elke 2-3 uur.
Dit zorgt ervoor dat je server veilig stopt en je voortgang opslaat. We weten dat het vervelend is, maar je kunt in ieder geval blijven spelen - en we zijn er zeker van dat Palworld hier binnenkort een oplossing voor zal uitbrengen.
We hebben gezien dat sommige klanten vermelden dat de game 16-32 GB RAM aanbeveelt, waarschijnlijk vanwege dit probleem. Servers vereisen doorgaans minder RAM dan de game zelf, omdat de server geen grafische/visuele assets hoeft te laden. Ons team heeft uitgebreide tests uitgevoerd om te bevestigen dat deze hoeveelheid geheugen niet nodig is voor de server.
Het Lamball Palworld-plan van Shockbyte komt met 4 GB RAM, en het is mogelijk om de RAM op de server te upgraden naar het Grizzbolt-plan. Het is echter belangrijk op te merken dat RAM duur is, en plannen met 16-32 GB RAM zouden in de prijsklasse van $40-80+ moeten zijn. We hebben onze plannen al kunnen aanbieden vanaf $12.
Opmerking: We hebben kort na de lancering het geheugen van ons laagste Palworld-plan verhoogd van 3 GB naar 4 GB. Dit betekende echter wel dat we de prijs van dit plan licht moesten verhogen.
Hoewel geen enkele hoeveelheid RAM de memory leak kan oplossen, heeft ons team uitgebreide tests uitgevoerd om ervoor te zorgen dat de plannen eerlijk en betaalbaar zijn. Zodra de bug is opgelost, verwachten we dat het RAM-gebruik zal stabiliseren. We zullen dan blijven testen en onze plannen en aanbevelingen dienovereenkomstig bijwerken.
In de toekomst zijn we van plan om nog grondiger te testen, servers gedurende langere periodes draaiend te houden en op zoek te gaan naar in-game problemen en bugs.
#Serverprestaties
We verwachten dat de prestaties van Palworld zullen blijven verbeteren naarmate de game blijft updaten, optimaliseren en bugs blijft oplossen.
Achter de schermen hebben we ook onze hardware voor Palworld-servers geüpgraded om prestatieproblemen te helpen verzachten - met name de CPU.
Sinds de lancering en het zien van echte servers in gebruik, hebben we geleerd dat Palworld meer CPU-gebonden is dan onze tests aantoonden. Alle nieuwe hardware die we voor Palworld inrichten draait nu op krachtigere CPU's met meer cores dan voorheen.
Dit heeft ons extra geld gekost, maar we hebben ervoor gekozen om dit niet door te berekenen in onze prijzen.
#Andere in-game fouten
We hebben oplossingen geboden voor veel veelvoorkomende problemen op onze Knowledgebase: https://shockbyte.com/billing/knowledgebase/78/Palworld
Palworld-ontwikkelaars hebben al een fix gepubliceerd voor een fout die dataverlies en het resetten van spelersgegevens veroorzaakte.
#Vertragingen bij klantenservice
Met de enorme toename in vraag en websiteverkeer is ook het aantal vragen aan de klantenservice navenant toegenomen.
We kunnen het aantal gebruikers dat contact opneemt met ons supportteam niet beïnvloeden - het enige wat we kunnen doen is ons zo snel mogelijk aanpassen.
De waarheid is dat ons supportteam op dit moment volledig overweldigd is. Ons supportvolume is van de ene op de andere dag met 394% gestegen.
We doen er alles aan om ons zo snel mogelijk aan de vraag aan te passen.
Aan het begin van Palworld hadden we 50 supportmedewerkers. Het van de ene op de andere dag aannemen van 197 extra medewerkers zou een onmogelijke taak zijn, laat staan dat te doen in slechts 2 weken - we moeten al deze nieuwe medewerkers nog steeds inwerken en trainen.
Om dit snel op te lossen, hebben we creatieve oplossingen nodig - en dat is wat we doen.
Wat we doen om ons aan te passen aan de vraag naar support:
- Uiteraard breiden we de omvang van ons supportteam uit.
- Ons hele supportteam is opnieuw ingedeeld om zich te concentreren op supporttickets.
- Live chat is tijdelijk vervangen door een AI-chatbot - we trainen het model en het is eigenlijk ongelooflijk indrukwekkend. Tot nu toe lost het ongeveer ~90% van de vragen op. Dit is een tijdelijke maatregel.
- We zetten in op strategieën die in het verleden effectief voor ons waren.
- We hebben ook nog veel meer ideeën die we elke dag bespreken en uitwerken.
#We hebben een doorbraak gemaakt in support
De grafiek hieronder toont het aantal onopgeloste tickets dat we de afgelopen 3 maanden open hebben gehad.
Je zult zien dat gedurende deze hele periode het aantal in wezen op nul zit - dat betekent dat ons supportteam elke dag in wezen op alle openstaande vragen reageert.
De directe piek begint op 19 januari - de lanceringsdatum van