Quiero comenzar expresando mis más sinceras disculpas a todos los clientes que han experimentado dificultades con Palworld o los servicios de Shockbyte en las últimas 2 semanas.
Somos conscientes de que los clientes de Shockbyte están experimentando retrasos en los tiempos de activación de servidores, problemas de rendimiento de servidores y retrasos en las respuestas de atención al cliente.
El propósito de este artículo es abordar todos los problemas en curso, explicar cómo los estamos resolviendo, qué hemos aprendido y proporcionar soluciones a todos los problemas siempre que sea posible.
Es una publicación extensa, pero creo que es importante compartir todos los detalles y ser claros sobre lo que está sucediendo y las acciones que realmente estamos tomando.
#Tabla de Contenidos
- La popularidad sin precedentes de Palworld
- Cómo Shockbyte se preparó para el lanzamiento de Palworld
- Cómo estamos resolviendo todos los problemas de Palworld
- El compromiso de Shockbyte con los clientes
#La popularidad sin precedentes de Palworld
Palworld es un nuevo y emocionante juego de supervivencia de mundo abierto poblado por criaturas llamadas "Pals", que guardan muchas similitudes con Pokémon y ARK: Survival Evolved.
A pesar de haber sido desarrollado por un pequeño estudio independiente, el juego se veía prometedor y esperábamos un lanzamiento muy exitoso, sin embargo, nos equivocamos.
De hecho, Palworld fue el lanzamiento de juego más grande que hemos visto o experimentado como proveedor de servidores de juegos.
Palworld superó con creces las expectativas de todos. El pequeño estudio independiente PocketPair vendió 19 millones de copias de Palworld en menos de 2 semanas. Para ponerlo en perspectiva, Minecraft, el juego más grande del mundo, tardó 4 años en alcanzar el mismo número de ventas.
Este fue un lanzamiento monumental de escala sin precedentes.
#Cómo Shockbyte se preparó para el lanzamiento de Palworld
Durante los últimos años, Shockbyte ha adquirido mucha experiencia con el lanzamiento de nuevos servidores de juegos. Hasta el momento, Shockbyte ha lanzado hosting de servidores para un total de 50 títulos de juegos.
Nos hemos vuelto tan experimentados y eficientes con los lanzamientos de juegos que pasamos de lanzar solo 2 títulos en 2020 a 19 nuevos títulos en 2023, eso es casi un juego cada 2 semanas.
La única forma de lograr este nivel de eficiencia fue iterando y mejorando lo que aprendimos con cada lanzamiento de juego, refinando cada vez más nuestro proceso. Lo tenemos reducido a una ciencia, y solo mejoramos con cada nuevo título.
La preparación para el lanzamiento de un juego involucra a cada uno de nuestros equipos e incluye aspectos tales como integración con nuestra infraestructura, compatibilidad, pruebas de hardware y rendimiento, investigación de mercado, pronósticos de ventas, capacitación del personal, documentación para clientes y más.
La preparación para Palworld transcurrió sin problemas, al igual que todos nuestros otros lanzamientos recientes de juegos, excepto por una diferencia clave: nadie podría haber anticipado lo popular que sería Palworld.
Antes del lanzamiento de Palworld, Shockbyte amplió el tamaño de toda nuestra infraestructura en aproximadamente un 10% como preparación. Considerando que alojamos otros 49 juegos, somos uno de los mayores proveedores de servidores de juegos y llevamos 10 años en el negocio, esto es enorme y pensamos que era mucho, mucho más de lo necesario.
Quedó claro desde el día 1 que esto no duraría mucho y nuestros ingenieros comenzaron de inmediato a trabajar para adquirir y aprovisionar nuevos servidores para mantenerse al día con la demanda entrante.
Durante el fin de semana del lanzamiento de Palworld, la demanda fue tan alta que todo nuestro sitio web se cayó durante unas horas debido a lo que inicialmente pensamos que era un ataque DDoS. Tras la investigación, resultó ser tráfico genuino: muchos miles de usuarios intentando comprar servidores al mismo tiempo.
#Aprendiendo de Valheim
Hemos experimentado una alta demanda de servidores de juegos varias veces en el pasado. En ese momento pensábamos que eran enormes, y afortunadamente aprendimos mucho de esas experiencias.
En realidad, el lanzamiento de Palworld resultó ser aproximadamente 25 veces más grande para Shockbyte que el mayor lanzamiento/actualización de juego que hemos visto en el pasado.
Valheim se lanzó en 2021 y en los 3 años desde su lanzamiento ha vendido un total de 12 millones de copias (como recordatorio, ¡Palworld vendió 19 millones de copias en 2 semanas!).
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheim es un juego que ha sido reconocido como una nueva era para el hosting de servidores privados, abriendo los ojos de los desarrolladores de juegos a los servidores de comunidad y a este género de juegos. El éxito de Valheim fue tan significativo que allanó el camino para juegos como V-Rising, Enshrouded e incluso el propio Palworld.
Aprendimos mucho del éxito de Valheim. Aunque el cambio más grande que implementamos fue mejorar nuestra cadena de suministro para que en el futuro pudiéramos adquirir más stock con poca antelación.
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#Cómo estamos resolviendo todos los problemas de Palworld
Estamos al tanto de todos los problemas que enfrentan actualmente los clientes, tanto con los servicios de Shockbyte como con el propio juego Palworld. Estamos escuchando, y nuestro equipo está trabajando activamente todos los días para resolverlos.
A continuación, he tratado de cubrir extensamente cada problema y explicar lo que nuestro equipo está haciendo para resolverlos.
Un tema que notarás es que casi todos estos problemas se deben a la extrema demanda de servidores de Palworld, sin embargo, cada uno representa un desafío único y requiere una solución única.
Si deseas leer sobre reembolsos o compensaciones, hay una sección dedicada a esto a continuación.
#Problemas y Resoluciones - Tabla de Contenidos
- Activaciones de servidor retrasadas
- Rendimiento del servidor y caídas
- Retrasos en atención al cliente
- Reembolsos, Compensaciones y Extensiones de servicio
#Activaciones de servidor retrasadas
Antes de leer esta sección, recomendaría comenzar con la sección anterior titulada "Cómo Shockbyte se preparó para el lanzamiento de Palworld". La sección anterior incluye mucho contexto que es relevante para esta sección.
Lamentamos a cualquier cliente que esté experimentando retrasos en la activación del servicio. Quiero asegurarte que nuestro equipo está trabajando las 24 horas del día para resolver esto.
#Por qué ocurrieron los retrasos y cómo los estamos solucionando
Shockbyte normalmente activa los servidores instantánea y automáticamente al momento de la compra.
Desde el lanzamiento de Palworld, las activaciones de servidores han sido más lentas de lo habitual. Esto sucedió por dos razones, las cuales hemos estado trabajando para resolver de forma independiente.
#[Ya resuelto] Tiempo para aprovisionar un servidor
Cuando se compra un servidor, se agrega a la cola de activación. Nuestro sistema procesa automáticamente esta cola y antes de Palworld, normalmente tardaría 2-3 minutos en activar completamente cada servidor.
Esto suena como mucho tiempo, pero es porque el sistema backend tiene que hacer mucho trabajo: verificar el estado del pago, encontrar un nodo disponible en la región seleccionada, encontrar una IP, configurar el servidor de juegos, asignar el servidor al usuario, etc.
El primer problema que enfrentamos con los tiempos de activación fue que recibíamos pedidos cada pocos segundos. Esto significaba que, aunque había stock disponible, la cola de activación se acumulaba mucho más rápido de lo que se podían cumplir los pedidos.
La única forma de resolver este problema era optimizando el código para que el sistema pudiera activar los servidores tan rápido como los recibíamos.
Nuestros desarrolladores comenzaron a trabajar en esto desde el día 1, y lograron resolver este problema en 48 horas.
- Día 1: Pudimos hacer una pequeña optimización del código que redujo el tiempo de activación de 2-3 minutos a un máximo de 60 segundos.
- Día 2: Nuestro Gerente de TI (un saludo a James Hawkins), logró un gran avance y pudo optimizar aún más el código para activar los servidores en solo unos pocos segundos.
#[En curso] Disponibilidad de stock
Desde el lanzamiento de Palworld, todo nuestro Departamento de TI se ha centrado en adquirir y desplegar más stock.
Aunque nuestro stock inicial se agotó en pocos días, hemos estado expandiendo nuestra infraestructura cada día, día, noche y fines de semana.
Sabemos que algunos clientes han estado esperando varios días por sus servidores. En casos extremos, he visto a algunos clientes esperar 6 o 7 días.
Sabemos lo frustrante que puede ser esperar y reconocemos que puede sentirse como si el progreso fuera lento, sin embargo, en realidad estamos cumpliendo una gran cantidad de pedidos cada día.
Actualmente, estamos entregando más de 2,000 servidores cada día.
La realidad es que todos los proveedores de servidores de juegos y nuestros proveedores se encuentran en la misma situación. Palworld ha arrasado con el stock de cada proveedor que hemos visto: ha sido tan extremo que los proveedores upstream en general también están sin stock.
Lo que estamos haciendo para resolverlo y mitigarlo:
- Expansión de infraestructura - Hemos invertido fuertemente en nuestra infraestructura y hasta ahora hemos expandido toda nuestra infraestructura en casi un 50%. Estamos desplegando nuevos servidores cada día.
- Advertencias antes de la compra - Hemos agregado una gran advertencia en nuestro sitio web de que las activaciones de servidores están retrasadas debido a la demanda de Palworld.
- Avisos de retraso por región - Algunas regiones han sido etiquetadas con una espera de más de 7 días.
- Expansión de la cadena de suministro - Hemos seguido expandiendo nuestra cadena de suministro para mejorar nuestra capacidad de adquirir stock.
#Rendimiento del servidor y caídas
Como Palworld es un juego de acceso anticipado, hay una serie de errores y problemas de rendimiento presentes en el juego.
Estos errores están siendo trabajados activamente por el desarrollador del juego Palworld y esperamos que muchos de ellos se resuelvan en las actualizaciones del juego en los próximos días y semanas.
Dicho esto, tenemos consejos para ti y cambios que estamos haciendo de nuestro lado para ayudar a mitigar el problema.
#Caídas del servidor y fuga de memoria de Palworld
Palworld actualmente contiene un error de fuga de memoria que hace que todos los servidores se caigan después de que han estado en línea durante un período de tiempo.
Como este es un error en el juego, debe ser corregido por el desarrollador del juego Palworld.
Mientras un servidor de Palworld está funcionando, el uso de RAM aumentará continuamente hasta que finalmente alcance el límite y se caiga.
Asignar más RAM a un servidor de Palworld le permitirá permanecer en línea por más tiempo, pero eventualmente se caerá.
Nuestra recomendación: Configura un reinicio automático para tu servidor cada 2-3 horas.
Esto asegurará que tu servidor se detenga de manera segura y guarde tu progreso. Sabemos que es molesto, pero al menos podrás seguir jugando, y estamos seguros de que Palworld lanzará una solución para esto pronto.
Hemos visto a algunos clientes mencionar que el juego recomienda 16-32GB de RAM probablemente debido a este problema. Los servidores generalmente requieren menos RAM que el propio juego, ya que el servidor no necesita cargar ningún recurso gráfico/visual. Nuestro equipo ha realizado pruebas exhaustivas para confirmar que no es necesaria tanta memoria para el servidor.
El plan Lamball Palworld de Shockbyte viene con 4GB de RAM, y es posible actualizar la RAM del servidor al plan Grizzbolt. Sin embargo, es importante señalar que la RAM es cara, y los planes con 16-32GB de RAM tendrían que estar en el rango de $40-80+. Hemos podido ofrecer nuestros planes desde $12.
Nota: Aumentamos la memoria de nuestro plan más bajo de Palworld de 3GB a 4GB poco después del lanzamiento. Sin embargo, esto significó que tuvimos que aumentar ligeramente el precio de este plan.
Si bien ninguna cantidad de RAM puede resolver la fuga de memoria, nuestro equipo realizó pruebas exhaustivas para garantizar que los planes sean justos y asequibles. Una vez que se resuelva el error, esperamos que el uso de RAM se estabilice. Luego continuaremos realizando pruebas y actualizando nuestros planes y recomendaciones en consecuencia.
En el futuro, planeamos realizar pruebas aún más rigurosas, manteniendo los servidores funcionando durante períodos de tiempo más largos y buscando problemas y errores en el juego.
#Rendimiento del servidor
Esperamos que el rendimiento de Palworld continúe mejorando a medida que el juego siga actualizándose, optimizándose y resolviendo errores.
Detrás de escena, también hemos estado actualizando nuestro hardware para los servidores de Palworld para ayudar a mitigar los problemas de rendimiento, específicamente, la CPU.
Desde el lanzamiento y al ver servidores reales en uso, hemos aprendido que Palworld está más limitado por CPU de lo que mostraban nuestras pruebas. Todo el nuevo hardware que estamos aprovisionando para Palworld ahora se ejecuta en CPUs más potentes con más núcleos que antes.
Esto ha tenido un costo adicional para nosotros, sin embargo, hemos optado por no reflejar esto en nuestros precios.
#Otros errores en el juego
Hemos proporcionado soluciones a muchos problemas comunes en nuestra Base de Conocimiento: https://shockbyte.com/billing/knowledgebase/78/Palworld
Los desarrolladores de Palworld ya han publicado una solución para un error que estaba causando pérdida de datos y reseteo de datos del jugador.
#Retrasos en atención al cliente
Con el enorme aumento en la demanda y el tráfico del sitio web, el número de consultas de atención al cliente también aumentó en consecuencia.
No podemos controlar el número de usuarios que contactan a nuestro equipo de soporte: todo lo que podemos hacer es adaptarnos lo más rápido posible.
La verdad es que nuestro equipo de soporte está completamente desbordado en este momento. Nuestro volumen de soporte aumentó un 394% de la noche a la mañana.
Estamos haciendo todo lo posible para adaptarnos a la demanda lo más rápido posible.
Al comienzo de Palworld, teníamos 50 agentes de soporte. Contratar 197 empleados adicionales de la noche a la mañana sería una tarea imposible, mucho menos hacerlo en solo 2 semanas: aún necesitamos incorporar y capacitar a todos estos nuevos miembros del personal.
Para resolver esto rápidamente, necesitamos soluciones creativas, y eso es lo que estamos haciendo.
Lo que estamos haciendo para adaptarnos a la demanda de soporte:
- Por supuesto, estamos ampliando el tamaño de nuestro equipo de soporte.
- Todo nuestro equipo de soporte ha sido reasignado para enfocarse en los tickets de soporte.
- El chat en vivo ha sido reemplazado temporalmente con un Chatbot de IA: estamos entrenando el modelo, y es realmente increíblemente impresionante. Hasta ahora está resolviendo aproximadamente el ~90% de las consultas. Esta es una medida temporal.
- Estamos redoblando nuestras estrategias que fueron efectivas para nosotros en el pasado.
- También tenemos muchas más ideas que estamos discutiendo y trabajando cada día.
#Logramos un avance en el soporte
El gráfico a continuación muestra el número de tickets sin resolver que hemos tenido abiertos durante los últimos 3 meses.
Verás que durante todo este período el número se mantiene esencialmente en cero, eso significa que cada día nuestro equipo de soporte está respondiendo a esencialmente todas las consultas abiertas.
El pico inmediato comienza el 19 de enero, la fecha de lanzamiento de Palworld. Puedes ver qué tan abruptamente creció la demanda y qué tan rápido nuestro equipo se vio inundado de solicitudes.
Comenzamos a implementar estrategias desde el día 1, sin embargo, el aumento fue tan extremo y la mayoría de las soluciones tardan algún tiempo en comenzar a ver resultados.
Después de ~10 días logramos algunos avances que nos permitieron resolver aproximadamente tantas consultas como recibíamos por día, esto se puede ver en el gráfico donde se detiene el crecimiento de tickets.
Una gran parte de esto fue nuestra I