Tôi muốn bắt đầu bằng việc gửi lời xin lỗi chân thành đến tất cả khách hàng đã gặp phải các vấn đề với Palworld hoặc dịch vụ Shockbyte trong 2 tuần qua.
Chúng tôi nhận thức được rằng khách hàng của Shockbyte đang gặp phải sự chậm trễ trong thời gian kích hoạt máy chủ, các vấn đề về hiệu suất máy chủ và sự chậm trễ trong phản hồi hỗ trợ khách hàng.
Mục đích của bài viết này là để giải quyết tất cả các vấn đề đang diễn ra, giải thích cách chúng tôi đang khắc phục chúng, những gì chúng tôi đã học được, và cung cấp giải pháp cho mọi vấn đề khi có thể.
Đây là một bài viết khá dài - nhưng tôi nghĩ điều quan trọng là chia sẻ tất cả các chi tiết và rõ ràng về những gì đang xảy ra cũng như những hành động chúng tôi đang thực sự thực hiện.
#Mục lục
- Sự nổi tiếng chưa từng có của Palworld
- Cách Shockbyte chuẩn bị cho việc ra mắt Palworld
- Cách chúng tôi đang giải quyết tất cả các vấn đề về Palworld
- Cam kết của Shockbyte với khách hàng
#Sự nổi tiếng chưa từng có của Palworld
Palworld là một trò chơi sinh tồn thế giới mở mới và thú vị với các sinh vật được gọi là "Pals", có nhiều điểm tương đồng với Pokémon và ARK: Survival Evolved.
Mặc dù được phát triển bởi một studio game indie nhỏ, trò chơi trông đầy hứa hẹn và chúng tôi đã kỳ vọng sẽ có một đợt ra mắt rất thành công - tuy nhiên, chúng tôi đã sai.
Trên thực tế, Palworld là đợt ra mắt game lớn nhất mà chúng tôi từng chứng kiến hoặc trải nghiệm với tư cách là một nhà cung cấp máy chủ game.
Palworld đã vượt xa mọi kỳ vọng của mọi người. Studio indie nhỏ PocketPair đã bán được 19 triệu bản Palworld trong chưa đầy 2 tuần. Để dễ hình dung, Minecraft, trò chơi lớn nhất thế giới, đã mất 4 năm để đạt được con số bán hàng tương tự.
Đây là một đợt ra mắt hoành tráng với quy mô chưa từng có.
#Cách Shockbyte chuẩn bị cho việc ra mắt Palworld
Trong vài năm qua, Shockbyte đã tích lũy được nhiều kinh nghiệm trong việc ra mắt máy chủ game mới. Tính đến thời điểm viết bài, Shockbyte đã ra mắt dịch vụ lưu trữ máy chủ cho tổng cộng 50 tựa game.
Chúng tôi đã trở nên giàu kinh nghiệm và hiệu quả với việc ra mắt game đến mức chúng tôi đã đi từ chỉ ra mắt 2 tựa game vào năm 2020, lên 19 tựa game mới vào năm 2023 - tức là gần một game mỗi 2 tuần.
Cách duy nhất để đạt được mức độ hiệu quả này là bằng cách lặp lại và cải thiện những gì chúng tôi đã học được với mỗi đợt ra mắt game, ngày càng tinh chỉnh quy trình của chúng tôi. Chúng tôi đã đưa nó thành một khoa học, và chúng tôi chỉ ngày càng tốt hơn với mỗi tựa game mới.
Việc chuẩn bị cho một đợt ra mắt game ảnh hưởng đến tất cả các đội ngũ của chúng tôi và bao gồm những việc như tích hợp vào cơ sở hạ tầng, khả năng tương thích, kiểm tra phần cứng & hiệu suất, nghiên cứu thị trường, dự báo doanh số, đào tạo nhân viên, tài liệu khách hàng và nhiều hơn nữa.
Việc chuẩn bị cho Palworld đã diễn ra suôn sẻ giống như tất cả các đợt ra mắt game gần đây khác của chúng tôi, ngoại trừ một điểm khác biệt then chốt - không ai có thể lường trước được Palworld sẽ nổi tiếng đến mức nào.
Trước khi Palworld ra mắt, Shockbyte đã mở rộng quy mô toàn bộ cơ sở hạ tầng của chúng tôi lên khoảng 10% để chuẩn bị. Xét đến việc chúng tôi lưu trữ 49 game khác, là một trong những nhà cung cấp máy chủ game lớn nhất và đã hoạt động được 10 năm - đây là một con số lớn và chúng tôi đã nghĩ rằng nó nhiều hơn rất nhiều so với mức cần thiết.
Đến ngày đầu tiên thì rõ ràng là điều này sẽ không kéo dài được lâu và các kỹ sư của chúng tôi đã ngay lập tức bắt đầu làm việc để mua sắm và cấp phát máy chủ mới nhằm theo kịp nhu cầu đến.
Trong cuối tuần ra mắt Palworld, nhu cầu cao đến mức toàn bộ trang web của chúng tôi đã bị sập trong vài giờ do điều mà ban đầu chúng tôi nghĩ là một cuộc tấn công DDoS. Sau khi điều tra, hóa ra đó là lưu lượng thật - hàng nghìn người dùng đang cố gắng mua máy chủ cùng một lúc.
#Học hỏi từ Valheim
Chúng tôi đã từng trải qua nhu cầu cao về máy chủ game nhiều lần trong quá khứ. Vào thời điểm đó chúng tôi nghĩ những đợt đó là rất lớn, và may mắn thay chúng tôi đã học được rất nhiều từ những trải nghiệm đó.
Trên thực tế, việc ra mắt Palworld đã trở nên lớn gấp khoảng 25 lần đối với Shockbyte so với đợt ra mắt/cập nhật game lớn nhất mà chúng tôi từng chứng kiến trước đây.
Valheim ra mắt vào năm 2021 và trong 3 năm kể từ khi ra mắt đã bán được tổng cộng 12 triệu bản (xin nhắc lại, Palworld đã bán được 19 triệu bản trong 2 tuần!).
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheim là một trò chơi đã được công nhận là một kỷ nguyên mới cho việc lưu trữ máy chủ riêng, mở rộng tầm nhìn của các nhà phát triển game về máy chủ cộng đồng và thể loại game này. Thành công của Valheim quan trọng đến mức nó đã mở đường cho các trò chơi như V-Rising, Enshrouded và thậm chí là cả Palworld.
Chúng tôi đã học được rất nhiều từ thành công của Valheim. Tuy nhiên thay đổi lớn nhất mà chúng tôi đã thực hiện là cải thiện chuỗi cung ứng của mình để trong tương lai chúng tôi có thể mua thêm hàng tồn kho trong thời gian ngắn.
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#Cách chúng tôi đang giải quyết tất cả các vấn đề về Palworld
Chúng tôi nhận thức được tất cả các vấn đề mà khách hàng hiện đang gặp phải, cả với dịch vụ Shockbyte và với chính trò chơi Palworld. Chúng tôi đang lắng nghe, và đội ngũ của chúng tôi đang tích cực làm việc mỗi ngày để giải quyết chúng.
Dưới đây, tôi đã cố gắng đề cập một cách bao quát đến mọi vấn đề và giải thích những gì đội ngũ của chúng tôi đang làm để giải quyết chúng.
Một chủ đề bạn sẽ nhận thấy là hầu như mọi vấn đề đều do nhu cầu cực lớn về máy chủ Palworld, tuy nhiên mỗi vấn đề đều đặt ra một thách thức riêng biệt và đòi hỏi một giải pháp riêng biệt.
Nếu bạn muốn đọc về hoàn tiền hoặc bồi thường, có một phần dành riêng cho điều này ở bên dưới.
#Vấn đề & Giải pháp - Mục lục
- Kích hoạt máy chủ bị chậm trễ
- Hiệu suất máy chủ & sự cố
- Chậm trễ trong hỗ trợ khách hàng
- Hoàn tiền, Bồi thường & Gia hạn dịch vụ
#Kích hoạt máy chủ bị chậm trễ
Trước khi đọc phần này, tôi khuyên bạn nên bắt đầu với phần ở trên có tiêu đề "Cách Shockbyte chuẩn bị cho việc ra mắt Palworld". Phần ở trên bao gồm rất nhiều thông tin liên quan đến phần này.
Chúng tôi xin lỗi tất cả các khách hàng đang gặp phải sự chậm trễ trong việc kích hoạt dịch vụ. Tôi muốn đảm bảo với bạn rằng đội ngũ của chúng tôi đang làm việc suốt ngày đêm để giải quyết vấn đề này.
#Tại sao sự chậm trễ xảy ra, và cách chúng tôi đang giải quyết
Shockbyte thường kích hoạt máy chủ ngay lập tức và tự động sau khi mua hàng.
Kể từ khi Palworld ra mắt, việc kích hoạt máy chủ đã chậm hơn bình thường. Điều này xảy ra vì hai lý do, và chúng tôi đã làm việc để giải quyết chúng một cách độc lập.
#[Đã giải quyết] Thời gian cấp phát máy chủ
Khi một máy chủ được mua, nó sẽ được thêm vào hàng đợi kích hoạt. Hệ thống của chúng tôi tự động xử lý hàng đợi này và trước Palworld, thông thường sẽ mất 2-3 phút để kích hoạt hoàn toàn mỗi máy chủ.
Điều này nghe có vẻ là khoảng thời gian dài, nhưng đó là vì hệ thống backend phải làm rất nhiều việc - kiểm tra trạng thái thanh toán, tìm một node có sẵn trong khu vực được chọn, tìm một IP, cấu hình máy chủ game, gán máy chủ cho người dùng, v.v.
Vấn đề đầu tiên chúng tôi gặp phải với thời gian kích hoạt là chúng tôi nhận được đơn hàng vài giây một lần. Điều này có nghĩa là mặc dù có hàng tồn kho, hàng đợi kích hoạt đang chồng chất nhanh hơn nhiều so với khả năng đơn hàng có thể được hoàn thành.
Cách duy nhất để giải quyết vấn đề này là tối ưu hóa code để hệ thống có thể kích hoạt máy chủ nhanh như tốc độ chúng tôi nhận được chúng.
Các nhà phát triển của chúng tôi đã bắt đầu làm việc về điều này từ ngày đầu tiên, và đã giải quyết được vấn đề này trong vòng 48 giờ.
- Ngày 1: Chúng tôi đã có thể tối ưu hóa nhỏ trong code, đưa thời gian kích hoạt từ 2-3 phút xuống tối đa 60 giây.
- Ngày 2: Quản lý IT của chúng tôi (xin tri ân James Hawkins), đã có một bước đột phá lớn và có thể tối ưu hóa code hơn nữa để kích hoạt máy chủ chỉ trong vài giây.
#[Đang diễn ra] Tình trạng có sẵn của hàng tồn kho
Kể từ khi Palworld ra mắt, toàn bộ Bộ phận IT của chúng tôi đã tập trung vào việc mua sắm và triển khai thêm hàng tồn kho.
Mặc dù hàng tồn kho ban đầu của chúng tôi đã hết trong vòng vài ngày, chúng tôi đã và đang mở rộng cơ sở hạ tầng của mình mỗi ngày - ngày, đêm và cả cuối tuần.
Chúng tôi biết rằng một số khách hàng đã chờ đợi máy chủ của họ trong nhiều ngày. Trong những trường hợp cực đoan, tôi đã thấy một số khách hàng phải chờ 6 hoặc 7 ngày.
Chúng tôi biết việc chờ đợi có thể bực bội đến mức nào và chúng tôi nhận thấy rằng có thể cảm giác như tiến độ đang chậm, tuy nhiên chúng tôi thực sự đang hoàn thành một số lượng lớn đơn hàng mỗi ngày.
Hiện tại, chúng tôi đang giao hơn 2.000 máy chủ mỗi ngày.
Thực tế là, tất cả các nhà cung cấp máy chủ game và các nhà cung cấp của chúng tôi đều ở trong tình huống tương tự. Palworld đã ngấu nghiến hàng tồn kho của mọi nhà cung cấp mà chúng tôi đã thấy - tình hình quá nghiêm trọng đến mức các nhà cung cấp thượng nguồn trên toàn ngành cũng đều hết hàng.
Những gì chúng tôi đang làm để giải quyết & giảm thiểu:
- Mở rộng cơ sở hạ tầng - Chúng tôi đã đầu tư mạnh vào cơ sở hạ tầng và cho đến nay đã mở rộng toàn bộ cơ sở hạ tầng của mình lên gần 50%. Chúng tôi đang triển khai máy chủ mới mỗi ngày.
- Cảnh báo trước khi mua hàng - Chúng tôi đã thêm một cảnh báo lớn vào trang web của mình rằng việc kích hoạt máy chủ bị chậm trễ do nhu cầu Palworld.
- Thông báo trễ theo từng khu vực - Một số khu vực đã được gắn nhãn Chờ 7+ Ngày.
- Mở rộng chuỗi cung ứng - Chúng tôi đã tiếp tục mở rộng chuỗi cung ứng của mình để cải thiện khả năng mua sắm hàng tồn kho.
#Hiệu suất máy chủ & sự cố
Vì Palworld là một trò chơi truy cập sớm (early access), có một số bug và vấn đề về hiệu suất tồn tại trong trò chơi.
Những bug này đang được nhà phát triển game Palworld tích cực xử lý và chúng tôi mong đợi nhiều bug trong số đó sẽ được giải quyết trong các bản cập nhật game trong những ngày và tuần tới.
Tuy nhiên, chúng tôi vẫn có những mẹo dành cho bạn và những thay đổi mà chúng tôi đang thực hiện để giúp giảm thiểu vấn đề.
#Sự cố máy chủ & rò rỉ bộ nhớ Palworld
Palworld hiện chứa một bug rò rỉ bộ nhớ khiến tất cả các máy chủ bị sập sau khi chúng đã trực tuyến trong một khoảng thời gian.
Vì đây là bug trong game, nó phải được nhà phát triển game Palworld sửa.
Trong khi máy chủ Palworld đang chạy, mức sử dụng RAM sẽ tiếp tục tăng cho đến khi cuối cùng đạt đến giới hạn và bị sập.
Phân bổ thêm RAM cho máy chủ Palworld sẽ cho phép nó duy trì trực tuyến lâu hơn, nhưng cuối cùng nó vẫn sẽ bị sập.
Khuyến nghị của chúng tôi: Cấu hình khởi động lại tự động cho máy chủ của bạn mỗi 2-3 giờ.
Điều này sẽ đảm bảo máy chủ của bạn dừng an toàn và lưu tiến độ của bạn. Chúng tôi biết điều này khó chịu, nhưng ít nhất bạn sẽ có thể tiếp tục chơi - và chúng tôi chắc chắn rằng Palworld sẽ phát hành bản sửa lỗi cho điều này sớm.
Chúng tôi đã thấy một số khách hàng đề cập rằng game khuyến nghị 16-32GB RAM có thể là do vấn đề này. Máy chủ thường yêu cầu ít RAM hơn so với chính trò chơi vì máy chủ không cần tải bất kỳ tài nguyên đồ họa/hình ảnh nào. Đội ngũ của chúng tôi đã thực hiện các bài kiểm tra rộng rãi để xác nhận rằng không cần nhiều bộ nhớ như vậy cho máy chủ.
Gói Lamball Palworld của Shockbyte đi kèm với 4GB RAM, và có thể nâng cấp RAM trên máy chủ lên gói Grizzbolt. Tuy nhiên, điều quan trọng cần lưu ý là RAM có giá thành cao, và các gói có 16-32GB RAM sẽ cần nằm trong khoảng $40-80+. Chúng tôi đã có thể cung cấp các gói của mình với giá chỉ $12.
Lưu ý: Chúng tôi đã tăng bộ nhớ của gói Palworld thấp nhất từ 3GB lên 4GB ngay sau khi ra mắt. Tuy nhiên, điều này có nghĩa là chúng tôi phải tăng giá nhẹ của gói này.
Mặc dù không có lượng RAM nào có thể giải quyết được vấn đề rò rỉ bộ nhớ, đội ngũ của chúng tôi đã thực hiện kiểm tra rộng rãi để đảm bảo các gói là công bằng và phải chăng. Khi bug được giải quyết, chúng tôi mong đợi mức sử dụng RAM sẽ ổn định. Sau đó chúng tôi sẽ tiếp tục thực hiện kiểm tra & cập nhật các gói và khuyến nghị của mình c