먼저 지난 2주 동안 Palworld 또는 Shockbyte 서비스 이용에 어려움을 겪으신 모든 고객분들께 진심으로 사과의 말씀을 드리고자 합니다.
저희는 Shockbyte 고객분들께서 서버 활성화 시간 지연, 서버 성능 문제, 그리고 고객 지원 응답 지연을 경험하고 계시다는 점을 인지하고 있습니다.
이 글의 목적은 현재 진행 중인 모든 문제들을 다루고, 어떻게 해결하고 있는지, 무엇을 배웠는지 설명하며, 가능한 모든 문제에 대한 해결책을 제시하는 것입니다.
긴 글이지만, 모든 세부 사항을 공유하고 무슨 일이 일어나고 있는지, 그리고 저희가 실제로 어떤 조치를 취하고 있는지 분명히 알리는 것이 중요하다고 생각합니다.
#목차
- Palworld의 전례 없는 인기
- Shockbyte가 Palworld 출시를 어떻게 준비했는가
- 모든 Palworld 문제를 어떻게 해결하고 있는가
- 고객을 향한 Shockbyte의 약속
#Palworld의 전례 없는 인기
Palworld는 "Pal"이라고 불리는 생물들이 등장하는 새롭고 흥미로운 오픈 월드 생존 게임으로, Pokémon 및 ARK: Survival Evolved와 많은 유사점이 있습니다.
소규모 인디 게임 스튜디오에서 개발되었음에도 불구하고, 이 게임은 유망해 보였고 저희는 매우 성공적인 출시를 기대하고 있었습니다 - 하지만, 저희가 틀렸습니다.
사실 Palworld는 게임 서버 호스트로서 저희가 본 것 중, 그리고 경험한 것 중 가장 큰 게임 출시였습니다.
Palworld는 모두의 기대를 훨씬 뛰어넘었습니다. 소규모 인디 스튜디오 PocketPair는 2주도 채 되지 않아 Palworld 1,900만 장을 판매했습니다. 비교를 위해 말씀드리자면, 세계 최대 게임인 Minecraft는 같은 판매량에 도달하는 데 4년이 걸렸습니다.
이는 전례 없는 규모의 기념비적인 출시였습니다.
#Shockbyte가 Palworld 출시를 어떻게 준비했는가
지난 몇 년간 Shockbyte는 새로운 게임 서버를 출시하면서 많은 경험을 쌓았습니다. 이 글을 작성하는 시점 기준, Shockbyte는 총 50개 게임 타이틀의 서버 호스팅을 출시했습니다.
저희는 게임 출시에 매우 능숙하고 효율적이게 되어 2020년에는 단 2개의 타이틀만 출시했지만, 2023년에는 19개의 새로운 타이틀을 출시했습니다 - 이는 거의 2주에 한 게임 꼴입니다.
이 정도의 효율성을 달성하는 유일한 방법은 매번 게임을 출시할 때마다 배운 것을 반복하고 개선하며, 프로세스를 점점 더 정교하게 다듬는 것이었습니다. 저희는 이를 과학으로 만들었으며, 새로운 타이틀이 출시될 때마다 더 나아지고 있습니다.
게임 출시 준비는 저희의 모든 팀과 관련되며, 인프라 통합, 호환성, 하드웨어 및 성능 테스트, 시장 조사, 판매 예측, 직원 교육, 고객 문서 등의 작업이 포함됩니다.
Palworld 준비는 최근의 다른 모든 게임 출시처럼 순조롭게 진행되었습니다. 단 한 가지 중요한 차이점을 제외하고 말이죠 - 그 누구도 Palworld가 얼마나 인기 있을지 예상할 수 없었습니다.
Palworld 출시 전, Shockbyte는 준비를 위해 전체 인프라 규모를 약 10% 확장했습니다. 49개의 다른 게임을 호스팅하고, 가장 큰 게임 서버 호스트 중 하나이며, 10년간 사업을 운영해 온 점을 고려하면 이는 엄청난 규모이며 필요 이상으로 훨씬 많은 양이라고 생각했습니다.
1일째에 이것이 오래 가지 않을 것임이 분명해졌고, 저희 엔지니어들은 즉시 들어오는 수요를 따라잡기 위해 새로운 서버를 확보하고 프로비저닝하는 작업을 시작했습니다.
Palworld 출시 주말 동안, 수요가 너무 높아서 저희가 처음에는 DDoS 공격이라고 생각했던 것 때문에 전체 웹사이트가 몇 시간 동안 다운되었습니다. 조사 결과, 이는 실제 트래픽이었음이 밝혀졌습니다 - 수천 명의 사용자가 동시에 서버를 구매하려고 시도했던 것입니다.
#Valheim에서 배운 점
저희는 과거에 여러 번 게임 서버에 대한 높은 수요를 경험했습니다. 당시에는 그것들이 엄청나다고 생각했고, 다행히도 그 경험에서 많은 것을 배웠습니다.
실제로 Palworld의 출시는 Shockbyte에게 과거 가장 큰 게임 출시/업데이트보다 약 25배 더 큰 규모였던 것으로 밝혀졌습니다.
Valheim은 2021년에 출시되었으며 출시 이후 3년간 총 1,200만 장을 판매했습니다 (다시 한번 알려드리자면, Palworld는 2주 만에 1,900만 장을 판매했습니다!).
🎉Total number of players exceeds 19 million🎉
— Palworld (@Palworld_EN) January 31, 2024
It's been less than two weeks since #Palworld was released, thank you!
・Steam: 12 million~ copies
・Xbox: 7 million~ players
We will continue to prioritize fixing bugs!
Thank you for your continued support of #Pocketpair! pic.twitter.com/twgAeYVL07
Valheim은 개인 서버 호스팅의 새 시대로 알려진 게임으로, 게임 개발자들이 커뮤니티 서버와 이 장르의 게임에 눈을 뜨게 했습니다. Valheim의 성공은 매우 중요하여 V-Rising, Enshrouded, 심지어 Palworld 자체와 같은 게임의 길을 열어주었습니다.
저희는 Valheim의 성공에서 많은 것을 배웠습니다. 가장 큰 변화는 향후 단기간에 더 많은 재고를 확보할 수 있도록 공급망을 개선한 것이었습니다.
Less than a week ago we hit one million sales, now we've hit TWO! Thank you so much! ⚔️🥰#Valheim #Survival https://t.co/ELqJ6qDstE
— Valheim 🌟 (@Valheimgame) February 15, 2021
#모든 Palworld 문제를 어떻게 해결하고 있는가
저희는 Shockbyte 서비스와 Palworld 게임 자체와 관련하여 고객들이 현재 직면하고 있는 모든 문제를 인지하고 있습니다. 저희는 귀를 기울이고 있으며, 저희 팀은 매일 적극적으로 문제를 해결하기 위해 노력하고 있습니다.
아래에서는 모든 문제를 광범위하게 다루고 저희 팀이 이를 해결하기 위해 무엇을 하고 있는지 설명하고자 했습니다.
여러분이 알아차리실 한 가지 주제는 거의 모든 문제가 Palworld 서버에 대한 극심한 수요로 인한 것이라는 점입니다. 그러나 각 문제는 고유한 도전이며 고유한 해결책을 필요로 합니다.
환불이나 보상에 대해 읽고 싶으시다면, 아래에 이를 위한 별도의 섹션이 있습니다.
#문제 및 해결책 - 목차
#서버 활성화 지연
이 섹션을 읽기 전에, 먼저 위의 "Shockbyte가 Palworld 출시를 어떻게 준비했는가" 섹션부터 시작하시는 것을 권장드립니다. 위 섹션에는 이 섹션과 관련된 많은 맥락이 포함되어 있습니다.
서비스 활성화에 지연을 겪고 계신 모든 고객분들께 죄송하다는 말씀을 드립니다. 저희 팀이 이를 해결하기 위해 24시간 내내 일하고 있다는 점을 확실히 말씀드리고 싶습니다.
#지연이 발생한 이유와 해결 방법
Shockbyte는 일반적으로 구매 즉시 자동으로 서버를 활성화합니다.
Palworld 출시 이후, 서버 활성화는 평소보다 느려졌습니다. 이는 두 가지 이유로 발생했으며, 저희는 각각을 독립적으로 해결하기 위해 노력해 왔습니다.
#[이미 해결됨] 서버 프로비저닝 시간
서버가 구매되면 활성화 대기열에 추가됩니다. 저희 시스템은 이 대기열을 자동으로 처리하며, Palworld 이전에는 일반적으로 각 서버를 완전히 활성화하는 데 2-3분이 걸렸습니다.
길게 들리지만, 이는 백엔드 시스템이 많은 작업을 수행해야 하기 때문입니다 - 결제 상태 확인, 선택한 지역에서 사용 가능한 노드 찾기, IP 찾기, 게임 서버 구성, 사용자에게 서버 할당 등.
저희가 활성화 시간과 관련하여 직면한 첫 번째 문제는 몇 초마다 주문을 받고 있었다는 것입니다. 이는 재고가 있더라도 활성화 대기열이 주문이 처리될 수 있는 속도보다 훨씬 빠르게 쌓이고 있었음을 의미했습니다.
이 문제를 해결하는 유일한 방법은 시스템이 들어오는 만큼 빠르게 서버를 활성화할 수 있도록 코드를 최적화하는 것이었습니다.
저희 개발자들은 1일째에 이 작업을 시작했고, 48시간 이내에 이 문제를 해결할 수 있었습니다.
- 1일차: 활성화 시간을 2-3분에서 최대 60초로 단축할 수 있는 작은 코드 최적화를 수행할 수 있었습니다.
- 2일차: 저희 IT 매니저(James Hawkins에게 감사)가 큰 돌파구를 마련하여 서버를 단 몇 초 만에 활성화할 수 있도록 코드를 추가로 최적화할 수 있었습니다.
#[진행 중] 재고 가용성
Palworld 출시 이후, 저희 IT 부서 전체가 더 많은 재고를 확보하고 배포하는 데 집중하고 있습니다.
저희의 초기 재고는 며칠 만에 소진되었지만, 저희는 매일매일 - 낮, 밤, 주말 - 인프라를 확장해 왔습니다.
일부 고객분들이 며칠 동안 서버를 기다리고 계신다는 것을 알고 있습니다. 극단적인 경우, 6일 또는 7일을 기다리는 고객도 있었습니다.
기다리는 것이 얼마나 답답한 일인지 알고 있으며, 진행이 느리게 느껴질 수 있다는 점을 인식하고 있습니다. 그러나 사실 저희는 매일 엄청난 수의 주문을 처리하고 있습니다.
현재 저희는 매일 2,000개 이상의 서버를 제공하고 있습니다.
현실은, 모든 게임 서버 호스트와 저희의 공급업체들도 같은 상황에 있다는 것입니다. Palworld는 저희가 본 모든 공급업체의 재고를 휩쓸었습니다 - 너무 극단적이어서 전반적으로 상위 공급업체들도 재고가 없습니다.
해결 및 완화를 위해 저희가 하고 있는 일:
- 인프라 확장 - 저희는 인프라에 막대한 투자를 했으며 지금까지 전체 인프라를 거의 50% 확장했습니다. 매일매일 새로운 서버를 배포하고 있습니다.
- 구매 전 경고 - Palworld 수요로 인해 서버 활성화가 지연되고 있다는 큰 경고를 저희 웹사이트에 추가했습니다.
- 지역별 지연 공지 - 일부 지역에는 7일 이상 대기 라벨이 붙어 있습니다.
- 공급망 확장 - 저희는 재고 확보 능력을 향상시키기 위해 공급망을 추가로 확장해 왔습니다.
#서버 성능 및 충돌
Palworld는 얼리 액세스 게임이므로, 게임 내에 여러 버그와 성능 문제가 존재합니다.
이러한 버그는 Palworld 게임 개발자에 의해 적극적으로 작업 중이며, 저희는 향후 며칠 및 몇 주 내의 게임 업데이트에서 많은 문제가 해결될 것으로 예상합니다.
그렇긴 하지만, 도움이 되는 팁과 문제를 완화하기 위해 저희 측에서 변경하고 있는 사항이 있습니다.
#서버 충돌 및 Palworld 메모리 누수
Palworld에는 현재 모든 서버가 일정 시간 온라인 상태에 있은 후 충돌하게 만드는 메모리 누수 버그가 포함되어 있습니다.
이는 게임의 버그이므로, Palworld 게임 개발자가 수정해야 합니다.
Palworld 서버가 실행되는 동안 RAM 사용량은 결국 한계에 도달하여 충돌할 때까지 계속 증가합니다.
Palworld 서버에 더 많은 RAM을 할당하면 더 오래 온라인 상태를 유지할 수 있지만, 결국에는 충돌하게 됩니다.
저희의 권장 사항: 서버에 대해 2-3시간마다 자동 재시작을 구성하세요.
이렇게 하면 서버가 안전하게 중지되고 진행 상황이 저장됩니다. 번거로운 일이라는 것은 알지만, 적어도 계속 플레이하실 수 있을 것이며 - Palworld가 곧 이에 대한 수정을 출시할 것이라고 확신합니다.
저희는 일부 고객들이 게임이 16-32GB RAM을 권장한다고 언급하는 것을 보았는데, 이는 아마도 이 문제 때문일 것입니다. 서버는 그래픽/시각적 자산을 로드할 필요가 없기 때문에 일반적으로 게임 자체보다 적은 RAM을 필요로 합니다. 저희 팀은 서버에 그렇게 많은 메모리가 필요하지 않다는 것을 확인하기 위해 광범위한 테스트를 수행했습니다.
Shockbyte의 Lamball Palworld 플랜은 4GB RAM과 함께 제공되며, 서버의 RAM을 Grizzbolt 플랜으로 업그레이드할 수 있습니다. 그러나 RAM은 비싸며, 16-32GB RAM이 있는 플랜은 $40-80+ 범위에 있어야 한다는 점에 유의해야 합니다. 저희는 플랜을 $12라는 저렴한 가격으로 제공할 수 있었습니다.
참고: 저희는 출시 직후 가장 낮은 Palworld 플랜의 메모리를 3GB에서 4GB로 늘렸습니다. 그러나 이는 저희가 이 플랜의 가격을 약간 인상해야 함을 의미했습니다.
어떤 양의 RAM도 메모리 누수를 해결할 수는 없지만, 저희 팀은 플랜이 공정하고 합리적인지 확인하기 위해 광범위한 테스트를 수행했습니다. 버그가 해결되면 RAM 사용량이 안정화될 것으로 예상합니다. 그런 다음 계속해서 테스트를 수행하고 그에 따라 플랜과 권장 사항을 업데이트할 것입니다.
향후, 저희는 서버를 더 오랜 기간 동안 실행하고 게임 내 문제 및 버그를 찾아내는 등 훨씬 더 엄격한 테스트를 수행할 계획입니다.
#서버 성능
저희는 게임이 계속 업데이트되고, 최적화되고, 버그가 해결됨에 따라 Palworld 성능이 계속 개선될 것으로 예상합니다.
이면에서, 저희는 또한 성능 문제를 완화하기 위해 Palworld 서버용 하드웨어를 업그레이드해 왔습니다 - 특히 CPU를 말이죠.
출시 이후 실제 사용 중인 서버를 보면서, 저희는 Palworld가 테스트에서 보여진 것보다 CPU에 더 많이 의존한다는 것을 알게 되었습니다. 저희가 Palworld용으로 프로비저닝하고 있는 모든 새 하드웨어는 이제 이전보다 더 많은 코어를 가진 더 강력한 CPU에서 실행됩니다.
이는 저희에게 추가 비용을 가져왔지만, 가격에 반영하지 않기로 결정했습니다.
#기타 게임 내 오류
저희는 지식 베이스에서 많은 일반적인 문제에 대한 해결책을 제공해 왔습니다: https://shockbyte.com/billing/knowledgebase/78/Palworld
Palworld 개발자들은 이미 데이터 손실 및 플레이어 데이터 재설정을 일으키는 오류에 대한 수정을 게시했습니다.
#고객 지원 지연
수요와 웹사이트 트래픽의 막대한 증가와 함께, 고객 지원 문의 수도 그에 따라 증가했습니다.
저희는 지원팀에 연락하는 사용자 수를 통제할 수 없습니다 - 저희가 할 수 있는 일은 가능한 한 빨리 적응하는 것뿐입니다.
사실 저희 지원팀은 현재 완전히 압도되어 있습니다. 저희의 지원 볼륨은 하룻밤 사이에 394% 증가했습니다.
저희는 가능한 한 빨리 수요에 적응하기 위해 할 수 있는 모든 것을 하고 있습니다.
Palworld 시작 시점에 저희는 50명의 지원 직원이 있었습니다. 하룻밤 사이에 추가로 197명의 직원을 고용하는 것은 불가능한 일이며, 단 2주 만