Авторизация / Регистрация

[4ertik]

Разработчики подготовили большой техноблог про улучшение серверной архитектуры игры

В прошлом месяце команда CCP Games совершила прорыв в основах работы серверов MMORPG EVE Online, который ознаменует начало новой эпохи. Студии удалось внедрить современные технологии, позволяющие не только снизить нагрузку, но и открыть огромные возможности для улучшения вселенной Нового Эдема.

Последний раз сетевой уровень кардинально изменялся в 2011 году, когда компания CCP представила реализацию IOCP под названием CarbonIO, которая в конечном итоге стала основой печально известного замедления времени. Позже разработчики приступили к созданию чернового варианта Project Sanguine для решения проблем среды CarbonIO. Каждая оптимизация в EVE Online сводится к тщательному согласованию с Python Global Interpreter Lock (GIL). Просто Python может делать только одну вещь за раз. Принятие EVE Stackless Python, реализация IOCP через StacklessIO, затем CarbonIO и совместное проектирование с учетом замедления времени - все это поддерживает невероятную иллюзию о том, что Новый Эдем живой. Но что, если бы GIL не приходилось использовать для каждой возникающей идеи? Как можно извлечь выгоду из стремительного роста числа ядер в отрасли по сравнению с тактовой частотой отдельных процессоров?

YouTube (short)

В этом отношении было проведено множество экспериментов, имеющих непосредственное отношение к Project Sanguine, наиболее публичным из которых является EVE: Aether Wars. Цель заключалась не в том, чтобы коренным образом изменить модель коммуникации в EVE Online, а вместо этого изменить симуляционную модель. Project Sanguine же сконцентрировался на решении скучных элементов, которые представляют собой набор функций EVE. Симуляция почти 9 000 игроков в одном пространстве могла бы быть быстрее, если бы Новый Эдем не занимался обслуживанием огромного количества других вещей. Таким образом, Project Sanguine преследовал две цели: обойти GIL и создать условия для новых возможностей.

Первая форма Project Sanguine появилась с ESI и презентацией EVE Portal в конце 2016 года. Благодаря этим проектам в серверной архитектуре EVE Online была создана новая парадигма - сервисная шина. С ее помощью заново были обнаружены слабые места GIL, но с более четкой картиной, включая маршрутизацию сообщений, сериализацию и передачу данных. Если один корабль запускает один лазер среди 1000 кораблей, это 1000 сообщений, которые необходимо немедленно отправить по всему миру. Симуляция должна адресовать это сообщение 1000 адресатам как копию (маршрутизация сообщений), преобразовать эти данные в проводной формат (сериализация), а затем отправить их (передача). В большинстве случаев CarbonIO решает каждую из этих проблем, но в рамках полномочий GIL. CarbonIO уже довольно долгое время хорошо обслуживает EVE Online, но с 2011 года многое изменилось в бурных морях интернета.

Увидев эволюцию шаблонов в этой новой экосистеме стало ясно, что для использования парадигмы необходим более стандартизованный протокол. Благодаря интеграции удаленного вызова процедур (gRPC) разработчики смогли объединить возможности маршрутизации сообщений сервисной шины с мгновенной сериализацией буферов протокола (стандарт сообщений gRPC). По-прежнему необходимо планировать данные с помощью GIL для передачи, но теперь они буферизуются на более высоком уровне в отдельном потоке. Это означает, что вся передача, сериализация и маршрутизация сообщений происходят вне GIL, за исключением копии памяти, которая должна происходить между ними. Быстрее этого быть не может.

Теперь Новый Эдем может обрабатывать значительно больше данных. Когда началось создание ESI, CCP Games приступили к внедрению большего количества облачных технологий, таких как Kubernetes. По мере того, как стала очевидной потребность в простых примитивах синхронизации для обработки этой информации, был сделан большой шаг в сторону языка Go. Со временем эти технологии накапливались в отдельную экосистему и началась работа по созданию функций, позволяющих использовать преимущества новой способности работать с Новым Эдемом в соответствии с современными стандартами. Многие из них уже доступны игрокам.

Первым стал трекер активности. Он позволяет отслеживать всю вашу активность. Существует также его вариация с системой возможностей, которая пытается предсказать траекторию капсулера и выделить более интересные части Нового Эдема. Кроме того, сервисная шина использовалась для списков лидеров арены бездны. Огромный объем работы был проделан для предоставления командам разработчиков экосистемы, позволяющей использовать мощь архитектуры обмена сообщениями с этими функциями. Однако каждая из функций ограничена возможностями клиента игры.

До выпуска планов навыков каждая функция передавала данные на сервер через CarbonIO. Теперь это работает иначе, поскольку операции плана навыков не только передаются через gRPC, но и вовсе не взаимодействуют с Tranquility или его базами данных.

Почему так важен обход Tranquility и базы данных? Чтобы понять это, необходимо поговорить о неудачах. Часть пути привела к появлению множества новых техник и инструментов, с помощью которых можно увидеть Новый Эдем. Одна из концепций - распределенная трассировка с использованием новой любимой игрушки: Honeycomb.io. Вооружившись всеми новыми инструментами стало ясно, что именно происходит с планами навыков, когда они были запущены на основном сервере:

Несмотря на существование множества возможностей для улучшения в целом с производительностью все было в порядке:

Но уже на следующее утро ситуация начала выходить из под контроля:

Да, это 500 тысяч миллисекунд или 8 минут 20 секунд, чтобы отправить сообщение. Tranquility продолжал работать и большинство игроков не пострадали. Это потому, что разработчики не взаимодействуют с Tranquility в традиционном смысле этого слова. Больше нет CarbonIO для традиционных прокси, которые затем отправляются на серверный узел, а затем в базу данных. Вместо этого Tranquility сосредотачивается на том, что более важно, а клиент EVE обменивается данными через gRPC с новой экосистемой, где сервис планирования навыков живет со своей собственной базой данных.

Одна из самых сильных сторон новой экосистемы - отсутствие простоев. Чтобы спасти механику планирования навыков, не нужно перезагружать сервер. Также нету необходимости выпускать патч для сервера или клиента игры. Таким образом Project Sanguine эволюционировал в новую технологическую платформу под названием EVE: Quasar. Не зря разработчики называли текущий квадрант Gateway, поскольку он предвещает прямое использование шлюзов gRPC.

Команда CCP продолжит решать проблему устаревших сервисов путем развития Quasar и оптимизации древних систем, ускоряя их работу. Для обычных игроков это означает появление новых мощных функций для разных частей EVE Online. Разработчики также думают о публикации данных симуляции через Quasar, но для этого потребуется какое-то время.

[PACCOMAXA]

Я ни буя не понял, товарищи. Стена текста с непонятными терминами и графиками. На человеческий язык перевод будет ?

[MeNoirE]

Сообщение от PACCOMAXA:

Я ни буя не понял, товарищи. Стена текста с непонятными терминами и графиками. На человеческий язык перевод будет ?

Не обращай внимания, это для фанатов табличек. Когда им мало табличек в игре, разработчики устраивают подобные фансервисы для фанатов.

[Technotika]

То есть теперь я смогу втыкать таблицу в каждую ячейку таблицы с таблицами меньше чем за 8 минут и все смогут это видеть прям в своих таблицах с таблицами?! Очешуеть! Ура, товарищи!

[Usher]

Жалко игра остаётся неиграбельной для не-хардкорной аудитории

[Ventorem]

Давно пора, только все это пингозависимо и боится рассинхронизации

[Shurik13]

Сообщение от Usher:

Жалко игра остаётся неиграбельной для не-хардкорной аудитории

Ну да, надо ж оказуалить для обладателей iq в районе 80 и превратить игру в очередной клон танков...

[Draktal]

Сообщение от Usher:

Жалко игра остаётся неиграбельной для не-хардкорной аудитории

Можно играть и нехардкорно, другой вопрос что в этом случае список возможных активностей сильно сокращается. А то что доступно быстро надоедает.
Я пол года казуально крабил миски в хайсеках и сканил в нулях. Но со временем это надоело, а что бы влиться в большой движ уже нужно время и координация с другими замотивированными.

[Shurik13]

Сообщение от Draktal:

Можно играть и нехардкорно, другой вопрос что в этом случае список возможных активностей сильно сокращается. А то что доступно быстро надоедает.
Я пол года казуально крабил миски в хайсеках и сканил в нулях. Но со временем это надоело, а что бы влиться в большой движ уже нужно время и координация с другими замотивированными.

Всмысле "играть не хардкорно"? На марадёре премиум аккаунт за 7 часов отбивается... Не ну если упорно копать руду на вентуре с альфа аккаунтом то да, потратить 800 часов чтоб нафармить на подписку это "харкдор"

[Draktal]

Сообщение от Shurik13:

Всмысле "играть не хардкорно"? На марадёре премиум аккаунт за 7 часов отбивается

А причем тут заработок? Я про сам стиль игры. Можно казуально чилить на миссиях, там заработок вообще не особо важен. А можно играть в масс замесах и бороться за нагиб галактики 24/7, это уже хардкор.

[Usher]

Сообщение от Draktal:

А причем тут заработок? Я про сам стиль игры. Можно казуально чилить на миссиях, там заработок вообще не особо важен. А можно играть в масс замесах и бороться за нагиб галактики 24/7, это уже хардкор.

Как раз речь про заработок и именно он важен. Заработок открывает доступ к интересным кораблям. К сожалению Ева отбалансирована так, что хорошие корабли, хорошие модули, хорошие импы для пвп стоят настолько дорого, что не-хардкорному игроку не интересно с ними играть, т.к. время фарма для их замещения не сопоставимо со временем полезного использования.
И, к сожалению, эту проблему не возможно решить - иначе пострадает групповой контент для хардкорной аудитории.

Добавлено через 2 минуты

Сообщение от Shurik13:

На марадёре премиум аккаунт за 7 часов отбивается... Не ну если упорно копать руду на вентуре с альфа аккаунтом то да, потратить 800 часов чтоб нафармить на подписку это "харкдор"

При чём тут премиум? Я вообще не имел ввиду это - омегу очевидно покупают за реал :) За сколько ты отобьёшь свой мародёр, когда тебе его сольют, чем бы ты там ни занимался, если ты не состоишь в нульсечном поверблоке?

[6ap6oc]

Сообщение от PACCOMAXA:

Я ни буя не понял, товарищи. Стена текста с непонятными терминами и графиками. На человеческий язык перевод будет ?

Древние технологии, например Питон с его однозадачностью (при попытке распараллеливания на несколько ядер скорость падает!) пытаются оставить в прошлом.
И использовать наработки Гугола,такие как язык Go- прекрасно подходит для распределенных вычислений, gRPC для скоростного обмена событиями между множеством серверов.

Также из "боевой" части сети отдельно выносят вспомогательные функции - всяких тыловиков и прочих замполитов.

[Usher]

Сообщение от Draktal:

Можно казуально чилить на миссиях, там заработок вообще не особо важен

Чтобы казуально чилить на миссиях нужен аппарат такой стоимости, что его слив ты будешь отбивать за неделю этих миссий. В этом парадокс Евы.

Добавлено через 9 минут

Сообщение от Shurik13:

Ну да, надо ж оказуалить для обладателей iq в районе 80 и превратить игру в очередной клон танков...

Это вопрос чисто экономического баланса. В плане корабликов к Еве претензий нет. Плюс заработок в ЕВЕ определяется не IQ, а способностью играть по хардкору.

[Shurik13]

Сообщение от Usher:

Чтобы казуально чилить на миссиях нужен аппарат такой стоимости, что его слив ты будешь отбивать за неделю этих миссий. В этом парадокс Евы.

Добавлено через 9 минут



Это вопрос чисто экономического баланса. В плане корабликов к Еве претензий нет. Плюс заработок в ЕВЕ определяется не IQ, а способностью играть по хардкору.

Всмысле играть по хардкору? Можно собрать с самого начала себе херон на т1 модулях и сканить по 100кк в день. И это будет именно вопрос iq. Игра по хардкору это в нулях шатать неписёвые сотейки ради фарма чертежей на фракционные капиталы...

[Usher]

Сообщение от Shurik13:

Игра по хардкору это

Это несколько часов в день. Каждый день. Всего навсего.

[Shurik13]

Сообщение от Usher:

Это несколько часов в день. Каждый день. Всего навсего.

Хм... Понятно, вопросов больше не имею.

P.S. Любая ММО требует нескольких часов в день, чтоб достигать хоть каких-нибудь результатов отличных от нуля.

[Draktal]

Сообщение от Usher:

Как раз речь про заработок и именно он важен. Заработок открывает доступ к интересным кораблям.

Казуально можно и на фрегатах пвпшить с такими же нубами. Не обязательно максимумизировать свою эффективность. Это и отличает казуального игрока от хардкорщика.

Сообщение от Usher:

Чтобы казуально чилить на миссиях нужен аппарат такой стоимости, что его слив ты будешь отбивать за неделю этих миссий. В этом парадокс Евы

Я неспеша накопил на нави райвен с офицерским(кажись) щитом стоил весь обвес тогда чуть больше лярда, это месяц почти миски крабить. Но слить его на миссиях в хайсеке практически нереально.

[Usher]

Сообщение от Draktal:

Я неспеша накопил на нави райвен с офицерским(кажись) щитом стоил весь обвес тогда чуть больше лярда, это месяц почти миски крабить. Но слить его на миссиях в хайсеке практически нереально.

Всё с точностью до наоборот - выжить с таким аппаратом нереально. Как только гопники заметят КНР да ещё и с офицерским обвесом, тебе жить 1 час. Шансов у тебя ноль выжить. Тебя просто не заметили. В этом плане тебе легче в нульсеке выжить, чем в хайсеке :)

Добавлено через 3 минуты

Сообщение от Draktal:

Казуально можно и на фрегатах пвпшить с такими же нубами. Не обязательно максимумизировать свою эффективность. Это и отличает казуального игрока от хардкорщика.

Ээээ не соглашусь. Казуального игрока от хардкорщика отличает количество жопочасов, которые он может посвятить игре. А максимизировать свою эффективность, например летать на миски на преусловутом КНР в офицерском обвесе и с топовыми импами, хочется всем. Потому что это удобно и комфортно.

Добавлено через 3 минуты

Сообщение от Shurik13:

P.S. Любая ММО требует нескольких часов в день, чтоб достигать хоть каких-нибудь результатов отличных от нуля.

Ну ок. Кстати ССП с тобой полностью согласны. Поэтому наслаждайтесь вместе онлайном в 20к.

[Draktal]

Сообщение от Usher:

Всё с точностью до наоборот - выжить с таким аппаратом нереально. Как только гопники заметят КНР да ещё и с офицерским обвесом, тебе жить 1 час. Шансов у тебя ноль выжить. Тебя просто не заметили. В этом плане тебе легче в нульсеке выжить, чем в хайсеке

Месяца два на нем летал. Даже в житу совался за щитом этим. Может действительно повезло, спорить не буду.

Сообщение от Usher:

эээ не соглашусь. Казуального игрока от хардкорщика отличает количество жопочасов, которые он может посвятить игре. А максимизировать свою эффективность, например летать на миски на преусловутом КНР в офицерском обвесе и с топовыми импами, хочется всем. Потому что это удобно и комфортно.

Я может неправильно донес мысль. В моем понимании казуальная игра эта та игра под которую тебе не нужно как то подстраиваться. Игра в которую ты можешь играть сколько хочешь и когда хочешь. При этом не обязательно вырываться в возможный топ контента в определенном направлении. Например. Пвп на тех же фригатах, они дешевые и быстро учатся. Миски четвертые в хаях, а не пятые в нулях. (лоу самый хардкор, так как там гопоты такое чувство больше чем в нулях было) Сканить можно тоже в хаях, толку от этого правда не много. В нули я летал сканить больше не для заработка, а потроллить дегротов на гайках, с пузырями. У меня в астерке стояло две хреновины(забыл как называются), которые позволяли прыгать при локе. Просто летаешь развлекаешься, смотришь как они тебя пытаются поймать. В основном конечно они так и сидели слюни пускали на месте, но были и идейные которые пытались поймать конкретно. Для такой игры не нужно много исков, кооперации с другими игроками или много времени. Эта и есть казуальная игра в моем понимании. Я вообще проще сделал, купил себе Элиту и она перекрыла всю потребность в космосе. В данный момент открываю последних инженеров и делаю из своего Тайп-10 летающую крепость, способную разобрать любую непись. В открытую игру даже не совался. Ибо кроме ганкеров там нового контента нет.

[Sargass]

Сообщение от MeNoirE:

Не обращай внимания, это для фанатов табличек. Когда им мало табличек в игре, разработчики устраивают подобные фансервисы для фанатов.

понял спасибо, а то подумал тут отрыли вход в матрицу

[Кори]

Сообщение от Usher:

Жалко игра остаётся неиграбельной для не-хардкорной аудитории

вступаешь в гуны или другой большой альянс, летаешь по фанчику на КТА, по компенсации получаешь постоянно новый корабль

[IMS]

Сообщение от PACCOMAXA:

Я ни буя не понял, товарищи. Стена текста с непонятными терминами и графиками. На человеческий язык перевод будет ?

Да вроде как все понятно.
Часть данных не критичная для реалтайм вынесена во вспомогательные бд в рамках архитектуры Квазар (скорее всего это кубер кластер с кучей микросервисов)
А запросы к ней пустили не через основной прокси CarbonIO, а через gRPC