Авторизация / Регистрация

[Wadimus]

Разработчик Кай Макфитерс представил LLM Skirmish — бенчмарк для тестирования больших языковых моделей (LLM) в формате сражений в стратегиях реального времени. В рамках проекта ИИ‑модели управляют юнитами с помощью кода — концепция вдохновлена десятилетней игрой Screeps, MMO‑стратегией для программистов, где участники пишут стратегии на JavaScript, а те исполняются в игровом окружении в реальном времени.

Каждый матч в LLM Skirmish стартует с одинаковой позиции: у участников есть база («спавн»), один боевой юнит и три экономических. Основная задача — уничтожить базу противника. Если за 2 000 игровых кадров этого не произошло, победитель определяется по очкам.

Турнир состоит из пяти раундов. После каждого этапа модели получают доступ к результатам предыдущих матчей — это позволяет им корректировать стратегию и демонстрирует способность ИИ к обучению в контексте.

Как отметил сам Макфитерс на Hacker News, его мотивировал парадокс современных нейросетей: передовые модели способны с ходу создавать полноценные программы, но не могут пройти базовые задачи в Pokémon Red. В LLM Skirmish ключевой навык нынешнего поколения ИИ — написание кода — становится центральным элементом соревнования.

[ConnectingPeople]

Сообщение от Wadimus:

Разработчик Кай Макфитерс представил LLM Skirmish

такое бы в RTS или пошаговые стратегии. а то ИИ походу с 90х готов не эволюционировал в таких играх. поэтому и пишут, что стратегии загнулись так как игроки поумнели, а ИИ нет.