Чувак дал локальной модели 512к токенов контекста, ей хватило, чтобы написать и отладить минера и бильярд, а также спроектировать контроллер для умного дома и даже сделать четеж для коробки для 3д принтера.
И все ето на 16г игровой видяхе.
но имхо это все довольно запутанная и мутная тема.
Когда ты даешь нейронке конкретику, что тебе именно надо у нее крыша едет, тебя не понимает, уходит в бесконечный цикл.
А дашь есть задание без конкретики и она быстро его решает...
т.е. твою специфику она не умеет делать, а умеет делать только то что в нее заложили....
надо грузить огромные модели, а это довольно дорого.
После таких статей простой народ побежит себе домой закупать память и видюха за оверпрайс, а это окажется ловушкой.
Локальные модели спецом делают, чтобы васянов стичь

Ты глянь сколько щас это железо стоит...это очень серьезные суммы для игрушек и хобби

Есть еще один ньюанс в заголовке....Типа каждый геймер может запустить свою ИИ. Нет не может, т.к. ему нужен отдельный комп, а на игровом это будет работать плохо и играть во время работы ИИ он не сможет...