Для входа на форум нажмите здесь
Новые комментарии
Discussion Как рынок личных ИИ победит облака
Автор темы: Мелисса
Дата создания: 02.11.2026 11:11
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Разница есть, но ты даже не знал, что взаимодействие с этой моделью и у чатика и у агента абсолютно одинаково - через REST API.
да при чем тут апи? апи это просто способ связи клиента с серверами где происходит инференс
главное что у модели появляются руки, она может пользоваться инструментами на пк. Как с ребенком ей богу

Добавлено через 1 минуту

там кстати астрочку 6,2 выкатили, уииии
ща мы ее погоняем. А ты сиди свой отсталый дипсик дро4и

Originally Posted by Zan:
Я в целом очень мудрый человек
Last edited by gogi; Yesterday at 21:08. Reason: Добавлено сообщение
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by gogi:
да при чем тут апи? апи это просто способ связи клиента с серверами где происходит инференс
А апи тут при том, что он одинаковый и для чатика и для агента - я тебе уже в сотый раз повторяю, а ты настолько бестолковый, что до тебя это никак не дойдёт!

Originally Posted by gogi:
главное что у модели появляются руки, она может пользоваться инструментами на пк. Как с ребенком ей богу
Ты даже не в состоянии понять, что речь не про руки, а про способ взаимодействия с моделью. И он не меняется!

Originally Posted by gogi:
ща мы ее погоняем.
Погоняй токены, погоняй.

Ставим Линукс правильно: Debian 13 + Xfce
shtirliz's Avatar
Свидетель
Join Date:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Originally Posted by Пролыч:
Чувак дал локальной модели 512к токенов контекста, ей хватило, чтобы написать и отладить минера и бильярд, а также спроектировать контроллер для умного дома и даже сделать четеж для коробки для 3д принтера.

И все ето на 16г игровой видяхе.
но имхо это все довольно запутанная и мутная тема.
Когда ты даешь нейронке конкретику, что тебе именно надо у нее крыша едет, тебя не понимает, уходит в бесконечный цикл.
А дашь есть задание без конкретики и она быстро его решает...
т.е. твою специфику она не умеет делать, а умеет делать только то что в нее заложили....
надо грузить огромные модели, а это довольно дорого.

После таких статей простой народ побежит себе домой закупать память и видюха за оверпрайс, а это окажется ловушкой.
Локальные модели спецом делают, чтобы васянов стичь Ты глянь сколько щас это железо стоит...это очень серьезные суммы для игрушек и хобби
Есть еще один ньюанс в заголовке....Типа каждый геймер может запустить свою ИИ. Нет не может, т.к. ему нужен отдельный комп, а на игровом это будет работать плохо и играть во время работы ИИ он не сможет...
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by shtirliz:
Когда ты даешь нейронке конкретику, что тебе именно надо у нее крыша едет, тебя не понимает, уходит в бесконечный цикл.
Я думал Гогий мне поможет освоить использование AI агентов, но он и сам в этом не шарит. Я попытаюсь настроить OpenCode на проект и попрошу внести изменения. Посмотрим, правильно поедет ли крыша у нейронки или нет.

Originally Posted by shtirliz:
а на игровом это будет работать плохо и играть во время работы ИИ он не сможет
Я думаю что это понимают все и никто в здравом уме и твёрдой памяти не будет запускать игру, когда в фоне идёт рендеринг/компиляция. Хотя, разработчики КешиОС в это не верят, поэтому сманивают обещаниями "правильного" распеределения ресурсов в пользу активного окна.
Originally Posted by shtirliz:
После таких статей простой народ побежит себе домой закупать память и видюха за оверпрайс, а это окажется ловушкой.
Всё уже закуплено.

Ставим Линукс правильно: Debian 13 + Xfce
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
А апи тут при том, что он одинаковый и для чатика и для агента - я тебе уже в сотый раз повторяю, а ты настолько бестолковый, что до тебя это никак не дойдёт!


Ты даже не в состоянии понять, что речь не про руки, а про способ взаимодействия с моделью. И он не меняется!


Погоняй токены, погоняй.
лол, ты трудный. Но я пытался. Может кто подхватит инициативу или до тебя самого дойдет

Originally Posted by Zan:
Я в целом очень мудрый человек
shtirliz's Avatar
Свидетель
Join Date:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Я думаю что это понимают все и никто в здравом уме и твёрдой памяти не будет запускать игру, когда в фоне идёт рендеринг/компиляция. Хотя, разработчики КешиОС в это не верят, поэтому сманивают обещаниями "правильного" распеределения ресурсов в пользу активного окна.
.
А как ты распределишь VRAM? у тебя всю врам сожрет под ноль.
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by shtirliz:
А как ты распределишь VRAM? у тебя всю врам сожрет под ноль.
Так ровно то же самое будет и с рендерингом/компиляцией и игрой - игра банально будет тормозить/подлагивать, т.к. ей не хватит процессора (как в случае с ИИ не хватит VRAM)

Добавлено через 2 минуты

Originally Posted by gogi:
Но я пытался. Может кто подхватит инициативу или до тебя самого дойдет
Чё ты там пытался? Ты вообще не соображаешь как настроить харнесс. Потому что ты - кнопкодав как я уже сказал выше.
Я поставил себе OpenCode Cli. Там есть последний Дипсик 4.1 с бесплатным суточным лимитом запросов (примерно 100 запросов пользователя, как говорят). Настрою себе рабочее место - сниму видео. Может быть.

Ставим Линукс правильно: Debian 13 + Xfce
Last edited by survordie; Yesterday at 23:21. Reason: Добавлено сообщение
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Ты вообще не соображаешь как настроить харнесс.
а ты вообще не соображаешь что такое харнесс
услышал модное слово и везде толкаешь

Originally Posted by survordie:
Настрою себе рабочее место - сниму видео. Может быть.
да да, и на рутуб выложи, все посмотрят

Originally Posted by Zan:
Я в целом очень мудрый человек
Пролыч's Avatar
Фанат
Join Date:
24.10.2026
Re: Как рынок личных ИИ победит облака
А тема-то в популярных. Глядишь, через пару месяцев вы все у меня будете в локальных моделях сидеть и срацца у кого агент толще :о)))
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by gogi:
а ты вообще не соображаешь что такое харнесс
Вообще странная претензия к человеку, который лишь недавно с этим столкнулся.

Originally Posted by gogi:
да да, и на рутуб выложи, все посмотрят
Кому надо - посмотрят. Твой ютуп тоже не смотрят. Я не понимаю зачем на него ссылки выкладывают? Неужели думают, что из-за какого-то видео ленивые пользователи будут КВН включать?

Originally Posted by Пролыч:
Глядишь, через пару месяцев вы все у меня будете в локальных моделях сидеть и срацца у кого агент толще
Не уверен. Я сейчас запустил OpenCode с последним Дипсиком. Генерация ответа от 1 до 3 минут. Скорость токенов 160-180/с. Подключил локальную модель - полчаса уже висит, ответ не может выдать (тоже простой). Так что наверное Гогий прав, на 8Гб VRAM работать даже с такой 3 битной моделью, невозможно.

Добавлено через 2 минуты

А, во, как раз закончил ответ печатать. 22 токена /с (ну как и раньше), но на ответ уже 16 минут. Т.е. в 5 раз дольше.

Ставим Линукс правильно: Debian 13 + Xfce
Last edited by survordie; Yesterday at 23:55. Reason: Добавлено сообщение
shtirliz's Avatar
Свидетель
Join Date:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Чё ты там пытался? Ты вообще не соображаешь как настроить харнесс. Потому что ты - кнопкодав как я уже сказал выше.
Я поставил себе OpenCode Cli. Там есть последний Дипсик 4.1 с бесплатным суточным лимитом запросов (примерно 100 запросов пользователя, как говорят). Настрою себе рабочее место - сниму видео. Может быть.
Там какие-то динамические лимиты в зависимости от нагрузки.
На халяву дают 200к контекста. К примеру такой же проект сгенерился в 2 раза быстрее чем на моей локальной моделе и выглядит лучше.
Пролыч's Avatar
Фанат
Join Date:
24.10.2026
Re: Как рынок личных ИИ победит облака
https://habr.com/ru/articles/1109038/

Чувака забанили в облачном ии, но работодатель выдал ему два дгх спарк от нвидии, и чувак в восторге от локальных моделей
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
ленивые пользователи будут КВН включать?
да уже давно никто впн не выключает, только самые криворукие не смогшие в раздельную маршрутизацию

Добавлено через 5 минут

Originally Posted by Пролыч:
дгх спарк
сколько подписок по 200 баксов эта штука стоит?

Originally Posted by Zan:
Я в целом очень мудрый человек
Last edited by gogi; Today at 00:08. Reason: Добавлено сообщение
Пролыч's Avatar
Фанат
Join Date:
24.10.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by gogi:

сколько подписок по 200 баксов эта штука стоит?
Работодатель дал.
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака

ахаха хуанг норм тролит - в золотом корпусе

Добавлено через 1 минуту

Originally Posted by Пролыч:
Работодатель дал.
для рекламы, ну
но кстати наш гаврик не взял бы, ненавидия же

Originally Posted by Zan:
Я в целом очень мудрый человек
Last edited by gogi; Today at 00:11. Reason: Добавлено сообщение
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by shtirliz:
Там какие-то динамические лимиты в зависимости от нагрузки.
Нее, это другое. OpenCode напрямую не лезет к тому Дипсику, который в чате пользователей развлекает. Там что-то другое, я особо не разбирался. Но лимиты у него другие нежели у чата.
Originally Posted by shtirliz:
На халяву дают 200к контекста.
Это другое. Заканчиваются эти токены - открываешь новую сессию и работаешь дальше. Лимит именно в обращениях.

Originally Posted by gogi:
да уже давно никто впн не выключает
Вот ты себя и выдал, школотрон! ЛК банков (ВТБ, Альфа...) с включенным КВН тебя просто не пропустят дальше приветственной страницы! 200 баксов он тратит на ИИ, хаха, сказочник.

Добавлено через 1 минуту

О! Локальная модель сгенерировала файл .ignore (чтобы openCode не тратил время на поиск) за полторы минуты. Ну, это не 15 минут, вполне приемлемо. Непонятно лишь почему объяснения про Qdrant так много времени заняли.

Ставим Линукс правильно: Debian 13 + Xfce
Last edited by survordie; Today at 00:13. Reason: Добавлено сообщение
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Вот ты себя и выдал, школотрон! ЛК банков (ВТБ, Альфа...) с включенным КВН тебя просто не пропустят дальше приветственной страницы! 200 баксов он тратит на ИИ, хаха, сказочник.
то есть ты не понял написанного про раздельную маршрутизацию?
значит эпитет там был выбран правильно

Originally Posted by Zan:
Я в целом очень мудрый человек
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by gogi:
то есть ты не понял написанного про раздельную маршрутизацию?
Это ты не понял написанного. Маршрутизация никак не влияет на проверку наличия включённого ВПН. У меня отдельного ВПН вообще нет, но у Вивальди плагин встроен (и отключен, т.к. РКН блокирует его). Так вот, ЛК этих банков посылают далеко и надолго. Стоит сменить браузер(где этого плагина в принципе нет) - вуаля, всё работает.

Ставим Линукс правильно: Debian 13 + Xfce
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Маршрутизация никак не влияет на проверку наличия включённого ВПН
енто как?
как по твоему сайт банка определит твой впн? да уж наверно по адресу с которого пришел запрос. Не дебиан же твой ковырят полезет, его из песочницы не выпустят

Добавлено через 1 минуту

Originally Posted by survordie:
Так вот, ЛК этих банков посылают далеко и надолго. Стоит сменить браузер(где этого плагина в принципе нет) - вуаля, всё работает.
хз почему у тебя не работает, ты совсем слабый походу в линуксе своем

Originally Posted by Zan:
Я в целом очень мудрый человек
Last edited by gogi; Today at 00:44. Reason: Добавлено сообщение
shtirliz's Avatar
Свидетель
Join Date:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Нее, это другое. OpenCode напрямую не лезет к тому Дипсику, который в чате пользователей развлекает. Там что-то другое, я особо не разбирался. Но лимиты у него другие нежели у чата.

Это другое. Заканчиваются эти токены - открываешь новую сессию и работаешь дальше. Лимит именно в обращениях.
.
Какое другое? у него какие-то дикие свои мощности есть и он их дает на хаялву. Это точно не локальная модель т.к. моих ресурсов оно не потребляет, а делает все в 2 раза быстрее и 200к контекста, которые мой личный сервак не тянет.

ТЫ пока еще нуль в ИИ судя по ответам. Но читай - изучай!
Прочитай что такое контекст и как он важен.
gogi's Avatar
хозяин корги
Re: Как рынок личных ИИ победит облака
Отчем я и говорю, даже Штирлиц мозговитей красноглазого

Originally Posted by Zan:
Я в целом очень мудрый человек
Лапата's Avatar
Предводитель
Join Date:
24.10.2009
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
вот докер освою и буду ИИ изучать

Originally Posted by MikeNew:
в торонто все живут в дворцах бесплатно.
Posting Rules