Для входа на форум нажмите здесь
Популярные темы
Новые комментарии
Обсуждение Как рынок личных ИИ победит облака
Автор темы: Мелисса
Дата создания: 02.11.2026 11:11
Аватар для Varmont
Предводитель
Регистрация:
31.07.2014
GoHa.Ru - 10 лет Просветитель
Награжден за: За полезные темы и материалы по разным играм Медаль "2К лайков"
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
И самое главное забыл - развёрнутую на Винде?
Беспонятия, у нас этим отдельная организация занимается и сервера для него держит,э то не просто дома развернуть, а целое направление
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
я исключительно про облачный flash последней ревизии
Ну, кстати, они тоже разные. Бесплатный через OpenCode работает существенно медленнее, чем даже бесплатный чат Дипсика. Подозреваю, что платный через API самого Дипсика будет работать быстрее через OpenCode чем бесплатный встроенный в OpenCode.

Сообщение от Izolenta:
подписка сильно дешевле, если ебашишь как проклятый
Так у подписки те же лимиты токенов. Т.е. по сути, подписка это не безлимит.
~100р вроде за миллион токенов (prefill+decode) у Дипсика (примерно 10р на вход и 90р на генерацию ответа).

Сообщение от Izolenta:
только у тех кто запускает локальные модели, которые не влезают в озу карты
Я отвечал именно про локальный запуск.

Сообщение от Izolenta:
е я конечно могу ради эксперимента попробовать страту, у меня 16 гиг видяха и 64 ддр5 памяти. но пока не понял для чего мне это
После облачной модели Дипсика локальная будет унылая и печальная.
Я на этих выходных попробую у ребёнка отобрать 7900GRE с 16Гб VRAM и попробую. Но Дипсик тут явно не запустится.

Добавлено через 3 минуты

Сообщение от Varmont:
у нас этим отдельная организация занимается и сервера для него держит,э то не просто дома развернуть, а целое направление
Так вот и фиг-то, что это совершенно другое. Дома ты поднимаешь LLM через Strata для себя любимого, где ты единственный в очереди, а в организациях батчинг организуют, который нагрузку на LLM на всех активных пользователей делит.

Ставим Линукс правильно: Debian 13 + Xfce
Последний раз редактировалось survordie; Сегодня в 12:15. Причина: Добавлено сообщение
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Так у подписки те же лимиты токенов. Т.е. по сути, подписка это не безлимит.
в том то и дело что не те же

гоги выше показывал пересчет, там примерно х10-20 от цены подписки

Добавлено через 46 секунд

а. еще опенаи и антропики дают еще в подписке по 100 баксов на апишные токены. на 100-баксовых планах. на более дорогих возможно больше, не проверял

Кто вы такие, и зачем вы мне нужны?
Последний раз редактировалось Izolenta; Сегодня в 12:19. Причина: Добавлено сообщение
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
гоги выше показывал пересчет, там примерно х10-20 от цены подписки
Так он чего показывал то? Не расходы по Дипсик через API, а расходы по своей же модели если бы использовал через API(ну насколько я это понял). А я сравниваю покупку токенов в облачном Дипсик с гогиной подпиской.

Ставим Линукс правильно: Debian 13 + Xfce
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Так он чего показывал то? Не расходы по Дипсик через API, а расходы по своей же модели если бы использовал через API(ну насколько я это понял). А я сравниваю покупку токенов в облачном Дипсик с гогиной подпиской.
он показал расчет сколько бы стоила его работа не по подписке, а по api - по истории сессий пересчитал токены с учетом кэша и наложил на тарифную сетку опенаи

сравнить в лоб не получится, только приблизительно. подписка в основном более выигрышная, но она привязывает тебя к харнесу. а кодекс просто удивительно уебищный

Кто вы такие, и зачем вы мне нужны?
Аватар для Altwazar
Мастер
Регистрация:
03.08.2006
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
не я конечно могу ради эксперимента попробовать страту, у меня 16 гиг видяха и 64 ддр5 памяти. но пока не понял для чего мне это
Что-то серьезное писать бессмысленно, но с каким-нибудь opencode не плохо гуглит и парсит документацию, логи и пишет простые скрипты. Можно просить простые вещи, типа проверить список доменов и посмотреть, нет ли там http2 для закрытия свежей уязвимости и т.п.
Я тестировал с Qwen3.8-Flash-NextIQ3_S, на линукс десктопе еще 10 Gb памяти остаётся с 9070xt 16gb и 64 Гб памяти, но на винде лучше модельку попроще. Скорость у меня ~90 tps.
Ассистент из этого неплохой получается. Но не что-то тяжелое, попросил по приколу написать работающий в терминале тетрис с использованием графического протокола kitty, он написал, но часа два крутил, тестил и переделывал.
Re: Как рынок личных ИИ победит облака
жирновато выходит - отдавать столько ресурсов. у меня только wsl2 занимает 24 гига памяти (там крутятся проекты в докере, инфра - ну ладно ее можно на сервер перенести)
вообще для таких игрищ я хотел купить на strix halo 128 гиг, но это чисто игрушка. за ее цену можно подписками обмазаться надолго

Кто вы такие, и зачем вы мне нужны?
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
сравнить в лоб не получится, только приблизительно.
Ну так нормально сравнить приблизительно. Условно, мне нужно в день 10млн токенов. За месяц, соответственно, 220 млн токенов. Если считать по 100р за миллион выходит 22к рублей.
Вопрос - сколько токенов входит в подписку Гогия? У него же не безлимит ведь.

Сообщение от Altwazar:
Скорость у меня ~90 tps.
У Гогуя топ модель за 200 баксов выдаёт всего лишь 30-40. Так что тебе можно и потяжелее модельку поставить, чтобы на декодировании было те же 30-40.

Добавлено через 4 минуты

Сообщение от Izolenta:
жирновато выходит - отдавать столько ресурсов. у меня только wsl2 занимает 24 гига памяти (там крутятся проекты в докере, инфра - ну ладно ее можно на сервер перенести)
Поэтому и ставят Линукс. Нет жирной прокладки в виде Винды. Когда у меня Винда была, мне 64Гб ОЗУ впритык было из-за контейнеров. Я поэтому и взял 128Гб на всякий случай. Перешёл на Линукс - блин, нафига я взял эти128Гб - мне 40 вполне хватает. А для запуска локальных моделей в видеокарту упираюсь, т.к. она слабое место.
Сообщение от Izolenta:
вообще для таких игрищ я хотел купить на strix halo 128 гиг, но это чисто игрушка. за ее цену можно подписками обмазаться надолго
Я выше подписку приводил для себя. Если 20к в месяц отдавать чужому дяде, то за пару лет карта окупиться. Только позволит сделать не только то, что в плату входит.

Ставим Линукс правильно: Debian 13 + Xfce
Последний раз редактировалось survordie; Сегодня в 12:49. Причина: Добавлено сообщение
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Поэтому и ставят Линукс. Нет жирной прокладки в виде Винды. Когда у меня Винда была, мне 64Гб ОЗУ впритык было из-за контейнеров. Я поэтому и взял 128Гб на всякий случай. Перешёл на Линукс - блин, нафига я взял эти128Гб - мне 40 вполне хватает. А для запуска локальных моделей в видеокарту упираюсь, т.к. она слабое место.
да похер вообще линукс или нет. всю память сожрет не ось, а веса модели, которые не влезли в VRAM

Добавлено через 1 минуту

Сообщение от survordie:
Только позволит сделать не только то, что в плату входит.
ты не учитываешь качество. в подписке ты имеешь фронтир модели в полноценном кванте, а в 128 гиг у тебя дикпик хорошо если в Q2 влезет. будет глюки давать на каждый вопрос

Кто вы такие, и зачем вы мне нужны?
Последний раз редактировалось Izolenta; Сегодня в 12:57. Причина: Добавлено сообщение
Аватар для Altwazar
Мастер
Регистрация:
03.08.2006
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
жирновато выходит - отдавать столько ресурсов.
У меня просто две машины с 9070xt/64, одна 3060-12gb/64, и две 128 гб дома. Пока тестирую на своём десктопе, обращаюсь к нему с ноута на работе. Возможно выделю писюк с 3060-12gb, так как польза от opencode с такой моделькой есть.
Re: Как рынок личных ИИ победит облака
Сообщение от Altwazar:
У меня просто две машины с 9070xt/64, одна 3060-12gb/64, и две 128 гб дома. Пока тестирую на своём десктопе, обращаюсь к нему с ноута на работе. Возможно выделю писюк с 3060-12gb, так как польза от opencode с такой моделькой есть.
а ну, это что то на богатом :)
мне до сих пор хватало 16/64 на десктопе и 4/32 на серваке

обмазываться еще парой железяк по нынешним ценам выглядит экономически нецелесообразно

Кто вы такие, и зачем вы мне нужны?
Аватар для Altwazar
Мастер
Регистрация:
03.08.2006
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
обмазываться еще парой железяк по нынешним ценам выглядит экономически нецелесообразно
Это да. Я заранее под хоумлабу брал железо на геймерских машинах, когда всё железо кроме видюшек копейки стоило. И памятью обмазался, и дисками.
Думаю как бы прикрутить к ботам на вов сервере ИИ-шку с агентом, чтобы она могла инфу гуглить и смотреть состояния других игроков из базы.
Аватар для gogi
хозяин корги
Сообщение от Izolenta:
он показал расчет сколько бы стоила его работа не по подписке, а по api - по истории сессий пересчитал токены с учетом кэша и наложил на тарифную сетку опенаи

сравнить в лоб не получится, только приблизительно. подписка в основном более выигрышная, но она привязывает тебя к харнесу. а кодекс просто удивительно уебищный
Подписка не привязывает к харнесу, в опенкод можешь завести ее. Только при чем тут харнесс если тебе сама модель не угодила?
У меня кстати есть в европе кто может верифицировать акк, может попробовать этот ваш клод, раз он так божественнен. Но не понимаю чего некоторые плюются, по тестам же норм агенты у альтмана. Тесты идиоты проводят?

Сообщение от Zan:
Я в целом очень мудрый человек
Re: Как рынок личных ИИ победит облака
Сообщение от gogi:
Подписка не привязывает к харнесу, в опенкод можешь завести ее. Только при чем тут харнесс если тебе сама модель не угодила?
конечно привязывает. те же антропики прямо запрещают использовать подписку с отдельными клиентами


Сообщение от gogi:
У меня кстати есть в европе кто может верифицировать акк, может попробовать этот ваш клод, раз он так божественнен. Но не понимаю чего некоторые плюются, по тестам же норм агенты у альтмана. Тесты идиоты проводят?
вообще похеру на тесты. это говна не имеющая к реальности никакого отношения
сол - это просто ****ец, с ним только грязь и месиво. у меня только негатив в работе с ним.

верификация сходу не нужна. можно взять 20-ти баксовый аккаунт на левый емейл и погонять до бана. забанят и *****, главное не светить щщи и основную карту

Кто вы такие, и зачем вы мне нужны?
Аватар для gogi
хозяин корги
Сообщение от Izolenta:
конечно привязывает. те же антропики прямо запрещают использовать подписку с отдельными клиентами




вообще похеру на тесты. это говна не имеющая к реальности никакого отношения
сол - это просто ****ец, с ним только грязь и месиво. у меня только негатив в работе с ним.

верификация сходу не нужна. можно взять 20-ти баксовый аккаунт на левый емейл и погонять до бана. забанят и *****, главное не светить щщи и основную карту
T3 есть, он на чужих харнессах работает, а оболочка своя
На 20 баксах далеко не уедешь, так попробовать ток. Я почитал отзывы, как тока начинаешь нормально тратить лимиты, тебя банят. Типа ты уже был на карандаше, но как показал свою невыгодность по потреблению токенов - сразу на мороз

Сообщение от Zan:
Я в целом очень мудрый человек
Re: Как рынок личных ИИ победит облака
Сообщение от gogi:
T3 есть, он на чужих харнессах работает, а оболочка своя
да, но это тонкий момент. тоже можно выхватить бан

Сообщение от gogi:
На 20 баксах далеко не уедешь, так попробовать ток. Я почитал отзывы, как тока начинаешь нормально тратить лимиты, тебя банят. Типа ты уже был на карандаше, но как показал свою невыгодность по потреблению токенов - сразу на мороз
да это не критерий первой отборки. точно неизвестно как именно они ранжируют. есть гипотенузы
1. ASN точки выхода
2. смена адресов выхода
3. таймзона активности
4. язык
5. BIN и соответствие стране выхода

якобы есть внутренний скоринг, который при достижении трешхолда триггерит верификацию. пруфов конечно нет и не будет
я думаю после IPO гайки открутят. вроде оно сегодня писали про 19.11

Добавлено через 1 минуту

антропики в глубокой жопе по выручке, они либо совсем долбоебы чтобы отказываться от китая и рф с огромным рынком и баблом, либо начнут отворачиваться в нужный момент.

но есть еще 1 предположение - волна банов дает им разовый рост прибыли для IPO - народ повторно несет бабки после банов

Кто вы такие, и зачем вы мне нужны?
Последний раз редактировалось Izolenta; Сегодня в 13:32. Причина: Добавлено сообщение
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
да похер вообще линукс или нет. всю память сожрет не ось, а веса модели, которые не влезли в VRAM
У Линукс "лишние" 5Гб ОЗУ по сравнению с Виндой. Линукс в VRAM скорее всего тоже занимает места меньше, чем Винда (конкретно у меня ~200МБ из-за грёбанного ibus, который нужен zoom'у - снесу нахрен. Без него сессия Крысы занимает 50Мб - остальное свободно).
Просто нужен баланс между VRAM и RAM. Что толку от моих 128Гб ОЗУ, если VRAM не хватает. Я могу хоть всю память забить МоЕ весами, но из-за низкой пропускной способности VRAM генерация токенов будет идти не быстрее, чем на модели, которая займёт ОЗУ меньше.

Сообщение от Izolenta:
ты не учитываешь качество. в подписке ты имеешь фронтир модели в полноценном кванте, а в 128 гиг у тебя дикпик хорошо если в Q2 влезет. будет глюки давать на каждый вопрос
Гнаться надо не за квантами, а хватает модели или нет. Если не хватает, то конечно смысла нет сравнивать.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для gogi
хозяин корги
Сообщение от Izolenta:
да, но это тонкий момент. тоже можно выхватить бан



да это не критерий первой отборки. точно неизвестно как именно они ранжируют. есть гипотенузы
1. ASN точки выхода
2. смена адресов выхода
3. таймзона активности
4. язык
5. BIN и соответствие стране выхода

якобы есть внутренний скоринг, который при достижении трешхолда триггерит верификацию. пруфов конечно нет и не будет
я думаю после IPO гайки открутят. вроде оно сегодня писали про 19.11

Добавлено через 1 минуту

антропики в глубокой жопе по выручке, они либо совсем долбоебы чтобы отказываться от китая и рф с огромным рынком и баблом, либо начнут отворачиваться в нужный момент.

но есть еще 1 предположение - волна банов дает им разовый рост прибыли для IPO - народ повторно несет бабки после банов
Ну тогда подождем. Просто у альтмана я тыщу раз палил ру айпи, подписки высаживал в ноль, лазил в их клиент агентом, с агентом обсуждаю любые темы, им вообще на все пох, плоти и пользуйся. Ровно ноль унижений за свои деньги
Асн всегда датацентровый, менял впн еще много раз страну

Сообщение от Zan:
Я в целом очень мудрый человек
Ваши права в разделе