Для входа на форум нажмите здесь
Новые комментарии
Discussion Как рынок личных ИИ победит облака
Автор темы: Мелисса
Дата создания: 02.11.2026 11:11
Varmont's Avatar
Предводитель
Join Date:
31.07.2014
GoHa.Ru - 10 лет Просветитель
Issue reason: За полезные темы и материалы по разным играм Медаль "2К лайков"
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
И самое главное забыл - развёрнутую на Винде?
Беспонятия, у нас этим отдельная организация занимается и сервера для него держит,э то не просто дома развернуть, а целое направление
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by Izolenta:
я исключительно про облачный flash последней ревизии
Ну, кстати, они тоже разные. Бесплатный через OpenCode работает существенно медленнее, чем даже бесплатный чат Дипсика. Подозреваю, что платный через API самого Дипсика будет работать быстрее через OpenCode чем бесплатный встроенный в OpenCode.

Originally Posted by Izolenta:
подписка сильно дешевле, если ебашишь как проклятый
Так у подписки те же лимиты токенов. Т.е. по сути, подписка это не безлимит.
~100р вроде за миллион токенов (prefill+decode) у Дипсика (примерно 10р на вход и 90р на генерацию ответа).

Originally Posted by Izolenta:
только у тех кто запускает локальные модели, которые не влезают в озу карты
Я отвечал именно про локальный запуск.

Originally Posted by Izolenta:
е я конечно могу ради эксперимента попробовать страту, у меня 16 гиг видяха и 64 ддр5 памяти. но пока не понял для чего мне это
После облачной модели Дипсика локальная будет унылая и печальная.
Я на этих выходных попробую у ребёнка отобрать 7900GRE с 16Гб VRAM и попробую. Но Дипсик тут явно не запустится.

Добавлено через 3 минуты

Originally Posted by Varmont:
у нас этим отдельная организация занимается и сервера для него держит,э то не просто дома развернуть, а целое направление
Так вот и фиг-то, что это совершенно другое. Дома ты поднимаешь LLM через Strata для себя любимого, где ты единственный в очереди, а в организациях батчинг организуют, который нагрузку на LLM на всех активных пользователей делит.

Ставим Линукс правильно: Debian 13 + Xfce
Last edited by survordie; Today at 12:15. Reason: Добавлено сообщение
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Так у подписки те же лимиты токенов. Т.е. по сути, подписка это не безлимит.
в том то и дело что не те же

гоги выше показывал пересчет, там примерно х10-20 от цены подписки

Добавлено через 46 секунд

а. еще опенаи и антропики дают еще в подписке по 100 баксов на апишные токены. на 100-баксовых планах. на более дорогих возможно больше, не проверял

Кто вы такие, и зачем вы мне нужны?
Last edited by Izolenta; Today at 12:19. Reason: Добавлено сообщение
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by Izolenta:
гоги выше показывал пересчет, там примерно х10-20 от цены подписки
Так он чего показывал то? Не расходы по Дипсик через API, а расходы по своей же модели если бы использовал через API(ну насколько я это понял). А я сравниваю покупку токенов в облачном Дипсик с гогиной подпиской.

Ставим Линукс правильно: Debian 13 + Xfce
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Так он чего показывал то? Не расходы по Дипсик через API, а расходы по своей же модели если бы использовал через API(ну насколько я это понял). А я сравниваю покупку токенов в облачном Дипсик с гогиной подпиской.
он показал расчет сколько бы стоила его работа не по подписке, а по api - по истории сессий пересчитал токены с учетом кэша и наложил на тарифную сетку опенаи

сравнить в лоб не получится, только приблизительно. подписка в основном более выигрышная, но она привязывает тебя к харнесу. а кодекс просто удивительно уебищный

Кто вы такие, и зачем вы мне нужны?
Altwazar's Avatar
Мастер
Join Date:
03.08.2006
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
Originally Posted by Izolenta:
не я конечно могу ради эксперимента попробовать страту, у меня 16 гиг видяха и 64 ддр5 памяти. но пока не понял для чего мне это
Что-то серьезное писать бессмысленно, но с каким-нибудь opencode не плохо гуглит и парсит документацию, логи и пишет простые скрипты. Можно просить простые вещи, типа проверить список доменов и посмотреть, нет ли там http2 для закрытия свежей уязвимости и т.п.
Я тестировал с Qwen3.8-Flash-NextIQ3_S, на линукс десктопе еще 10 Gb памяти остаётся с 9070xt 16gb и 64 Гб памяти, но на винде лучше модельку попроще. Скорость у меня ~90 tps.
Ассистент из этого неплохой получается. Но не что-то тяжелое, попросил по приколу написать работающий в терминале тетрис с использованием графического протокола kitty, он написал, но часа два крутил, тестил и переделывал.
Re: Как рынок личных ИИ победит облака
жирновато выходит - отдавать столько ресурсов. у меня только wsl2 занимает 24 гига памяти (там крутятся проекты в докере, инфра - ну ладно ее можно на сервер перенести)
вообще для таких игрищ я хотел купить на strix halo 128 гиг, но это чисто игрушка. за ее цену можно подписками обмазаться надолго

Кто вы такие, и зачем вы мне нужны?
survordie's Avatar
Маньяк
Join Date:
07.09.2026
Re: Как рынок личных ИИ победит облака
Originally Posted by Izolenta:
сравнить в лоб не получится, только приблизительно.
Ну так нормально сравнить приблизительно. Условно, мне нужно в день 10млн токенов. За месяц, соответственно, 220 млн токенов. Если считать по 100р за миллион выходит 22к рублей.
Вопрос - сколько токенов входит в подписку Гогия? У него же не безлимит ведь.

Originally Posted by Altwazar:
Скорость у меня ~90 tps.
У Гогуя топ модель за 200 баксов выдаёт всего лишь 30-40. Так что тебе можно и потяжелее модельку поставить, чтобы на декодировании было те же 30-40.

Добавлено через 4 минуты

Originally Posted by Izolenta:
жирновато выходит - отдавать столько ресурсов. у меня только wsl2 занимает 24 гига памяти (там крутятся проекты в докере, инфра - ну ладно ее можно на сервер перенести)
Поэтому и ставят Линукс. Нет жирной прокладки в виде Винды. Когда у меня Винда была, мне 64Гб ОЗУ впритык было из-за контейнеров. Я поэтому и взял 128Гб на всякий случай. Перешёл на Линукс - блин, нафига я взял эти128Гб - мне 40 вполне хватает. А для запуска локальных моделей в видеокарту упираюсь, т.к. она слабое место.
Originally Posted by Izolenta:
вообще для таких игрищ я хотел купить на strix halo 128 гиг, но это чисто игрушка. за ее цену можно подписками обмазаться надолго
Я выше подписку приводил для себя. Если 20к в месяц отдавать чужому дяде, то за пару лет карта окупиться. Только позволит сделать не только то, что в плату входит.

Ставим Линукс правильно: Debian 13 + Xfce
Last edited by survordie; Today at 12:49. Reason: Добавлено сообщение
Re: Как рынок личных ИИ победит облака
Originally Posted by survordie:
Поэтому и ставят Линукс. Нет жирной прокладки в виде Винды. Когда у меня Винда была, мне 64Гб ОЗУ впритык было из-за контейнеров. Я поэтому и взял 128Гб на всякий случай. Перешёл на Линукс - блин, нафига я взял эти128Гб - мне 40 вполне хватает. А для запуска локальных моделей в видеокарту упираюсь, т.к. она слабое место.
да похер вообще линукс или нет. всю память сожрет не ось, а веса модели, которые не влезли в VRAM

Добавлено через 1 минуту

Originally Posted by survordie:
Только позволит сделать не только то, что в плату входит.
ты не учитываешь качество. в подписке ты имеешь фронтир модели в полноценном кванте, а в 128 гиг у тебя дикпик хорошо если в Q2 влезет. будет глюки давать на каждый вопрос

Кто вы такие, и зачем вы мне нужны?
Last edited by Izolenta; Today at 12:57. Reason: Добавлено сообщение
Altwazar's Avatar
Мастер
Join Date:
03.08.2006
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
Originally Posted by Izolenta:
жирновато выходит - отдавать столько ресурсов.
У меня просто две машины с 9070xt/64, одна 3060-12gb/64, и две 128 гб дома. Пока тестирую на своём десктопе, обращаюсь к нему с ноута на работе. Возможно выделю писюк с 3060-12gb, так как польза от opencode с такой моделькой есть.
Re: Как рынок личных ИИ победит облака
Originally Posted by Altwazar:
У меня просто две машины с 9070xt/64, одна 3060-12gb/64, и две 128 гб дома. Пока тестирую на своём десктопе, обращаюсь к нему с ноута на работе. Возможно выделю писюк с 3060-12gb, так как польза от opencode с такой моделькой есть.
а ну, это что то на богатом :)
мне до сих пор хватало 16/64 на десктопе и 4/32 на серваке

обмазываться еще парой железяк по нынешним ценам выглядит экономически нецелесообразно

Кто вы такие, и зачем вы мне нужны?
Altwazar's Avatar
Мастер
Join Date:
03.08.2006
Медаль "500 лайков" GoHa.Ru - 10 лет
Re: Как рынок личных ИИ победит облака
Originally Posted by Izolenta:
обмазываться еще парой железяк по нынешним ценам выглядит экономически нецелесообразно
Это да. Я заранее под хоумлабу брал железо на геймерских машинах, когда всё железо кроме видюшек копейки стоило. И памятью обмазался, и дисками.
Думаю как бы прикрутить к ботам на вов сервере ИИ-шку с агентом, чтобы она могла инфу гуглить и смотреть состояния других игроков из базы.
gogi's Avatar
хозяин корги
Originally Posted by Izolenta:
он показал расчет сколько бы стоила его работа не по подписке, а по api - по истории сессий пересчитал токены с учетом кэша и наложил на тарифную сетку опенаи

сравнить в лоб не получится, только приблизительно. подписка в основном более выигрышная, но она привязывает тебя к харнесу. а кодекс просто удивительно уебищный
Подписка не привязывает к харнесу, в опенкод можешь завести ее. Только при чем тут харнесс если тебе сама модель не угодила?
У меня кстати есть в европе кто может верифицировать акк, может попробовать этот ваш клод, раз он так божественнен. Но не понимаю чего некоторые плюются, по тестам же норм агенты у альтмана. Тесты идиоты проводят?

Originally Posted by Zan:
Я в целом очень мудрый человек
Posting Rules