Для входа на форум нажмите здесь
Новые комментарии
Обсуждение Как рынок личных ИИ победит облака
Автор темы: Мелисса
Дата создания: 02.11.2026 11:11
Аватар для gogi
хозяин корги
Re: Как рынок личных ИИ победит облака
это вне проекта, просто чат

Сообщение от Zan:
Я в целом очень мудрый человек
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от ikigami:
Но через лет 10-15, вам понадобится личный дата центр за миллиарды, что бы решать задачи на уровне топовых решений.
Местному агроному, местному врачу, программисту 1с и многим другим не требуется "топовое решение", которое бесполезно в его конкретных условиях, потому что оно ничего не знает и не умеет местного.

Добавлено через 4 минуты

Сообщение от gogi:
это вне проекта, просто чат
Иллюстрация "Как проебать контекст на ненужное и заплатить за это 20 баксов".

Заметьте, поздороваться стоило 2-3 токена.
Последний раз редактировалось Пролыч; 11.11.2026 в 16:49. Причина: Добавлено сообщение
1 пользователь оценил это сообщение: Показать
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Иллюстрация "Как проебать контекст на ненужное и заплатить за это 20 баксов".
ненужное - это твои секретари, которые просто набирают код.
в том то и суть, что агенты могут просто на порядки больше, но вы, в своих ущербных локальных моделях, этого не видите

Добавлено через 55 секунд

Сообщение от gogi:
это вне проекта, просто чат
а нахер скиллы и инструменты сразу? они же lazy по требованию умеют

Добавлено через 6 минут



вот у меня аналитика по 1 шагу реализации задачи (без ревью и прочего, это отдельные шаги)

Кто вы такие, и зачем вы мне нужны?
Последний раз редактировалось Izolenta; 11.11.2026 в 17:03. Причина: Добавлено сообщение
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
в том то и суть, что агенты могут просто на порядки больше, но вы, в своих ущербных локальных моделях, этого не видите
Я знаю, что агенты могут, но они не умеют влезать в контекст. Во-вторых, этих агентов как собак нерезаных, и среди них точно есть агенты. (Игра слов понятна?)

Мне, чтобы заюзать приличного агента, нужно больше врам. А маленькая коде инструкт всегда лучше большой базовой модели.
Аватар для ikigami
Читатель
Регистрация:
28.07.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Местному агроному, местному врачу, программисту 1с и многим другим не требуется "топовое решение", которое бесполезно в его конкретных условиях, потому что оно ничего не знает и не умеет местного.
Не требуется, пока что, пока разрыв не так велик. А когда через лет 10, ии будет реально ии, а не тупая нейросетка. Тогда всем будет впадлу тупой локалкой пользоваться.

Конечно, глупо говорить, про предпологаемое будущее. Но куда тоже миллиарды вкладываются каждый день. В какой то момент из этого выйдет что то большее. Иначе зачем весь этот кипишь.
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
но они не умеют влезать в контекст
что это значит?

Добавлено через 1 минуту

Сообщение от Пролыч:
Мне, чтобы заюзать приличного агента, нужно больше врам
если ты намекаешь на нда, то у тебя два стула
1. ты работаешь на военку или упоротую госуху и вариантов - только хуй сосать
2. ты в продуктовой компании с ебанашками. им надо донести мысль что пока они все еще продолжают считать код ценностью, конкуренты их обходят уже на третий круг

код уже давно не является ценностью (с поправками на военку и гос)

Добавлено через 1 минуту

Сообщение от ikigami:
Не требуется, пока что, пока разрыв не так велик. А когда через лет 10, ии будет реально ии, а не тупая нейросетка. Тогда всем будет впадлу тупой локалкой пользоваться.
вообще скорее всего наоборот
через какое то время локальные модели закроют 90% потребностей в бытовом плане и облачные будут нужны только для крупных исследований и работ

Кто вы такие, и зачем вы мне нужны?
Последний раз редактировалось Izolenta; 11.11.2026 в 17:18. Причина: Добавлено сообщение
1 пользователь оценил это сообщение: Показать
Аватар для gogi
хозяин корги
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
а нахер скиллы и инструменты сразу? они же lazy по требованию умеют
Явной ошибки конфигурации не обнаружил, но нашёл возможность уменьшить стартовый объём. У тебя не задан skills.max_context_tokens. По умолчанию каталог получает до 2% окна модели — при зафиксированном окне 475 000 это примерно 9 500 токенов. Это согласуется с нашим измерением.

Сообщение от Zan:
Я в целом очень мудрый человек
Аватар для elDen
Мастер клинка
Регистрация:
19.07.2006
Медаль "2К лайков" GoHa.Ru - 10 лет Разбойник
Re: Как рынок личных ИИ победит облака
Сообщение от ikigami:
Но через лет 10-15, вам понадобится личный дата центр за миллиарды, что бы решать задачи на уровне топовых решений.
через 5 лет то, что сейчас называется астра и фейбл будет доступно локально в мобильниках.

Сообщение от ikigami:
Если вам ии нужен просто спросить рецепт запеканки, то да, безусловно, локальные ии победили.
это уже пару лет как.
то что сейчас они могут - это то что было у опенаи и антропика в начале этого года.

Сообщение от Izolenta:
У меня свой системный и там на старте все равно 20к+. Плюс постановка задачи, выдержки из памяти по проекту и его архитектуре. И вот ты к сотке пришел ток чтобы модель начала придерживаться правил проекта ;)
да это понятно, это я к вопросу о том сколько надо и 0 токенов в самом начале вполне можно иметь.

а ещё кстати можно вписать вагон токенов в jinja шаблон при локальной загрузке llm и это будет как системный промпт, который не будет идти в контекст-бюджет.
и там лимит веса этого файла у llamacpp вроде 60-70кб.

Сообщение от ikigami:
А когда через лет 10, ии будет реально ии, а не тупая нейросетка.
реальный ии может не появится и через 100 лет
Аватар для gogi
хозяин корги
Re: Как рынок личных ИИ победит облака
Сообщение от elDen:
реальный ии может не появится и через 100 лет
оно и к лучшему, смотри фильмы терминатор и матрица

Сообщение от Zan:
Я в целом очень мудрый человек
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от elDen:
а ещё кстати можно вписать вагон токенов в jinja шаблон при локальной загрузке llm и это будет как системный промпт, который не будет идти в контекст-бюджет.
и там лимит веса этого файла у llamacpp вроде 60-70кб.

Спасибо за наводку!
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
human-in-the-loop
Братан, шо ты, как? Не молчи, ты явно шото придумал, делись.
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от elDen:
и вот если результат получается очень долго - самое разумное пойти другим путем
"Долго" - это субъективное понятие. Также как и "разумное".

Сообщение от elDen:
20 токенов в секунду инференсы - это мало, только для чатика как чатика нормально.
Индексация проекта плюс визуализация структуры файлов - не агент конечно (агента я ещё не пробовал, попозже попробую), но plan.
Сообщение от elDen:
страта пишет что 40 гб vram + ram + 264гб на диске!!
И чо? У виндузятников должно быть как минимум 16Гб VRAM + 32ГБ ОЗУ = 48Гб. 264Гб на 2терабайтном диске - вообще ни о чём. Считай что пара современных игр.

Сообщение от elDen:
у тебя формально инференс 20 токенов, но вот твой промпт каждый раз будет читаться по несколько минут.
Нее, я не вижу смысла у себя на 8Гб VRAM запускать эту модель. Банально видеопамяти для агентов не хватит. У меня сейчас qwen 3.8 IQ3_XXS
Дипсик проверить не могу, но и на слово тебе верить не буду. Т.к. ты не проверял (и не проверишь).
Сообщение от elDen:
просто в серьезных проектах перестраховка обязательна.
Ну вот об этом и речь. Потому что у каждой ошибки (особенно на несколько сотен миллионов рублей) есть Имя, Фамилия и Должность.
Сообщение от elDen:
а вот в случае с твоим чатиком - там всё критично, т.к. ошибки - это необходимость твоего участия и это дорого и долго.
Моё участие в процессе в любом случае требуется. Т.к. это не уровень Гоги, а уровень серьёзной корпорации, где нельзя просто взять и переписать весь код в классах/файлах.

Добавлено через 10 минут

Сообщение от shtirliz:
вряд ли такие есть.
В смысле? Я уверен, тут полно людей с видеокартами на 16Гб VRAM и 32Гб ОЗУ.

Сообщение от shtirliz:
для нормально работы тебе надо
AMD epyc 64 потока или больше
5090
128-256gb RAM
Ты сейчас говоришь про плотные модели. А мы про MoE плюс Strata, которая загружает в память видеокарты только нужные агенты. Это абсолютно разные ситуации.

Сообщение от gogi:
тоже деды походу, иначе ну никак не объяснить их зашоренность и боязнь доверится ии
И все руководители крупных компаний тоже деды, т.к. боязнь доверится ии идёт от них. Наверное они что-то знают.
Сообщение от gogi:
преимущество больших моделей в том что они делают работу, а не сиськи мнут
Это не подтверждено практикой. Ты - не показатель со своими пет-проектами.

Добавлено через 9 минут

Сообщение от Пролыч:
А маленькая коде инструкт всегда лучше большой базовой модели.
Только до тех пор, пока на русском не начнёшь общаться (на любом, кроме английского).

Сообщение от Izolenta:
код уже давно не является ценностью
Код никогда не являлся ценностью. Разве что на заре персональных компьютеров, лет так 40 назад.
Сообщение от Пролыч:
Братан, шо ты, как? Не молчи, ты явно шото придумал, делись.
В смысле? Что можно придумать с 8Гб VRAM? Квен в трёхбитном квантовании - предел возможностей моей системы. ОЗУ позволяет мне загрузить и Квен 3.8 Q8_0, но смысла в этом нет, т.к. и так понятно, что будет работать хуже (меньше токенов/сек) чем текущая модель. Мне как-то раньше не надо было кучу VRAM - мои игры и на 8Гб шли. А теперь нормальных карт в продаже нет. АМД зажала флагмана на 32Гб VRAM, а флагман RDNA 3 на 24Гб давно с продажи сняли. На 16Гб покупать очень не хочется.

Ставим Линукс правильно: Debian 13 + Xfce
Последний раз редактировалось survordie; 12.11.2026 в 20:32. Причина: Добавлено сообщение
Аватар для gogi
хозяин корги
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Моё участие в процессе в любом случае требуется. Т.к. это не уровень Гоги, а уровень серьёзной корпорации,
чел которого выкинули с позиции за 400к на 150к любит набивать себе цену
ты же обычный винтик, которого попытались крутить быстрее с помощью ии, да шляпку сорвало

Сообщение от Zan:
Я в целом очень мудрый человек
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от gogi:
ты же обычный винтик, которого попытались крутить быстрее с помощью ии, да шляпку сорвало
У тебя очередной приступ непонимания. Всё ровно наоборот - ИИ не приветствуется. Мне казалось, я об этом чётко написал. Но ты даже тут умудрился понять наоборот.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:

В смысле? Что можно придумать с 8Гб VRAM? Квен в трёхбитном квантовании - предел возможностей моей системы. ОЗУ позволяет мне загрузить и Квен 3.8 Q8_0, но смысла в этом нет, т.к. и так понятно, что будет работать хуже (меньше токенов/сек) чем текущая модель. Мне как-то раньше не надо было кучу VRAM - мои игры и на 8Гб шли. А теперь нормальных карт в продаже нет. АМД зажала флагмана на 32Гб VRAM, а флагман RDNA 3 на 24Гб давно с продажи сняли. На 16Гб покупать очень не хочется.
Тебе именно амд нужно? Тю, купи ми50, их на свалке как говна за копейки. Ну напечатаешь шруд, присобачишь дельту, подстелишь птмку, и ура :о)))

Ищи модели ми50 с 32г, есть несколько серий.
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Тебе именно амд нужно?
Да, именно АМД, т.к. Ненавидиа до сих пор не может написать драйвера, которые бы нормально работали на Линукс. Поэтому поделки от этих рукожопов мне не нужны.

Сообщение от Пролыч:
купи ми50
На кой нужна специализированная видеокарта? Электроэнергию жрать?

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:


На кой нужна специализированная видеокарта? Электроэнергию жрать?
Тю, для ллм в самый раз. Плюс настоящая ецц на 32 гига памяти огромной скорости. Что еще нужно для счастья 24/7? Радеон 7 дороже обойдется.
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Тю, для ллм в самый раз
Так зачем мне на личном компе специализированная видеокарта? Мне универсальная нужна, чтобы и поиграть можно было.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Так зачем мне на личном компе специализированная видеокарта? Мне универсальная нужна, чтобы и поиграть можно было.
Ну тогда бери квадру 24г. Хоть она и нвидия, но игрушки и ллмки тянет норм.
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Хоть она и нвидия, но игрушки и ллмки тянет норм.
Ещё раз - у Ненавидиа нет драйверов для нормальных систем. Эта поделка задаром не нужна. Какой толк в железе, если драйвера не могут его полностью раскрыть? Да что там полностью - банально ошибками будет сыпать.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для shtirliz
Свидетель
Регистрация:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
На кой нужна специализированная видеокарта? Электроэнергию жрать?
сейчас не лучшее время для покупки карт для ИИ, тем более для дома.
По мне для личных нужд вполне хватает старой карты. А работодатель пусть сам покупает оборудование.
1 пользователь оценил это сообщение: Показать
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от shtirliz:
сейчас не лучшее время для покупки карт для ИИ, тем более для дома.
Абсолютно с этим согласен. Жду сразу UDNA.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Халява кончилась - Дипсик ввёл суточные лимиты. У меня они закончились к 17:00 по Мск. Начинаем экономить токены, отключаем мозг у Дипсика (deep thinking). Похоже так и заставят перейти на подписку.
Гогий радуется наверное.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для gogi
хозяин корги
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Халява кончилась - Дипсик ввёл суточные лимиты. У меня они закончились к 17:00 по Мск. Начинаем экономить токены, отключаем мозг у Дипсика (deep thinking). Похоже так и заставят перейти на подписку.
Гогий радуется наверное.
а зачем тебе он если локальная модель есть в любимом дебиан и на любимой амд?

Сообщение от Zan:
Я в целом очень мудрый человек
1 пользователь оценил это сообщение: Показать
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от gogi:
а зачем тебе он если локальная модель есть в любимом дебиан и на любимой амд?
Так для поиска информации в интернете. Дипсик гораздо удобнее обычного поиска Яндекса или Гугла, потому что всю работу по поиску и обработке информации он берёт на себя. Я обычным поиском пользуюсь лишь когда надо найти прям простенькое (ну там, адрес на карте, например).
А типа, сравнить какой инструмент лучше OpenCode Cli или Desktop и в чём недостаток и преимущество каждого (а ещё и в сравнении с Cline), гораздо удобнее и быстрее делать в Дипсике, т.к. мне придётся делать меньше запросов к поиску.

Ставим Линукс правильно: Debian 13 + Xfce
Ваши права в разделе