Если вы давно хотели вкатиться в тему с иишечкой, но стеснялись спросить, как это сделать, то вам невероятно повезло, потому что у вас есть я.
да сейчас куда не плюнь - попадешь в "гайд" по ии

а у тебя он прям максимально поверхностный и очень вероятно отпугнет многих.
прям как будто писал человек поверхностно знакомый с облачными моделями и советы поверхностные для облачных моделей, инфы конкретно касательно локальных - практически ноль, любой запрос в ии гугла даст в тыщу раз больше инфы.
локальные модели - это очень глубокая тема, которая может быть как говном(в твоем случае), так и почти фронтиром.
и вот чел который так на пофиг сходу поставит - почти наверняка пожрет говна.
чтобы была польза - надо самом полезть и хотя бы немного разобраться в теме.
модели очень разные даже в контексте одной базовой модели типа квен 3.8
нужно понимать какой квант качать и чем они отличаются, какие плюсы и минусы.
обычный челик полезет, наслушается древних советов о том как квант убивает качество, возьмет высокий квант, получит свои полтора токена в секунду и дропнет, т.к. не юзабельно.
хотя там полно вариантов для 40-60+ токенов в сек для него с лучшим качеством.
и это ключевая тема для любого запуска локальных моделей.
без нормальной настройки - ничего хорошего не выйдет, просто потратишь время.
также базовый квен имеет не очень jinja шаблон, лучше ставить пофиксенный комьюнити, особенно для вайбкодинг задач.
также файнтюны могут радикально бустить возможности квена, что даже квантованная версия будет почти как опус.
и с таким объемом видеопамяти 24гб и если оперативки 64гб+(хотя можно и с 32гб перебится конечно) вообще не слишком разумно ставить простой квен 3.8 - лучше поставит квен 3.8 флэш через страту.