Мой тест локальных нейронок.
Видяха - 5000 (24ГБ) + 3060 (12ГБ)
1) Нужен был локальный самописный OCR чтобы оцифровать PDF документ из картинок-текста (600 страниц), поместить в RAG и вынимать оттуда по запросу инфу.
Модель Ornith 1.5 9B
За пару дней справился, спотыкался на каждом шагу, но допилил рабочую версию. Руками мне пришлось только Docker поставить, дальше он все сам.
2) написать FPS оверлей для игр. Казалось бы просто, ан нет.
Модель Ornith 1.5 35B
Что то денек помыкалась, в итоге слилась, предложила мне Fraps самому себе поставить. Низачот
Я допускаю что возможно изъятие FPS из игры не самый простой мув с точки зрения кодинга, но чет от модели 35B с MOE и MTP ожидал немного большего
ПС.
Подскажите норм модели для tool-calling под мой сетап железа?
И какие оболочки сейчас в почете? Я на Hermes сижу пока.