Chat with RTX позволяет использовать ИИ-ботов на локальных ПК с RTX 30 и 40
Компания NVIDIA опубликовала раннюю версию своего софта Chat with RTX, который позволяет пользователям видеокарт NVIDIA GeForce RTX 30 и 40 создавать персонализированных ИИ-ботов на основе большой языковой модели. Фактически это ChatGPT, но без необходимости в доступе к интернету. Стоит также уточнить, что у используемой видеокарты из названных серий должно быть 8 Гб видеопамяти, а потому новейшая RTX 3060 6 Гб автоматически бесполезна в данном сценарии.
Скачать Chat with RTX все желающие владельцы упомянутых видеокарт могут прямо сейчас с официального сайта NVIDIA по ссылке. Софт в данный момент полностью бесплатный и занимает около 40 Гб места в постоянном хранилище. По мере обучения, разумеется, масса файлов будет расти.
Re: Chat with RTX позволяет использовать ИИ-ботов на локальных ПК с RTX 30 и 40
Сообщение от xxxHOliC:
40 гигов. Ебануться просто.
Вопрос, а оно зачем вообще вот всё?
Ну, например, ты скачал себе такую модель и это почти как локальный срез знаний со всей сети на момент её создания. Можно без наличия доступа во вне спросить любой вопрос и она на него ответит, иногда с "галлюцинацими", но оно того стоит. И это только один самый простой способ её применения.
Можно еще использовать как локального помощника, который будет анализировать документы на твоей машине, или в качестве живого непися в игре.