Запустите чат-бота, например ChatGPT, локально на QNAP NAS.

Поисковая расширенная генерация (ТРЯПКА) — модель искусственного интеллекта, сочетающая в себе два основных подхода: поиск информации и генерацию текста. Этот подход в основном используется для извлечения ценной информации из бизнес-данных. ТО Большая языковая модель (LLM) «универсалы», по сути, не имеют видимости на данные индивидуальных реалий бизнеса: компании любого размера, а также небольшие профессиональные студии. Их знания фактически «ограничены» источники данных общедоступный. В этой статье мы увидим, как это сделать ChatGPT в локали и настройте его работу с помощью QNAP NAS.

я сервер NAS Устройства под брендом QNAP являются одними из самых популярных устройств в бизнес-секторе для хранения, управления и восстановления данных. Как мы рассказывали в других наших статьях, устройства хранилище QNAP они стали настоящими компьютерами, способными гарантировать высокую производительность. Мы также привели конкретные примеры передовых устройств, которые можно использовать, например, в производственной сфере.

QNAP NAS предлагает богатый каталог приложений для установки непосредственно на устройства и широкие возможности настройки с возможностью разблокировки функций, наиболее подходящих для вашего бизнеса.

ChatGPT локально на QNAP NAS: отличная идея!

QNAP поддерживает использование графический процессор во многих своих системах NAS. Аналогичным образом, тайваньская компания предлагает возможность установки и использования большого количества приложений, которые, в свою очередь, могут извлечь выгоду из использования графических процессоров. Станция виртуализацииВ частности, это гипервизор для QNAP NAS, который позволяет пользователям создавать виртуальные машины и управлять ими. Данное решение предоставляет большой набор функций, включая так называемый графический процессор пройти черезто есть возможность взаимодействия напрямую с видеоразделом.

Коллеги Обзор хранилища они использовали специальную карту NVIDIA РТХ А4000 однослотовый, установив его в NAS-накопитель QNAP TS-h1290FX с флэш-памятью. Вы по-прежнему можете использовать другие модели QNAP NAS, проверив поддержку Станция виртуализации а также для видеокарта PCIe который вы хотите установить.

выделенная видеокарта его можно использовать для локального запуска своего рода чат-бота, похожего на ChatGPT, максимизируя производительность действий по выводу, связанных с искусственным интеллектом.

Первый шаг после установки видеокарты внутрь шасси принадлежащий НАН КНАП состоит из создание виртуальной машины против Станция виртуализации. Процедура стандартная: просто настройте компьютер с Windows, 64 ГБ памяти и 8 процессорами (активировав Сквозное прохождение процессора). Напоминаем, что, например, NAS TS-h1290FX прекрасно способен поддерживать такую ​​конфигурацию, так как основан на процессоре AMD EPYC 7302P (16 ядер, 32 потока) и 256 ГБ оперативной памяти. В параметрах запуска виртуальной машины вы можете установить это УЕФИ как типология БИОС.

После первого запуска виртуальной машины (операционную систему можно установить сISO-образ официальная Windows), вы можете включить функционал Настольный пульт дистанционного управления. Этот шаг позволяет существенно упростить администрирование системы.

Включение сквозной передачи графического процессора

Сквозная передача графического процессора — это метод, используемый в виртуальных машинах, позволяющий им напрямую обращаться к графическому процессору хост-системы вместо использования эмулируемого виртуального графического процессора. Таким образом, виртуальная машина может в полной мере воспользоваться преимуществами Мощность графического процессора физика хост-системы, обеспечивающая высокопроизводительные рабочие нагрузки. С Сквозная передача графического процессораиспользование видеокарты назначается виртуальной машине, что обеспечивает производительность, близкую к исходной, в виртуальной среде.

После временного выключения виртуальной машины, созданной на QNAP NAS, вы можете выбрать ее в Станция виртуализации затем откройте экран изменения конфигурации.

В разделе PCIeвы можете использовать видеокарту, ранее установленную внутри шасси. Перезапустив виртуальную машину, необходимо продолжитьустановка драйвера для видеокарты.

Получив доступ к Диспетчер задач Windows (CTRL+SHIFT+ESC), нажав на Подробнее так что Производительностьграфический процессор должен быть правильно распознан и функционировать.

Как запустить NVIDIA ChatRTX на QNAP NAS

ЧатRTX это приложение, разработанное NVIDIA, которое позволяет пользователям настраивать Большая языковая модель (LLM) в типе GPT (Генеративный предварительно обученный трансформатор), точно так же, как тот, который OpenAI использует для управления работой ChatGPT. Основное отличие по сравнению с ЧатGPT стандартом является то, что ChatRTX можно подключить к его содержимому или получить доступ к базе знаний (база знаний) каждой отдельной компании.

Возможности RAG, которые характеризуют такой инструмент, как ChatRTX, открывают путь к возможности обрабатывать деловые документы, заметки, мультимедиа, изображения и многое другое. Преимущество состоит в том, что у вас есть LLM региональный стандарт который работает исключительно в пределах QNAP NAS и никогда не передает данные в облако.

Кроме того, ChatRTX легко интегрируется с работой вашего NAS – вам не нужно переместить данные Использовать модель и процесс так же просто и экономически эффективно, как установить графический процессор среднего класса в устройство хранения данных под маркой QNAP.

Настройте ChatRTX за несколько простых шагов

После загрузки и установки NVIDIA ChatRTX на виртуальную машину, созданную на QNAP NAS ( загрузку, которую можно запустить, нажав на Скачать сейчаспредполагает вывод примерно 36 ГБ данных), необходимо нажать комбинацию клавиш Windows+R, а затем ввести следующее: %localappdata%\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui.

Открыв скрипт Python user_interface.py, вам нужно добавить директиву Share=True (не забудьте запятую) сразу под строкой show_api=False, а затем сохранить файл. Таким образом ChatRTX также сможет получить доступ к локальной сети.

При запуске Chat с RTX из меню «Пуск» Windows приложение отображает экран на черном фоне, на котором показаны общедоступный URL-адрес и локальный адрес (типа localhost). Введя его в адресную строку вашего веб-браузера, вы можете начать общение с генеративной моделью.

ChatRTX поддерживает различные форматы файлов, включая обычный текст, PDF, DOC/DOCX и XML. Просто откройте папку с файлами компании из приложения, чтобы загрузить их в каталог за несколько секунд. Другими словами, указывая на папки, содержащие ваши файлы, генеративная модель начнет учитывать их, чтобы расширить (локально) свои знания и персонализируйте свои ответы (см. поле Путь к папке).

Начальное изображение взято со страницы NVIDIA ChatRTX, ваш персонализированный чат-бот.