Запустите LLM в бессерверном веб-браузере с помощью Transformers.js.

Постоянно растущая доступность Большие языковые модели (LLM) с открытым исходным кодом предлагает конкретную возможность запуска генеративных моделей локально, используя вычислительную мощность ваших систем. Трансформеры.js — это библиотека JavaScript, которая позволяет запускать модели на основе Transformer непосредственно в браузере без необходимости использования серверной системы.

Трансформеры.js он спроектирован так, чтобы быть функционально эквивалентным библиотеке Python. трансформаторыподдерживая широкий спектр задач, связанных с обработкой естественного языка, компьютерное зрениеобработка звука и мультимодальные приложения.

Библиотека поддерживает различные предварительно обученные модели для выполнения таких задач, как синтез текста, классификация (в том числе изображений) и генерация, распознавание речи. Он также предоставляет API, который функционально аналогичен поведению Библиотеки Pythonчто позволяет разработчикам, уже знакомым с версией Python, легко перейти на версию JavaScript.

Такой инструмент, как Transformers.js, особенно полезен для запуска моделей. машинное обучение в браузере и позволяет разработчикам выбирать наиболее подходящие шаблоны для их конкретных проектов.

Как начать использовать Transformers.js в вашем браузере

Чтобы начать работу с Transformers.js, разработчики могут создать новый проект Node.js и установите библиотеку через npm. Затем они могут создать новый файл с именем app.js, который станет точкой входа для их приложения.

В зависимости от того, используете ли вы ESM (Модули ECMAScript) или CommonJS, каждый программист должен импортировать библиотеку Transformers.js по-своему. ЭСМ — это стандарт импорта и экспорта модулей в JavaScript. С помощью ESM вы можете организовать свой код в отдельные модули, что упрощает управление и обслуживание сложных проектов. Он поддерживается современными браузерами и Node.js, что позволяет разработчикам использовать более понятный и декларативный синтаксис для управления зависимостями между модулями.

В CommonJS модули определяются с использованием синтаксиса require для импорта и модуля.exports для экспорта. Этот подход широко использовался в прошлом и до сих пор распространен во многих проектах Node.js. наследие. ESM более современен и считается настоящим эталоном разработки JavaScript.

Как и в библиотеке Python, Transformers.js поддерживает API конвейера. трубопровод они группируют предварительно обученную модель с предварительная обработка входов и Постобработка выходных данных, что делает их самым простым способом запуска моделей с помощью библиотеки. В следующем примере, в котором мы используем именно код JavaScriptмы анализируем настроение пользователя, который получается из информации, предоставленной на входе:

импортировать {конвейер} из '@xenova/transformers';

// Выделяем конвейер для анализа настроений
let Pipe = await Pipeline('анализ настроений');

let out = await Pipe('Люблю и трансформеров!');
// ({'метка': 'ПОЛОЖИТЕЛЬНЫЙ', 'оценка': 0,999817686})

Функция конвейера в начале кода используется для создания экземпляра конвейера, содержащего предварительно обученную модель для анализа настроение. Термин настроение относится к чувству илиэмоция связанный с конкретным текстом, предложением, документом или другим типом лингвистического ввода. В контексте анализа текста анализ настроений — это процесс выявления и классификации настроений, выраженных в тексте, на основе заранее определенных категорий (т. е. положительных, нейтральных или отрицательных).

Установка и использование библиотеки Transformers.js

Чтобы начать использовать Transformers.js и сразу же изучить весь его потенциал, просто установите его через npm. Однако в качестве альтернативы можно просто позвонить в библиотеку удаленно, обратившись к CDN или службе хостинга.

В первом случае просто введите следующую команду, чтобы продолжитьустановка через npm:

npm я @xenova/transformers

Альтернативно вы можете импортировать библиотеку в свой код JavaScript, используя следующий источник:

<тип сценария="модуль">
импортировать {конвейер} из «https://cdn.jsdelivr.net/npm/@xenova/transformers@2.17.1»;

Примеры приложений доступны здесь они позволяют вам ощутить преимущества Transformers.js, даже не вводя ни строчки кода.

По умолчанию Transformers.js использует предварительно обученные модели размещены на «специальных» серверах и предварительно скомпилированы двоичные файлы WASM, которые должны работать «из коробки». Однако это поведение можно настроить. как указано в этом разделе.

Преобразование модели в ONNX и квантование

Разработчики Transformers.js также предлагают практические указания по конвертации моделей в ONNX и квантовать их.

ONNX-преобразование позволяет адаптировать каждый шаблон под формат Открытый обмен нейронными сетями (ОННКС). ОННКС — это формат обмена моделями для искусственного интеллекта, поддерживаемый несколькими библиотеками машинного обучения, включая ПиТорч, ТензорФлоу е MXNet.

Процесс преобразования позволяет получить ряд преимуществ с точки зрения переносимости, эффективности, совместимости и оптимизации. Фактически, если у вас есть файл ONNX, модель можно использовать на разных платформах и средах без необходимости ее повторного обучения. Это упрощает развертывание и использование шаблона в различных средах, например на мобильных устройствах и веб-браузерах.

ONNX максимизирует эффективность при запуске моделей, позволяя добиться хорошей производительности даже на устройствах с ограниченными ресурсами. Чтобы понять преимущества с точки зрения совместимости, просто подумайте, что модель, преобразованную из PyTorch в ONNX, можно без проблем запустить в TensorFlow.

С квантование модели его можно сделать более компактным, уменьшив его размер и повысив вычислительную эффективность без существенного ущерба для производительности. Параметры модели, которые обычно представляются как числа с плавающей запятой одинарной или двойной точности, преобразуются в числа более низкой точности, например, 16-битные числа с плавающей запятой или 8-битные целые числа.

В разделе Моделивы можете найти полный список моделей, которые можно вызвать через Transformers.js: новая LLaMA 3 от Meta обязательно будет добавлена ​​в ближайшее время.