Termux и искусственный интеллект: развертывание TensorFlow Lite и PyTorch Mobile для локального инференса моделей

Termux — это мощный терминальный эмулятор для Android, который позволяет запускать инструменты и скрипты прямо на устройстве пользователя. В задачах искусственного интеллекта это особенно полезно для локального инференса: модель загружается и выполняется на самом телефоне или планшете, без отправки данных в облака. Это снижает задержки, повышает приватность и позволяет тестировать прототипы в полевых условиях.

В этой статье рассмотрим развертывание TensorFlow Lite и подходы к запуску PyTorch Mobile на Android через Termux. Сфокусируемся на практических шагах: подготовка среды, установка компонентов, конвертация/загрузка моделей и запуск инференса.

Что выбрать: TensorFlow Lite или PyTorch Mobile

Выбор зависит от исходного формата модели и ваших требований к производительности.

• TensorFlow Lite удобен, если вы стартуете из TensorFlow/Keras или уже имеете модель в совместимом виде. Поддерживаются оптимизации (квантизация), бэкенды и ускорения.
• PyTorch Mobile логичен, если модель из PyTorch. Обычно развертывание идёт через экспорт в формат TorchScript и пакетирование для мобильного рантайма.

На практике часто проще начать с TensorFlow Lite для быстрой проверки гипотез, а PyTorch Mobile — когда важна совместимость с уже обученными PyTorch-моделями и сценариями вашего пайплайна.

Подготовка Termux и базовые проверки окружения

Начните с обновления пакетов в Termux и установки базовых утилит. Ниже — универсальный старт.

pkg update
pkg upgrade -y
pkg install -y python wget git proot tar tsu clang lld make coreutils

Проверьте версию Python:

python --version

Далее вам понадобятся инструменты для загрузки файлов и работы с окружением. Часто достаточно стандартного набора, но для некоторых сценариев потребуется компиляция зависимостей или использование wheel/готовых пакетов.

Локальный инференс с TensorFlow Lite в Termux

Для TensorFlow Lite на Android в Termux обычно используют один из подходов:

• Пакетный python-стек и использование tensorflow-lite / tflite-runtime (зависит от доступности пакетов под вашу архитектуру и версию Android).
• Запуск модели через отдельные бинарники/рантаймы, если они доступны под конкретное устройство.

Самый частый и удобный путь — попытаться установить tflite-runtime или совместимый runtime через pip. Попробуйте:

pip install --upgrade pip
pip install tflite-runtime

Если установка окажется невозможной из-за совместимости по архитектуре/версии, вы можете перейти на альтернативный вариант — использовать подготовленный пакет или запуск через готовый runtime (этот шаг зависит от конкретной сборки Termux и доступных артефактов).

Подготовка модели TensorFlow Lite

Вам потребуется файл модели .tflite. Если модель ещё не в формате TFLite, конвертацию обычно делают на стороне ПК (x86_64/arm64) средствами TensorFlow. На Android лучше использовать итоговую модель.

Скопируйте файл модели в рабочую папку Termux, например:

mkdir -p ~/models
# поместите your_model.tflite в ~/models

Пример Python-скрипта для инференса TFLite

Ниже пример минимального скрипта, который загружает модель TFLite и делает прогноз. В реальности вам нужно подстроить препроцессинг под входные данные (размеры тензора, тип, нормализация).

cat > ~/run_tflite.py << 'PY'
import numpy as np

try:
    from tflite_runtime.interpreter import Interpreter
except ImportError:
    raise SystemExit("tflite_runtime is not installed. Install it with: pip install tflite-runtime")

def main():
    model_path = "~/models/your_model.tflite"
    model_path = model_path.replace("~", "/data/data/com.termux/files/home")

    interpreter = Interpreter(model_path=model_path)
    interpreter.allocate_tensors()

    input_details = interpreter.get_input_details()
    output_details = interpreter.get_output_details()

    # Предполагаем один вход и фиксированную форму.
    in_shape = input_details[0]['shape']
    in_dtype = input_details[0]['dtype']

    # Пример входа: случайные данные.
    # Замените на реальные данные (например, предобработанное изображение).
    dummy_input = np.random.rand(*in_shape).astype(in_dtype)

    interpreter.set_tensor(input_details[0]['index'], dummy_input)
    interpreter.invoke()

    output = interpreter.get_tensor(output_details[0]['index'])
    print("Output:")
    print(output)

if name == "main":
    main()
PY

python ~/run_tflite.py

Чтобы использовать реальную модель, замените генерацию dummy_input на корректный препроцессинг. Для изображений обычно требуется resize/normalize и изменение формата (NCHW/NHWC), а также приведение типов (например, int8/float32).

Оптимизация TensorFlow Lite под устройство

Если вам важна скорость, используйте:

• Квантизацию (например, int8): уменьшает размер модели и может ускорить инференс.
• Удаление лишних операций при конвертации (фьюзинг графа, оптимизации компоновщика).
• Подбор batch size и входного размера.

Оптимизация делается на этапе подготовки модели, а на стороне Termux вы обеспечиваете корректный формат входа.

Развертывание PyTorch Mobile в контексте Termux

PyTorch Mobile обычно предполагает рантайм, который лучше всего интегрировать через Android-приложение (на уровне Java/Kotlin и C++/JNI). Termux — это удобная среда для разработки и локального тестирования, но «готовый PyTorch Mobile runtime» в виде отдельного пакета для Termux может зависеть от версии Android и доступных артефактов.

Тем не менее, вы можете организовать процесс так:

• Экспорт модели в TorchScript на стороне компьютера.
• Копирование артефактов на Android.
• Тестирование (если доступно) в Termux или через простую обвязку, либо через минимальный запуск в приложении.

Ниже рассмотрим практический экспорт TorchScript — это ключевой шаг для PyTorch Mobile.

Экспорт модели в TorchScript (рекомендуемый базовый шаг)

На ПК подготовьте скрипт экспорта. Ниже — типовой пример. Параметры зависят от вашей модели: как она принимает вход (тензор размера, формат, имя входа) и как выглядит forward.

python export_to_torchscript.py

Пример содержимого export_to_torchscript.py (шаблон):

cat > export_to_torchscript.py << 'PY'
import torch

# from your_model_def import Model

# model = Model(...)
# model.load_state_dict(torch.load('weights.pth', map_location='cpu'))
# model.eval()

# dummy input должен соответствовать реальному входу вашей модели
# Например: (1, 3, 224, 224) для изображения в формате NCHW
# example = torch.randn(1, 3, 224, 224)

# Сохраните реальную модель в переменную model и раскомментируйте строки ниже.

# traced = torch.jit.trace(model, example)
# traced.save('model_mobile.pt')

print("Set up model and export to TorchScript: model_mobile.pt")
PY