Автоматизированный сбор разведданных с помощью Termux, theHarvester и SpiderFoot

Сбор разведданных (OSINT) — ключевой этап в кибербезопасности, пентестинге и анализе угроз. В данной статье рассматривается развертывание автоматизированной среды для сбора открытой информации с использованием Termux на Android, theHarvester и SpiderFoot. Все действия описаны строго в правовом поле РФ: для аудита собственных активов, тестирования защищенности с письменного согласия владельца или научных исследований.

Подготовка окружения в Termux

Установите Termux из F-Droid или GitHub (версия Play Market устарела). Обновите пакеты и установите зависимости:

pkg update && pkg upgrade -y
pkg install python git wget curl openssl-tool -y
pkg install clang make libffi libxml2 libxslt -y
pip install --upgrade pip setuptools wheel

Установка и настройка theHarvester

theHarvester — инструмент для сбора e-mail, имен, поддоменов, IP и URL из открытых источников (Google, Bing, LinkedIn, DNSDumpster и др.).

git clone https://github.com/laramies/theHarvester.git
cd theHarvester
pip3 install -r requirements.txt
python3 theharvester.py -h

Пример запуска для сбора поддоменов и e-mail целевого домена (только с разрешения владельца):

python3 theharvester.py -d example.com -b all -f result.html

Параметры: -d — целевой домен, -b all — все источники, -f — экспорт в HTML/JSON.

Установка и настройка SpiderFoot

SpiderFoot — платформа автоматизированного OSINT с модульной архитектурой, поддерживающая 200+ источников.

git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 sf.py -h

Для работы в headless-режиме (без GUI) запустите веб-интерфейс на локальном хосте:

python3 sf.py -l 127.0.0.1:5001

Доступ к интерфейсу: http://127.0.0.1:5001. Для удаленного доступа в локальной сети (например, через VPN для создания защищенного контура) укажите 0.0.0.0:5001 и настройте файрвол.

Автоматизация сбора данных

Создайте скрипт для последовательного запуска инструментов и агрегации отчетов:

cat > ~/osint_auto.sh << 'EOF'
#!/data/data/com.termux/files/usr/bin/bash
TARGET="$1"
OUTDIR="~/osint_results/${TARGET}_$(date +%F)"
mkdir -p "$OUTDIR"

echo "[+] Запуск theHarvester..."
cd ~/theHarvester
python3 theharvester.py -d "$TARGET" -b all -f "$OUTDIR/theharvester.json"

echo "[+] Запуск SpiderFoot (CLI)..."
cd ~/spiderfoot
python3 sfcli.py -s "$TARGET" -m all -o json > "$OUTDIR/spiderfoot.json"

echo "[+] Готово. Результаты в $OUTDIR"
EOF
chmod +x ~/osint_auto.sh

Запуск: ~/osint_auto.sh example.com (только для авторизованных целей).

Рекомендации по опсеку и законности

• Проводите сбор только по согласованию с владельцем инфраструктуры (договор, Scope of Work).
• Используйте VPN исключительно для организации защищенного контура между своими устройствами/серверами, не для обхода блокировок.
• Ограничивайте частоту запросов (-r в theHarvester, настройки rate-limit в SpiderFoot) для предотвращения DoS.
• Храните результаты зашифрованными (gpg, age).
• Вести журнал действий (логи) для аудита.

Заключение

Связка Termux + theHarvester + SpiderFoot предоставляет мощную мобильную платформу для автоматизированного OSINT. Грамотная настройка, соблюдение законодательства РФ и методология позволяют эффективно собирать разведданные для защитных целей. Команда РыбинскЛАБ оказывает услуги по проведению OSINT-аудитов, настройке инфраструктуры сбора разведданных, обучению персонала и разработке автоматизированных пайплайнов под ваши задачи. Обращайтесь за профессиональной экспертизой.