AI Fabrica — архитектура

Инфраструктура интеллектуального управления зернотрейдингом

AI Fabrica — частная вычислительная лаборатория для разработки и проверки AI-решений. Для проектируемой AI Grain Trading предусмотрено объединение учёта, аналитики, документов и специализированных агентов. Здесь — архитектура этого решения и распределение ответственности между его компонентами.

Проектируемая архитектура

Целевая архитектура

Роли вычислительных узлов

Целевая схема: выделенная среда проекта связана с лабораторными сервисами через управляемые интерфейсы. Развёртывание и изоляция клиентской среды проектируются отдельно.

01 · Клиентская среда
Пользователи
Защищённый доступ к приложению проекта
HTTPS
Topton — шлюз безопасности
Планируемые роли: firewall, VPN, администрирование
  • Intel Core i7-13620H
  • 32 GB DDR5
  • 6 × LAN
Доступ
Thunderobot — выделенный узел проекта
Планируемая среда проекта
  • AMD Ryzen AI Max+ 395
  • 16 ядер / 32 потока
  • 128 GB LPDDR5X unified
  • Radeon 8060S
  • NVMe 4 TB (план)
  • App API
  • PostgreSQL / Python-расчёты
  • Документы и RAG
  • Локальная инференс-модель
Thunderobot ⇄ разрешённое задание / результат ⇄ AI Worker
02 · Дополнительные вычисления

Сервис выбирается по задаче и загрузке: AIserver или два GB10.

Очередь заданий / AI Worker
Ограниченный доступ, только авторизованные запросы

Передаются минимально необходимые данные и правила обработки.

AIserver
Тяжёлый инференс и обработка
  • RTX PRO 6000 Blackwell 96 GB ECC
  • Ryzen 9 7900X
  • 128 GB DDR5
  • NVMe 4 TB

Нет доступа к ОС или администрированию для вызывающих.

2 × NVIDIA GB10
Каждый: 128 GB unified memory

Двухузловый DeepSeek V4 Flash, TP=2; единый сервис инференса.

03 · Управление и сохранность
AI Operator
Разработка и администрирование
  • Ryzen 9 9900X
  • 64 GB DDR5
  • V100 32 GB + RX 7800 XT 16 GB
NAS
Netgear, 2 × 4 TB

Целевая политика резервного копирования заказчика определяется отдельно.

Запрос пользователяВычислительное задание / результатАдминистрирование / резервное копирование

Пользователи получают доступ только к приложению проекта, не к лабораторной сети. Очередь заданий связывает проект с дополнительными вычислительными ресурсами; административные и резервные узлы не находятся на пути обычного инференса.

Программная архитектура

Потоки данных и сервисы

Обработка документов

  1. OCR и извлечение реквизитов
  2. Embedding и векторный поиск (pgvector — кандидат)
  3. Ранжирование результатов
  4. Контроль версий и источников

Финансовые расчёты

Детерминированные SQL-модули и Python-компоненты. Языковая модель интерпретирует результаты, но не заменяет расчётное ядро.

Модель заменяема

Выбор LLM определяется качеством, контекстом, инструментальными вызовами и нагрузкой, а не только размером. Замена модели не требует переработки прикладного ядра.

Модели и маршрутизация

Подтверждённые лабораторные маршруты и кандидаты проекта

Кандидат проекта

Thunderobot (128 GB unified)

Qwen3.8-Flash-Next рассматривается как кандидат. Для выделенного узла ещё нужно проверить объём памяти с KV-кэшем, параллельную нагрузку и выбранный рантайм. Если ресурсов недостаточно, подбирается компактная модель.

Лаборатория — подтверждено

AIserver (RTX PRO 6000)

Qwen3.8-Flash-Next NVFP4, проверенный контекст 262 144. Используется для анализа, работы с документами, программирования и вызова инструментов, когда задача помещается в контекст и ёмкость.

Диспетчер учитывает параллельные задачи генерации изображений и видео; их вычислительное время планируется отдельно.

Лаборатория — подтверждено

2 × GB10 (TP2)

DeepSeek-V4-Flash-0731 TP2 — базовый маршрут для анализа больших пакетов документов, контекст 1 048 576. Выбор маршрута определяется качеством, контекстом и нагрузкой.

Дополнительно

AI Operator (V100 32 GB)

Qwen3.8-27B, уже развёрнута на 32 GB карте. Резервный вычислительный маршрут, вторая проверка ответов, извлечение данных и классификация при достаточном качестве результата.

Кандидаты

Embedding и RAG

Кандидаты: семейства Qwen и BGE. bge-m3 существует в лаборатории как запасной вариант. pgvector — кандидат для векторного поиска; точные модели эмбеддингов, реранкера и OCR выбираются после проверки на документах компании.

Роль агента не обязательно требует отдельной модели: несколько ролей могут использовать общий инференс-провайдер, но с изолированными контекстом, инструментами и правами. Бизнес-математика приложения детерминирована и не выполняется LLM. Внешние облачные API не подразумеваются; любая передача данных наружу требует одобрения.

Оркестрация

Управляемый цикл обработки

1

Запрос и политика

Определяются роль агента, разрешённые данные и необходимые инструменты.

2

Подготовка контекста

Формируются структурированные записи, результаты расчётов и релевантные документы.

3

Маршрутизация

Учитываются доступ к данным, размер и запас контекста, задержка и нагрузка. Если достаточно локальной модели проекта — используется она; иначе запрос направляется через авторизованный AI Worker. Для длинного контекста применяется DeepSeek, для скорости — Flash, когда задача помещается.

4

Выполнение и проверка

Проверяются формат, числовые результаты, источники и результаты работы инструментов.

5

Возврат сотруднику

Логирование; сотрудник даёт разрешение на запись, платежи и изменения контрактов.

Пример управления

Менеджер спрашивает, почему снизилась маржа сделки. Координатор процесса вызывает сервис структурированных данных и расчётов, получает документы через RAG, маршрутизатор выбирает подходящую локальную модель или разрешённый вычислительный сервис лаборатории с учётом контекста и нагрузки. Модель формирует объяснение с источниками, сотрудник авторизует изменения. Координатор ведёт бизнес-шаги и вызовы инструментов, маршрутизатор моделей выбирает вычисления. Предлагаемое правило надёжности: ограниченные повторные попытки, таймауты, защита от дублирующих бизнес-операций.

Многоагентная система

AI-агенты

Первичный этап

AI-аналитик руководителя

Вход: управленческие запросы

Инструменты: SQL, RAG

Выход: аналитические сводки

Полномочия: чтение данных

Контроль сделок

Вход: договоры, операции

Инструменты: ERP-модули

Выход: проверка отклонений

Полномочия: чтение, уведомления

Обработка документов

Вход: сканы, PDF

Инструменты: OCR, извлечение

Выход: структурированные данные

Полномочия: запись в черновик

Генератор отчётов

Вход: данные, шаблоны

Инструменты: Excel, Word, PDF

Выход: готовые документы

Полномочия: формирование файлов

Последующие роли

AI-финансовый директор — анализ ликвидности, денежных потоков, задолженности и стоимости финансирования; формирует управленческий брифинг.

AI-коммерческий аналитик — оценка эффективности сделок, поставщиков и покупателей; готовит сравнительный анализ коммерческих условий.

AI-логист — контроль перевозок, сроков и расходов; формирует алерты о задержках и перерасходе.

AI-юрист — анализ договоров на рисковые условия; готовит проект документа для юридической проверки.

AI-контролёр и аудитор — независимая проверка документов, расчётов и правил; формирует отчёт об исключениях без изменения данных.

AI-секретарь — сопровождение поручений и сообщений; готовит проект административной сводки.

AI-операционный координатор — контроль процессов и маршрутизация задач; эскалирует отклонения.

Роль агента не обязательно требует отдельной модели: несколько ролей могут использовать общий сервис, но разные инструменты и права. Критические действия (платежи, договоры) требуют одобрения человека. Аудитор только читает и проверяет, не изменяя данные.

Сценарии работы

Примеры использования

1. Входящий документ

Документ проходит OCR и извлечение реквизитов. Система сопоставляет данные с договорами и сделками, проверяет полноту и корректность. После одобрения сотрудником данные импортируются в ERP.

2. Управленческий запрос

По вопросу руководителя система получает структурированные данные и выполняет программные расчёты. RAG подбирает связанные документы для проверки оснований ответа; при отсутствии данных система явно указывает на пробелы.

3. Отклонение

При обнаружении отклонения координатор подготавливает уведомление с необходимыми данными. Уполномоченный сотрудник принимает решение. Полноценная координация сквозных процессов относится к последующему развитию системы.

Надёжность и масштабирование

Принципы эксплуатации

Безопасность

  • Разделение прав пользователей и администраторов
  • Изолированные среды для каждого заказчика
  • Журналирование операций
  • Резервное копирование и тесты восстановления

Производительность

  • Тесты при перегрузке и недоступности узлов
  • Определение реальной ёмкости по результатам
  • Независимые обработчики задач

Масштабирование

  • Вертикальное — апгрейд узлов
  • Горизонтальное — добавление AI Worker
  • Модельное — разные модели для разных задач
  • Коммерческое — отдельные среды для клиентов

Очередь заданий передаёт только разрешённые задания и минимально необходимый объём данных. Конечные пользователи не имеют доступа к дополнительным GPU-серверам. При превышении порогов нагрузки, сложности или времени ожидания маршрутизатор передаёт задачи на дополнительные ресурсы. Модельный сервис изолирован от бизнес-логики и может быть заменён. Независимые обработчики не требуют одной общей модели на всех узлах.

NAS и репликация сами по себе не обеспечивают непрерывность работы. Допустимую потерю данных, сроки восстановления и резервирование сервисов определяют отдельно для проекта и проверяют восстановлением из копий.