Возможности платформы

Agent Lab предоставляет богатый набор возможностей для создания умных ботов и автоматизации бизнес-процессов.

Работа с файлами

Загрузка файлов

Пользователи могут отправлять файлы боту через любую платформу:

Поддерживаемые типы: - Изображения: JPEG, PNG, GIF, WebP - Документы: PDF, DOC, DOCX, XLS, XLSX, TXT - Аудио: MP3, WAV, OGG, M4A - Видео: MP4, AVI, MOV

Ограничения: - Максимальный размер файла: 50MB - Одновременно можно загрузить до 10 файлов

Обработка файлов

Бот автоматически обрабатывает загруженные файлы:

Изображения: - Распознавание объектов - Извлечение текста (OCR) - Генерация описаний - Поиск похожих изображений

Документы: - Извлечение текста - Индексация для RAG - Анализ содержимого - Поиск по документам

Аудио: - Автоматическое распознавание речи - Перевод в текст - Определение языка - Фильтрация шума

Хранение файлов

Все файлы безопасно хранятся в S3-совместимом хранилище:

Автоматическое шифрование
Генерация уникальных ссылок
Контроль доступа
Автоматическое удаление по истечении срока

Распознавание и синтез речи

Распознавание речи (Speech-to-Text)

Бот автоматически распознает голосовые сообщения:

Поддерживаемые языки: - Русский - Английский - Испанский - Немецкий - Французский - и другие

Качество: - WER (Word Error Rate) < 5% для чистой речи - Обработка фонового шума - Распознавание специальной терминологии

Использование: Пользователь отправляет голосовое сообщение → система распознает → бот получает текст → отвечает

Синтез речи (Text-to-Speech)

Бот может отвечать голосом:

Доступные голоса: - Katherine (женский, русский) - Maria (женский, русский) - Pavel (мужской, русский) - и другие

Параметры: - Скорость (tempo): 0.75 - 1.75 - Формат: MP3, OGG Opus, WAV - Качество: до 48kHz

Пример использования в агенте:

При ответе на вопрос о погоде:
1. Получи данные о погоде
2. Сформируй текстовый ответ
3. Используй synthesize_speech для создания голосового ответа
4. Отправь пользователю аудио

Виртуальная примерка (Fashion Try-On)

Уникальная возможность примерить одежду виртуально через FASHN API.

Как это работает

Пользователь отправляет свое фото
Выбирает товар (отправляет фото или ссылку)
Указывает параметры (рост, размер товара)
Система генерирует изображение с примеркой

Поддерживаемые типы товаров

Одежда (garment): - Футболки и топы - Платья - Рубашки - Свитера и кофты - Пиджаки

Аксессуары (bag): - Сумки через плечо - Клатчи - Рюкзаки - Ручные сумки

Параметры примерки

Обязательные: - Фото модели (пользователя) - Фото товара - Рост модели (в см) - Размеры товара (для сумок)

Опциональные: - Позиция (левое/правое плечо, рука) - Смещение (по осям X, Y) - Масштаб - Количество вариаций (до 3)

Вариации

Система может создать несколько вариантов: - Основное изображение - Вариация 1 (subtle) - Вариация 2 (strong) - Вариация 3 (subtle)

Это позволяет пользователю выбрать наиболее понравившийся вариант.

История примерок

Все примерки сохраняются: - Исходное фото модели - Фото товара - Результаты примерки - Параметры примерки - Ссылка на товар

Пользователь может в любой момент вернуться к своим примеркам.

База знаний (RAG)

RAG (Retrieval-Augmented Generation) позволяет боту использовать ваши документы для ответов.

Как работает RAG

Вы загружаете документы
Система разбивает их на фрагменты
Создает векторные embeddings
Индексирует в векторной БД
При запросе ищет релевантные фрагменты
Передает их в LLM для генерации ответа

Загрузка документов

Способы: - Через веб-интерфейс - Через API - Автоматическая индексация сообщений

Форматы: - PDF - DOCX, DOC - TXT, MD - HTML - CSV

Организация документов

Namespaces: - company - общие документы компании - flow:{flow_id} - документы конкретного бота - user:{user_id} - персональные документы пользователя

Теги: Добавляйте теги для быстрого поиска: - faq - часто задаваемые вопросы - manual - инструкции - product - описания товаров - policy - политики компании

Настройка RAG для бота

В настройках бота укажите:

Enabled - включить RAG

Namespace Scope - где хранить новые документы: - flow - в пространстве бота - company - в общем пространстве

Search Scopes - где искать: - ["flow"] - только в документах бота - ["company"] - только в общих документах - ["flow", "company"] - везде

Auto Index Messages - автоматически индексировать сообщения пользователей

Поиск в документах

Параметры поиска: - Top K - количество релевантных фрагментов (по умолчанию 5) - Similarity threshold - минимальная схожесть (0-1) - Reranking - переранжирование результатов

Алгоритмы: - Cosine similarity (базовый) - Hybrid search (векторный + текстовый) - Semantic search (семантический)

Мультиагентные сценарии

Создавайте сложные сценарии с несколькими агентами.

Типы архитектур

Router (Роутер) Главный агент направляет запросы специализированным агентам:

User → RouterAgent → [SupportAgent | SalesAgent | TechAgent]

Sequential (Последовательный) Агенты выполняются один за другим:

User → Agent1 → Agent2 → Agent3 → Response

Hierarchical (Иерархический) Супервизор управляет подчиненными агентами:

         SupervisorAgent
         /       |       \
   Agent1    Agent2    Agent3

Collaborative (Совместный) Агенты работают вместе, делятся информацией:

User → [Agent1 ⇄ Agent2 ⇄ Agent3] → Response

Создание мультиагентного сценария

Создайте отдельных агентов для каждой задачи
Создайте агента-координатора
Добавьте агентов как инструменты координатора
Настройте промпт координатора для управления потоком

Пример промпта координатора:

Ты координатор для обработки запросов.

Доступные агенты:
- support_agent: вопросы поддержки
- sales_agent: вопросы продаж
- tech_agent: технические вопросы

Анализируй запрос и вызывай нужного агента.

Передача контекста

Агенты автоматически имеют доступ к: - История диалога - Переменные flow - Данные сессии - Информация о пользователе

Управление состоянием

State - единое хранилище данных для всех агентов.

State хранит: - Историю сообщений - Данные пользователя - Текущий шаг сценария - Собранную информацию

Каждый агент может читать и обновлять state.

Переменные и конфигурация

Типы переменных

Global (Глобальные) Доступны всем ботам компании. Настраиваются в разделе "Ключи и Переменные": - API ключи - Токены - URL сервисов - Общие настройки

Flow (Уровень бота) Доступны всем агентам в боте: - Настройки бота - Параметры интеграций - Пороговые значения

Agent Local (Локальные агента) Доступны только конкретному агенту: - Специфичные параметры - Промежуточные данные

Session (Сессия) Временные данные текущей сессии: - ID пользователя - Контекст диалога - Собранные данные

Использование переменных

В промптах используйте шаблоны:

Компания: {company_name}
Email поддержки: {support_email}
Текущий пользователь: {user.name}

Переменные доступны в настройках агента и используются автоматически.

Безопасность

Секретные переменные помечаются специально: - Не отображаются в логах - Зашифрованы в БД - Доступны только через API

Биллинг и лимиты

Отслеживание расходов

Система автоматически учитывает:

Токены LLM: - Входные токены (prompt) - Выходные токены (completion) - По моделям (GPT-4, GPT-3.5, YandexGPT)

Вызовы API: - FASHN API (виртуальная примерка) - Cloud Voice (распознавание/синтез речи) - Внешние интеграции

Хранилище: - Размер файлов в S3 - Объем векторной БД

Лимиты

Устанавливайте лимиты для контроля расходов:

По боту: - Максимум токенов в день/месяц - Максимум запросов - Лимит на файлы

По компании: - Общий лимит токенов - Лимит бюджета - Квота на API

По пользователю: - Лимит запросов в минуту - Максимум токенов на запрос

Уведомления

Настройте уведомления при: - Достижении 80% лимита - Превышении лимита - Аномальных расходах

Мониторинг и аналитика

Метрики

Производительность: - Среднее время ответа - Количество запросов в секунду - Процент ошибок

Использование: - Расход токенов по ботам - Популярные запросы - Активные пользователи

Качество: - Успешность ответов - Fallback на человека - Оценки пользователей

Логи

Все взаимодействия логируются: - Входящие сообщения - Ответы агентов - Вызовы инструментов - Ошибки

Экспорт данных

Экспортируйте данные для анализа: - CSV - для Excel - JSON - для программной обработки - API - для интеграции с BI системами