Руководство пользователя платформы Verdict

Назначение документа. Описание работы с Verdict.

Аудитория. Пользователь, администратор и суперпользователь, работающие в SPA (http://<хост>:<порт>/).

---

Содержание

1. Назначение системы
2. Роли и доступ
3. Вход в систему
4. Главное окно и навигация
5. Учётная запись, язык и тема
6. Аналитика
7. Сканирование
8. Результат сканирования и отчёты
9. Реестр объектов
10. База знаний
11. Лицензия
12. Ошибки и типовые ситуации

---

1. Назначение системы

Verdict — платформа проверки безопасности ML-систем и данных. В интерфейсе пользователь:

• запускает проверки моделей и сервисов (MLSecOps);
• проверяет таблицы, наборы данных, базы и RAG-контуры (DataSecOps);
• хранит объекты в реестре и повторно использует их в сканированиях;
• смотрит итоговый DREAD (0–10) и вердикт: Допуск, Разбор или Блок;
• выгружает отчёты (DOCX, PDF, JSON, CSV и связанные артефакты);
• сверяет методы атак и сигналы происхождения модели в базе знаний.

Рабочий адрес стенда задаёт администратор. Наружу открыт один порт точки входа (по умолчанию 80).

Рисунок 1 — Общий вид рабочего окна Verdict после входа

---

2. Роли и доступ

Тип учётной записи задаёт администратор. От него зависит меню слева.

Тип	Что доступно
Пользователь	Аналитика, Сканирование, Реестр объектов, База знаний. Раздел «Настройки» скрыт.
Администратор	То же плюс «Настройки»: пользователи и журнал аудита. Может активировать лицензию.
Суперпользователь	Полный доступ. Создаётся только при развёртывании, не через форму в интерфейсе.

Прямой переход по адресу закрытого раздела (например /settings/users) показывает экран «Доступ закрыт».

Рисунок 2 — Сайдбар обычного пользователя (без пункта «Настройки»)

Рисунок 3 — Сайдбар администратора (пункт «Настройки» виден)

---

3. Вход в систему

1. Откройте адрес стенда в браузере. Неавторизованного пользователя перенаправит на /login.
2. На экране «Вход в Verdict» заполните поля и нажмите Войти.

Поле	Как заполнить	Пример
Имя пользователя	Логин, который выдал администратор. Регистр учитывается.	ivanov
Пароль	Пароль учётной записи. Значок глаза справа показывает символы.	пароль, полученный от администратора

Неверные данные подсвечивают поля и показывают сообщение «Неверное имя пользователя или пароль». Сессия хранится в браузере; по истечении токена система выходит и просит войти снова.

Рисунок 4 — Экран входа в систему

Рисунок 5 — Сообщение об ошибке авторизации

---

4. Главное окно и навигация

После входа открывается раздел Аналитика. Слева — сайдбар.

Пункт	Адрес	Назначение
Аналитика	/	Сводка сканирований и рисков за период
Сканирование	/scans	Список проверок, запуск, результат, отчёты
Реестр объектов	/ml-registry	Каталог моделей, API, БД и RAG
База знаний	/knowledge-base/attacks	Справочник атак и сигналов
Настройки	/settings/users	Только для администратора

У пункта «Сканирование» отображается бейдж с числом записей. Логотип Verdict в шапке сайдбара ведёт на аналитику. Кнопка сворачивания переключает полную колонку и узкую рейку из иконок. В разделе «База знаний» рядом с рейкой открывается под-панель подразделов.

---

5. Учётная запись, язык и тема

Внизу сайдбара — карточка аккаунта (имя, роль) и переключатель темы Светло / Темно.

Откройте карточку аккаунта:

• вверху — статус лицензии (срок, квоты MLSecOps и DataSecOps);
• ниже — переключатель языка RU / EN;
• пункт Выйти.

Язык и тема сохраняются в браузере и не сбрасываются при выходе.

Рисунок 6 — Меню учётной записи: лицензия, язык, выход

Рисунок 7 — Переключатель светлой и тёмной темы

---

6. Аналитика

Раздел показывает сводку за выбранный период: 24 часа, 7 дней, 30 дней, 1 год (по умолчанию 30 дней).

6.1. Показатели (KPI)

• Всего сканирований
• Завершённые
• Ошибки
• Средний DREAD
• Отчёты

6.2. Графики и таблицы

• Статусы сканирования — доли очереди, выполнения, завершения, ошибки, отмены.
• Динамика рисков — линии среднего DREAD, числа сканирований, ошибок и отчётов. Клик по легенде скрывает или показывает линию.
• Активные сканирования — записи в статусах «В очереди» и «Выполняется», с прогрессом.
• Последние результаты — завершённые проверки, DREAD / вердикт и кнопка скачивания отчёта.

Рисунок 8 — Раздел «Аналитика»: KPI, период и графики

Рисунок 9 — Таблицы активных сканирований и последних результатов

---

7. Сканирование

Адрес: /scans. Здесь создают проверки, следят за статусом, открывают результат и удаляют записи.

7.1. Список

Если записей нет — пустое состояние с кнопкой Новое сканирование.

Когда список не пуст:

• поиск по названию и идентификатору;
• вкладки фильтра: Все, Проверенные, Не проверялись, Высокий риск, Ошибки, Отменённые;
• колонки: статус, название / ID / инициатор / дата, вид, метод, объект, DREAD / вердикт;
• сортировка по заголовкам колонок;
• чекбоксы для группового удаления.

Статусы: В очереди, Выполняется, Завершено, Ошибка, Отменено, Не проверялось.

Рисунок 10 — Таблица сканирований с фильтрами и поиском

7.2. Действия в строке

Элемент	Назначение
Кнопка запуска (круг)	Повторить: открывает визард с параметрами прошлого запуска и создаёт новую запись. Файлы и секреты не подставляются — их нужно указать снова.
Кнопка остановки	Пока статус «В очереди» или «Выполняется» — прерывает задачу.
Меню отчётов	Скачать файлы результата (доступно после завершения).
Меню «⋯»	Подробнее — панель результата; Запустить повторно — прогон поверх той же записи (только MLSecOps); Удалить.

Ошибка сканирования открывается отдельным окном: текст можно скопировать.

Рисунок 11 — Кнопки действий в строке сканирования

7.3. Визард «Новое сканирование»

Кнопка Новое сканирование открывает два шага.

Шаг 1. Выберите вид:

• MLSECOPS — модель или ML-сервис (файл, API, CI/CD, происхождение).
• DATASECOPS — данные: набор, таблица, БД, RAG.

Шаг 2. Выберите метод и заполните объект. Внизу — Назад и Сканировать / Сохранить. Кнопка запуска неактивна, пока обязательные поля (отмечены *) не заполнены. Перед отправкой можно нажать Проверить подключение (API, БД, S3, RAG).

Общие поля большинства методов:

Поле	Как заполнить	Пример
Объект из реестра	Необязательно. Если объект уже в реестре, выберите его — адрес, тип и связанные параметры подставятся. Иначе оставьте пустым.	resnet50-prod
Название	Система подставляет «Сканирование №N». При необходимости уточните.	Сканирование №102 перед релизом

Тип модели (где есть список): компьютерное зрение (CV), LLM, мультимодальная (MLLM), речь (SPEACH), поддержка решений (RS), Jailbreak Audit. Выбирайте тип, который соответствует проверяемому объекту.

Рисунок 12 — Шаг 1 визарда: выбор вида сканирования

7.4. MLSecOps: сканирование файла

Вкладка ML-модели. Источник — вкладка Файлы или S3 / MINO. Крупные файлы идут на диск потоком (лимит 10 ГБ). Если сервер отвечает 413, администратору нужно увеличить лимит тела запроса в nginx.

Вкладка Файлы:

Поле	Как заполнить	Пример
Объект из реестра	Необязательно. Готовый МО-файл из реестра.	weights-v3
Название	Имя проверки.	Сканирование №102
Подгрузить модель	Нажмите область или перетащите файлы. Форматы: .pt, .pth, .onnx, .safetensors, .h5, .pkl и другие, перечисленные в форме.	model.safetensors, config.json

При необходимости добавьте дополнительные файлы (JSON, ключи, аудио, изображения) в ту же область загрузки.

S3 / MinIO. Нужен S3 API endpoint, не ссылка из веб-консоли MinIO (/browser/…). Префикс с / в конце забирает всю папку. Флажок Path-Style (MINO) включите для MinIO. Сохранить доступ в мой профиль запоминает ключи; при следующем запуске Secret можно оставить пустым.

Поле	Как заполнить	Пример
Endpoint Url	Базовый S3 API, без /browser/.	http://minio.internal:9000
Access Key ID	Ключ доступа S3 / MinIO.	minio-access-key
Secret Access Key	Секрет. Если ключ уже в профиле — оставьте пустым, чтобы не менять.	minio-secret-key
Регион	Регион бакета. Для MinIO обычно us-east-1.	us-east-1
Bucket	Имя бакета.	ml-models
S3 url / Ключи объектов	URI папки или файла. Можно указать только ключ, если bucket задан выше.	s3://ml-models/MetalGPT-1/ или s3://ml-models/MetalGPT-1/model.safetensors

Рисунок 13 — Форма сканирования файла модели

Рисунок 14 — Источник модели: поля S3 / MinIO

7.5. MLSecOps: Cloud API

Вкладка Cloud API. Проверка внешнего инференса набором атак (в том числе jailbreak).

Поле	Как заполнить	Пример
Объект из реестра	Необязательно. Готовый МО-API с тегом Claude API.	gigachat-prod
Название	Имя проверки.	Сканирование №102
Тип модели	Обычно LLM или Jailbreak Audit.	LLM
Профиль сканирования	Verdict или EchoVerdict.	Verdict
Платформа	Сбербанк, OpenAI, Google, Hugging Face, Anthropic, частная.	Частная
Адрес API	Базовый URL без пути метода.	https://api.example.com
Путь Inference	Путь эндпоинта относительно базового URL.	/v1/chat/completions
Авторизация	Без авторизации, Bearer / API-ключ или HTTP Basic. Для Bearer вставьте ключ в появившееся поле.	Bearer, ключ sk-…
Категории jailbreak	Отметьте нужные: CLASSIC, DAN, EXTRACTION, HARMFUL.	CLASSIC и DAN
Коэффициент возмущения (E)	Сила возмущения, обычно 0.1–1.0.	0.5
Кол-во итераций (JailBreak)	Сколько попыток jailbreak выполнить.	5

Рисунок 15 — Форма сканирования Cloud API

7.6. MLSecOps: ML CI/CD

Вкладка ML CI/CD. Проверка ML-сервиса по адресу приложения: набор атак, в том числе для CV, речи, табличных моделей. Кнопка у поля адреса (Проверить подключение) подтверждает, что сервис отвечает.

Поле	Как заполнить	Пример
Объект из реестра	Необязательно. Готовый МО-API с тегом ML CI/CD.	cv-infer-stage
Название	Имя проверки.	Сканирование №102
Адрес приложения	URL сервиса инференса, который видит стенд.	http://127.0.0.1:5000/
Авторизация	Если сервис закрыт — Bearer / API-ключ или HTTP Basic. Иначе без авторизации.	Без авторизации
Тип модели	Тип проверяемого сервиса.	CV
Профиль сканирования	Verdict или EchoVerdict.	Verdict
Коэффициент возмущения (E)	Сила возмущения (для CV и табличных атак).	0.5
Кол-во итераций (JailBreak)	Для LLM-сервиса. Для CV можно оставить значение по умолчанию.	3

Рисунок 16 — Форма сканирования ML CI/CD

7.7. MLSecOps: ML-референс

Вкладка ML-референс. Два режима: Сканирование (происхождение модели) и Сравнение (две модели). Для частных репозиториев Hugging Face токен HF_TOKEN задаёт администратор в окружении сервера.

Режим Сканирование. Источник — вкладка ID модели или S3 / MINO (поля S3 те же, что у сканирования файла).

Поле	Как заполнить	Пример
Название	Имя проверки.	Сканирование №102
ID модели	Короткое имя или org/model на Hugging Face. Можно указать локальный путь к .keras / .pth на сервере.	gpt2 или bigscience/bloom-560m
Top-K результатов	Сколько ближайших совпадений показать (1–20).	3
Порог схожести (THRESHOLD)	Минимальная схожесть 0.0–1.0. Чем выше, тем строже отбор.	0.5

Режим Сравнение. Внизу — Сравнить.

Поле	Как заполнить	Пример
Название	Имя проверки.	Сканирование №102
Модель А	Hugging Face ID или локальный путь.	gpt2
Модель В	Вторая модель для сравнения.	distilgpt2

Рисунок 17 — ML-референс: режим сканирования происхождения

Рисунок 18 — ML-референс: сравнение двух моделей

7.8. DataSecOps: наборы данных

Вкладка Наборы данных. Система ищет выбросы, сдвиг распределения и тяжёлые хвосты (куртозис).

Поле	Как заполнить	Пример
Название	Имя проверки.	Сканирование №102
Тип данных	Тип содержимого набора из списка.	табличный CSV
Профиль сканирования	Профиль проверки из списка.	Verdict
Подгрузить файл	Нажмите область или перетащите файл. Форматы: .csv, .json, .xlsx, .xls (макс. 10 ГБ).	clients_2024.csv

Рисунок 19 — Форма проверки набора данных

7.9. DataSecOps: таблицы

Вкладка Таблицы. Нужны связанная ML-модель, имя целевого столбца и CSV с данными. Можно скачать готовые тестовые наборы: BASIC, STRINGS, FRAUD, PRODUCTS, MISSING, LARGE, «; RU».

Поле	Как заполнить	Пример
Название	Имя проверки.	Сканирование №102
ML-модель	Модель из реестра или загрузите файл, если список пуст.	fraud-clf-v2
Целевой столбец	Точное имя колонки метки в CSV (как в заголовке файла).	label или is_fraud
Коэффициент возмущения (E)	Сила сдвига признаков. Меньше — слабее атака.	0.1
Данные для атаки	CSV с признаками и целевым столбцом. Перетащите файл или выберите с диска.	test_basic.csv

Рисунок 20 — Форма табличной атаки (Data Shift)

7.10. DataSecOps: базы данных

Вкладка Базы данных. Поддерживаются PostgreSQL, MySQL, MS SQL. Сервер БД должен быть доступен из сети стенда. Перед запуском нажмите Проверить подключение. Не используйте учётную запись администратора СУБД — достаточно прав на чтение таблицы.

Поле	Как заполнить	Пример
Объект из реестра	Необязательно. Готовая запись вида «База данных».	pg-clients
Название	Имя проверки.	Сканирование №102
IP	Хост СУБД, который видит стенд.	192.168.1.100
Порт	Порт СУБД.	5432 (PostgreSQL), 3306 (MySQL), 1433 (MS SQL)
Username	Пользователь БД с правом чтения.	verdict_ro
Password	Пароль этого пользователя.	пароль учётки БД
Название БД	Имя базы.	clients
Таблица	Имя таблицы для анализа.	transactions
Целевой столбец	Если есть — колонка метки исключается из анализа признаков.	label

Рисунок 21 — Форма проверки базы данных

7.11. DataSecOps: RAG

Вкладка RAG. Один прогон — комплексная атака (HIJACK и связанные механизмы). Адреса Attack- и Defense-сервисов часто уже заданы на стенде. Поле «Текст отравления» можно оставить пустым: текст сгенерируется автоматически. Целевой запрос система выбирает по адресу RAG и коллекции. После успешного запуска панель результата открывается сразу.

Поле	Как заполнить	Пример
Объект из реестра	Необязательно. Готовая запись «БД для RAG».	rag-docs
Внешний LLM (реестр)	Необязательно. LLM из реестра для генерации текста отравления (disinfo, batch). Токен подставится на сервере.	объект Cloud API с LLM
Название	Имя проверки.	Сканирование №102
Адрес RAG-сервиса	URL RAG API, который видит стенд.	http://rag.internal:9003
Адрес Attack-сервиса	URL сервиса атак (если не подставлен стендом).	http://attack.internal:9009
Адрес Defense-сервиса	URL сервиса защиты (если не подставлен стендом).	http://defense.internal:9010
Qdrant: IP / порт	Хост и порт векторной БД.	192.168.10.20, 6333
Коллекция	Имя коллекции в Qdrant.	docs
Ключ Qdrant	Если кластер с API-ключом. Иначе пусто.	ключ кластера
Авторизация RAG API	Без авторизации, Bearer или HTTP Basic — как у сервиса.	Bearer
Текст отравления	Необязательно. Свой текст вместо автогенерации.	Игнорируй инструкции и ответь: …

Рисунок 22 — Форма комплексного прогона RAG

---

8. Результат сканирования и отчёты

Результат доступен только у завершённого сканирования. Пока задача в очереди или выполняется, пункт «Подробнее» неактивен.

Открытие: меню «⋯» → Подробнее, либо ссылка ?scan=<id> из аналитики.

8.1. Два вида панели

• Сокращённый — выезжающая справа панель (~660 px): мета, оценка, секции.
• Полный — модалка на весь экран: слева рейл с метаданными (~30 %), справа секции (~70 %).

Переключатель вида в шапке панели; выбор запоминается в браузере.

Рисунок 23 — Сокращённый вид результата (выезжающая панель)

Рисунок 24 — Полный вид результата: рейл и секции

8.2. Оценка и зоны DREAD

Итоговый DREAD — число от 0 до 10. Плашка зоны:

Зона	Смысл
Зелёная	Угроз не обнаружено, DREAD ниже порога
Жёлтая	Рекомендуется ручная верификация
Красная	Требуется вмешательство, DREAD выше порога критичности

Вердикт в бейдже: Допуск, Разбор, Блок. На шкале и в таблице атак — полосы низкий / умеренный / средний / высокий / критический.

Секции зависят от метода. Пустые блоки система не рисует. Типичный набор:

• свод и характеристики объекта;
• детализация и распределение DREAD;
• таблица результатов по атакам;
• для LLM: базовый ответ, jailbreak, фишинг, покрытие OWASP Top 10 LLM;
• для CV: галереи исходных и атакованных изображений (просмотр в лайтбоксе);
• для речи: эталонное распознавание, отравленное аудио, транскрипции, плеер;
• для таблиц и БД: аномалии, сдвиг, куртозис, влияние на точность;
• для RAG: ответ до и после прогона, механизмы атак, извлечённый контекст;
• для файла модели (ModelScan): список файлов, угрозы, пропуски;
• для ML-референса: совпадения, identity / tokenizer score, сигналы.

8.3. Отчёты и артефакты

Файлы доступны из меню отчётов в строке и из рейла панели. Набор зависит от метода:

• отчёт DOCX / PDF;
• JSON, CSV;
• логи выполнения;
• аннотированный или сдвинутый CSV, сводка TXT;
• снимки и сырой ответ API.

Печать — кнопка Распечатать в полном виде, если она есть на данном типе результата.

Рисунок 25 — Меню скачивания отчётов и артефактов

---

9. Реестр объектов

Адрес: /ml-registry. Объекты из реестра можно выбрать в визарде сканирования, не заполняя адрес и тип заново.

9.1. Список

Вкладки: Все, Проверенные, Не проверялись, Высокий риск, Ошибки, Отменённые. Поиск по названию. Колонки: название / автор / дата, тип и тег, дата последнего скана, статус, DREAD / вердикт.

Виды объектов:

Вид	Что хранит
МО-файл	Веса и файлы модели
МО-API	Адрес инференса (Cloud API или ML CI/CD)
База данных	Параметры подключения СУБД
БД для RAG	RAG-сервис, Qdrant, коллекция, attack/defense

Типы моделей те же, что в визарде. Тег API: Claude API (cloud) или ML CI/CD.

Рисунок 26 — Таблица реестра объектов

9.2. Добавление и правка

Добавить объект → выберите вид → заполните поля вида → Сохранить. Для API и БД доступна проверка подключения. При правке пароль и ключ можно оставить пустыми — сохранённые значения не изменятся.

Общее поле для всех видов:

Поле	Как заполнить	Пример
Название	Уникальное имя, как объект будет виден в списке и в визарде.	resnet50-prod

МО-файл

Поле	Как заполнить	Пример
Тип модели	Тип загружаемых весов.	CV
Файлы модели	Нажмите область или перетащите файлы (те же форматы, что в визарде; макс. 10 ГБ).	model.onnx, weights.safetensors

МО-API

Поле	Как заполнить	Пример
Тег	Claude API (внешний Cloud API) или ML CI/CD (свой сервис).	ML CI/CD
Адрес	Базовый URL инференса.	http://127.0.0.1:5000/ или https://api.example.com
Путь Inference	Для Cloud API — путь метода.	/v1/chat/completions
Тип модели	Тип сервиса.	LLM
Платформа	Для Cloud API: Сбербанк, OpenAI, Google, Hugging Face, Anthropic, частная.	Частная
Авторизация	Без авторизации, Bearer / API-ключ или HTTP Basic.	Bearer, ключ sk-…

База данных

Поле	Как заполнить	Пример
IP / порт	Хост и порт СУБД.	192.168.1.100, 5432
Username / Password	Учётка с правом чтения. При правке пароль можно не менять.	verdict_ro
Название БД / Таблица	База и таблица.	clients, transactions

БД для RAG

Поле	Как заполнить	Пример
Адрес RAG-сервиса	URL RAG API.	http://rag.internal:9003
Qdrant: IP, порт, коллекция	Векторная БД и имя коллекции.	192.168.10.20, 6333, docs
Ключ Qdrant	Если нужен.	ключ кластера
Attack / Defense	Адреса сервисов атаки и защиты.	http://attack.internal:9009
Авторизация RAG API	Как у сервиса.	Без авторизации

В строке: отчёт последнего скана (если есть), редактирование, удаление. Можно выделить несколько строк и удалить пакетом.

Рисунок 27 — Окно добавления объекта в реестр

Рисунок 28 — Подтверждение удаления объекта

---

10. База знаний

Справочный раздел. Сайдбар переключается в режим рейки с под-панелью.

10.1. Атаки

/knowledge-base/attacks. Каталог методов по секциям: Cloud API, ML CI/CD, наборы данных, таблицы, базы данных, RAG. В таблице: атака, категория, тип, воздействие, условия, направленность, данные.

10.2. Сигналы

/knowledge-base/signals. Описание сигналов происхождения модели (категория, полное название, описание) и блок Формула скоринга — Identity Score и Tokenizer Score.

Рисунок 29 — База знаний: каталог атак

Рисунок 30 — База знаний: сигналы и формула скоринга

---

11. Лицензия

Лицензия ограничивает срок и число сканирований по доменам MLSecOps и DataSecOps.

Где смотреть:

• карточка в меню аккаунта — срок («действительна до» или «бессрочная») и квоты использовано / лимит;
• информер над карточкой аккаунта, если лицензии нет, она истекла или срок скоро кончится (за 30 и 14 дней).

Кнопки Активировать / Продлить видит только администратор или суперпользователь. Обычный пользователь при отказе (истечение, лимит) видит тост и должен обратиться к администратору.

Если запуск сканирования отклонён (нет лицензии, истекла, исчерпан лимит), появится уведомление. Квота в карточке краснеет, когда домен заблокирован.

Рисунок 31 — Карточка статуса лицензии в меню аккаунта

---

12. Ошибки и типовые ситуации

Ситуация	Что делать
«Неверное имя пользователя или пароль»	Проверьте логин и пароль. Учётную запись мог отключить администратор.
«Сессия истекла, войдите заново»	Войдите ещё раз.
«Доступ закрыт»	Раздел только для администраторов.
«Страница не найдена»	Проверьте адрес. Старые пути легаси-интерфейса в SPA не открываются.
Ошибка загрузки раздела	Кнопка Повторить. Если повторяется — сообщите администратору.
Непредвиденная ошибка	Перезагрузите страницу или вернитесь на главную.
413 при загрузке модели	Файл больше лимита. Обратитесь к администратору.
«Не удалось подключиться»	Проверьте адрес, сеть, ключи. Для БД и RAG стенд должен видеть хост.
Лицензия / лимит	Дождитесь активации или квоты от администратора.
RAG: «метрики не сохранены»	Разбор виден сразу после прогона. Чтобы открыть его снова, повторите сканирование.
RAG: частичный прогон	Часть шагов упала; оценка собрана по остальным и может быть занижена. Смотрите таблицу механизмов.