AI Observability: что логировать

Девять полей на каждый запрос: время, endpoint, модель, статус, код, токены, длительность, цена, идентификатор. Свой ID задавайте сами, ответный сохраняйте из заголовков — по связке ищут и таймауты без ответа. Пишется всегда, задним числом инцидент не разберёшь.

Трасса связывает шаги: агент — родитель, планирование, запросы и инструменты — дети. Оркестраторы — узлы, внутренности субагента — нет. Ретраи — один узел логической операции, иначе один сбой выглядит как пять.

Промпты с персональными данными, ключи, секреты и содержимое документов — не журнал, а утечка в вашей же инфраструктуре. Логи читают люди, копируются в тикеты, уезжают в сторонние системы — всё записанное считается опубликованным. Маскирование регулярками ловит очевидное и пропускает хитрое: сканы, PDF, скриншоты с данными.

Политика такая: содержимое — только по явному включению и никогда по умолчанию; метаданные — всегда. Персональные данные — в отдельные хранилища с доступом и сроком, а не в общий лог. Ключи — ни в каком виде: ни целиком, ни «первые символы для узнавания» — по ним тоже восстанавливают.

Пять метрик: доля ошибок по кодам, медиана и 95-й перцентиль задержек, токены, цена решённой задачи, время до первого токена. Цена — на исход, а не на токен. Пороги грубо с поджимкой по данным; включите лог до первого продакшн-трафика: ретроспективно таймауты без ответа не сопоставить. Рабочий паттерн из октября 2026-го: подозрительную активность сначала помечает автоматика, затем разбирает человек, уведомления пострадавшим уходят приватно — настройте ту же связку «детект плюс разбор» заранее.

Раз в сутки сверяйте логи со счётом: токены по моделям и ключам на ставки с датой против истории. Расхождения — по ID, модели и причинам; повторы и стриминг считают повторно. Разрез по ключам разбирает всё без выгрузок: каждый рубль объясняется записью.