Где взять

truera/trulens — открыть на GitHub

Открытая лицензия: MIT · 3579 stars.

TruLens — это инструмент с открытым исходным кодом для оценки и отслеживания работы LLM-экспериментов и AI-агентов, который помогает понять, где именно ваша система дает сбой или тратит лишние ресурсы. Если вы разрабатываете приложение на базе больших языковых моделей и хотите объективно сравнить разные версии системы, этот инструмент позволит заменить догадки на измеримые данные.

Что можно собрать

Основная задача TruLens — сделать процесс работы агента прозрачным. Инструмент использует OpenTelemetry — стандарт для сбора телеметрии в распределенных системах. Это означает, что каждый вызов функции, генерация текста или обращение к внешнему инструменту фиксируется как структурированный «спан» (span). В результате вы получаете «водопад» событий, где для каждого шага видны задержки, входные и выходные данные, количество токенов и итоговая стоимость.

Для оценки качества TruLens предлагает семь специализированных метрик, включая проверку логической согласованности (LogicalConsistency), качество планирования (PlanQuality) и корректность выбора инструментов (ToolSelection). Эти метрики позволяют выявлять галлюцинации или неэффективные цепочки действий, которые сложно заметить при обычном тестировании.

Как начать

Работа с инструментом строится вокруг установки пакета через pip install trulens. После установки вы можете интегрировать его с популярными фреймворками, такими как LangChain или LlamaIndex, используя соответствующие расширения.

Типичный рабочий сценарий выглядит так: вы «оборачиваете» функции вашего приложения декоратором @instrument, что позволяет автоматически записывать все действия. Оценку можно проводить двумя способами:

  1. Inline: оценка происходит в реальном времени, пока приложение выполняет запрос.
  2. Batch: вы запускаете оценку на уже собранном наборе данных, используя RunConfig для пакетной обработки метрик.

Кому это подходит

Инструмент ориентирован на команды, которые уже используют AI-агентов в продакшене или на этапе активной разработки и нуждаются в воспроизводимых метриках. TruLens поддерживает работу с широким спектром провайдеров, включая OpenAI, Google Gemini, AWS Bedrock и Snowflake Cortex, что делает его гибким решением для разных стеков технологий.

Границы применимости

На текущий момент TruLens предоставляет мощный каркас для оценки, однако его эффективность напрямую зависит от выбора провайдера для «судейства» (LLM judges) и качества ваших тестовых данных. Документация не содержит информации о долгосрочной стоимости эксплуатации при очень высоких нагрузках или специфических требованиях к безопасности данных внутри вашей инфраструктуры, поэтому эти аспекты остаются на усмотрение команды внедрения.

Вердикт

Стоит попробовать, если вам нужно объективно сравнить две версии AI-агента и понять, какая из них работает точнее и дешевле.

Лучше выбрать другой путь, если ваша система требует минимально возможного накладного расхода на мониторинг, так как глубокое инструментирование каждого шага может усложнить архитектуру приложения.

Похожие материалы