Почему агент может ошибаться

Агент работает на языковой модели и иногда отвечает неверно. Откуда берутся ошибки, как их заметить и что сделать, чтобы агент так больше не отвечал.

Агент llmagent работает на языковой модели. Модель не ищет готовый ответ в таблице, а пишет текст, который по смыслу лучше всего подходит к вопросу. Поэтому ответ звучит уверенно, даже когда он неверен: агент может перепутать цифры, неточно пересказать документ или додумать то, чего в ваших материалах нет. Такие ответы называют галлюцинациями.

Мы снижаем этот риск: агент обязан сначала искать в вашей базе знаний и каталоге, отвечать по найденному и честно говорить «не знаю», если ответа нет. Но полностью исключить ошибки нельзя. Важные ответы проверяйте, прежде чем на них опираться.

Почему так бывает

Чаще всего агент ошибается не «сам по себе», а потому что ему не хватило правильных материалов:

Нужного документа нет в базе знаний или он не назначен этому агенту. Тогда агент отвечает по общим знаниям модели, а они не знают ваших цен, сроков и правил.
Данные устарели. В базе лежит старый прайс, а каталог обновляется раз в сутки — подробнее в «Частых вопросах».
Агент плохо прочитал файл. Скан PDF без текстового слоя читается пустым, сложная таблица — «кашей».
Документы противоречат друг другу. Если в двух файлах разные условия, агент может взять не то.
Вопрос понят не так. Короткий или двусмысленный вопрос агент может истолковать по-своему.
Длинная переписка. Агент помнит последние 20 реплик разговора и может опереться на собственный неверный ответ, данный раньше.
Ответ из интернета. В чате с сотрудниками агент умеет искать в интернете, а найденные страницы бывают неточными или старыми.

Как проверить ответ

Посмотрите, откуда взят ответ. В чате кабинета раскройте блок «Размышление» над ответом и нажмите «Ищу в базе знаний» или «Ищу в каталоге»: откроются найденные документы и товары. Если там нет того, что агент написал, — он додумал.
Сверяйтесь с первоисточником там, где ошибка дорого стоит: цены, сроки, договоры, расчёты, юридические и медицинские вопросы.
Переспросите иначе или попросите агента указать, в каком документе он это нашёл.
Начните новый чат, если разговор ушёл в сторону: в новом чате агент не опирается на свои прежние ответы.

Что сделать, чтобы агент так больше не отвечал

Ответы агента клиентам и сотрудникам сохраняются в разделе «Диалоги». Нашли неверный ответ — исправьте причину, и агент перестанет его повторять:

Добавьте или обновите документ в базе знаний и проверьте, что он назначен нужному агенту.
Проверьте, как агент читает документ: откройте его и включите «Как читает агент». Если текст пустой или перепутан, загрузите файл в другом виде или вставьте текст вручную.
Закройте частый вопрос коротким текстом «вопрос — ответ»: это самый быстрый способ убрать конкретную ошибку.
Уберите противоречия: удалите или обновите старые версии документов.
Пропишите правило в инструкции агента («Настройки» → агент → «Общие»), если ошибка в поведении, а не в фактах. Например: «Не называй сроки доставки, предлагай уточнить у менеджера».

Подробнее о том, из чего агент собирает ответ, — в статье «Как агент готовит ответ».

Сообщите нам

Если агент ошибается снова и снова, а материалы в порядке, напишите в поддержку: app-support@webformat.ru. Приложите вопрос, ответ агента и то, каким должен был быть верный ответ, — так мы быстрее найдём причину.