Перейти к содержанию
Операционное совершенство
Модуль 4 из 4

Защитите границу действия ИИ от ошибок

10 минут · Средний

Цель обучения

После урока вы сможете спроектировать исполнимую границу между рекомендацией модели и значимым действием.

Почему это важно

Модель может уверенно предложить неверное действие. Если подготовка, утверждение и исполнение используют одно право, ошибка превращается в реальное последствие без независимой проверки.

Основная идея: обеспечьте условие вокруг модели

Не просите модель «быть осторожной». Задайте условия в workflow:

  • вход соответствует схеме и разрешённому источнику;
  • критические поля проверяются независимо;
  • низкая уверенность приводит к hold, а не к действию;
  • человек видит исходные доказательства и последствия;
  • права подготовки, утверждения и исполнения разделены;
  • действие ограничено, журналируется и по возможности обратимо.

Визуальное объяснение

Разобранный пример

Платёжный помощник должен только подготовить предложение. Отдельная система проверяет сумму, валюту, получателя и лимит. Ответственный человек видит источник и утверждает, а исполнитель с минимальным правом совершает одну операцию. Неизвестное значение блокирует действие и создаёт понятную очередь исключений.

Распространённая ошибка

Использовать второй вызов той же модели как «независимую проверку». Общие данные, prompt и модель могут создать общий отказ.

Быстрая проверка

Какой контроль сильнее?

A. Фраза «не ошибайся» в prompt.
B. Независимая проверка получателя и лимита перед отдельным разрешением на исполнение.
C. Ежегодное обучение пользователя.
D. Отчёт после платежа.

Ответ: B. Контроль исполняется в точке действия и не зависит от памяти модели.

Практическое задание

Выберите одно действие вашей автоматизации и нарисуйте четыре блока: подготовка, проверка, утверждение, исполнение. Для каждого укажите отдельное право и поведение при неизвестном состоянии.

Итог

  • Prompt не является границей разрешений.
  • Проверяйте критические условия независимо.
  • Разделяйте подготовку, утверждение и действие.
  • Проектируйте hold, исключение, журнал и восстановление.

Следующий урок

Перейдите к циклу PDCA/PDSA

Следующий шаг

Применить знания в практическом кейсе

Продолжить