Механизм
Система звучит убедительно, поэтому её полномочия растут быстрее доказательств безопасной работы.
Условия возникновения
- Оценка вознаграждает среднее совпадение
- Проверяющие работают под давлением времени
Режимы отказа
- Редкие критические ошибки остаются скрыты
- Человеческая проверка становится автоматическим принятием
Ранние сигналы
- • Объяснениям доверяют больше, чем результатам
- • Частота override стремится к нулю
Контрмеры
- • Сегментировать оценки по последствиям
- • Использовать поэтапную автономность
Диагностические вопросы
- 1.Какая компетентность решения была проверена?
- 2.Где система ошибается за пределами среднего?