Темы
Fiction Lab / Theme
Интеллект и доказательства
Доказательства, необходимые до передачи полномочий системе, которая выглядит компетентной.
Почему это важно
Убедительность и средняя точность могут скрывать непроверенные границы, automation bias и редкие критические ошибки.
Повторяющиеся механизмы
1
Убедительность принимается за компетентность
2
Агрегированные метрики скрывают критические классы
3
Формальная человеческая проверка становится автоматическим подтверждением
Пять измерений системы
authority
Полномочия растут вместе с проверенными доказательствами
information
Калибровка и provenance видимы
resources
Способность к проверке защищена
incentives
Скорость не вознаграждает автоматическое принятие
adaptation
Автономность расширяется ограниченными этапами
Вопрос для обсуждения
Что организация должна доказать, прежде чем интеллектуальная система получит больше полномочий?