Робот избил грабителей. Кто виноват?
Представим совершенно недалёкое будущее.
2034 год. Орехово-Зуево. На территории бывшей промзоны работает компания, продающая и обслуживающая бытовых роботов.
В ангаре находятся склад, сервисный центр и небольшой шоурум. Внутри — несколько десятков машин общей стоимостью в сотни миллионов рублей.
Людей ночью на складе нет.
Зачем платить двум охранникам, если компания буквально торгует роботами?
По периметру камеры, датчики движения и электронные замки. Территорию патрулирует автономный охранный робот. На воротах висит большая и вполне понятная табличка:
ЧАСТНАЯ ТЕРРИТОРИЯ
>
ВЕДЁТСЯ ВИДЕОНАБЛЮДЕНИЕ
>
ОБЪЕКТ ОХРАНЯЕТСЯ АВТОНОМНОЙ РОБОТИЗИРОВАННОЙ СИСТЕМОЙ
Сам робот стоит пять миллионов рублей.
В 03:17 к воротам подъезжает «Газель».
Четыре человека в масках вскрывают ворота и заходят на территорию.
Робот обнаруживает проникновение, включает запись, передаёт тревогу в охранную компанию и сообщает:
— Вы находитесь на частной территории. Покиньте объект. Полиция вызвана.
Люди объект не покидают.
Один пытается открыть склад. Второй подходит к роботу и несколько раз бьёт его ломом.
Робот отступает.
— Прекратите противоправные действия. Покиньте территорию.
Человек снова замахивается ломом.
И получает роботизированной дубинкой «Аргумент».
Его товарищи решают помочь.
Через две минуты один лежит со сломанной рукой, второй — с разбитой головой, третий не может встать после удара по ноге, четвёртый успевает выбежать за ворота.
Робот прекращает воздействие, как только сопротивление заканчивается, вызывает скорую и продолжает наблюдение до приезда людей.
В 03:26 приезжает ГБР.
В 03:34 — полиция.
А утром начинается самое интересное.
Кого привлекать?
С грабителями всё относительно понятно.
А вот робот?
Уголовный кодекс написан для людей. У робота нет умысла, страха, права собственности, здоровья и, по крайней мере пока, собственной уголовной ответственности.
Он не может прийти к следователю с адвокатом и объяснить:
— Он первый начал.
Хотя он действительно первый начал.
Более того, Верховный суд России уже сейчас рассматривает применение для защиты автоматически срабатывающих или автономно действующих средств и приспособлений. Если такое устройство сработало в условиях реально происходящего общественно опасного посягательства, действия владельца могут оцениваться по правилам необходимой обороны.
То есть сама конструкция
«человек установил устройство, которое автоматически защищает охраняемый законом интерес»
российскому праву уже знакома.
Только между капканом и двухметровым гуманоидным роботом есть огромная разница.
Капкан не думает.
Он одинаково схватит грабителя, пожарного, заблудившегося подростка и владельца склада, который забыл ключи.
Робот потенциально способен понимать происходящее.
Он знает, что ворота взломаны. Видит маски. Фиксирует лом. Несколько раз требует покинуть территорию. Отличает человека, который убегает, от человека, который продолжает нападение. Может прекратить применение силы в ту секунду, когда прекращается сопротивление.
Получается странный парадокс.
Чем умнее машина, тем меньше она похожа на автоматическую ловушку и тем больше её поведение начинает напоминать действия живого охранника.
Но охранником она от этого не становится.
А если они пытались уничтожить самого робота?
Здесь становится ещё веселее.
Предположим, грабители пока вообще ничего не успели украсть.
Они незаконно проникли на склад и начали ломами уничтожать робота стоимостью пять миллионов рублей.
Робот наносит одному из них травму, защищая фактически самого себя.
На бытовом языке всё просто:
робот защищался.
На юридическом — гораздо сложнее.
У робота нет собственного имущества. Его корпус принадлежит компании. Следовательно, защищается не «жизнь робота», а имущество собственника.
Но умышленное уничтожение или повреждение чужого имущества само по себе является общественно опасным посягательством, от которого закон допускает защиту.
И возникает прекрасный вопрос будущего:
может ли имущество собственника быть одновременно автономным средством защиты этого же имущества?
И если может — насколько сильно оно вправе сопротивляться собственному уничтожению?
Допустим, человек замахивается ломом на вашего робота стоимостью пять миллионов.
Рядом стоит живой охранник.
Охранник вправе препятствовать уничтожению имущества в установленных законом пределах.
Теперь мы заменяем его мышцы электромоторами.
Что принципиально изменилось?
А если изменилось — то в какой именно момент?
Сколько силы разрешить машине?
Вот здесь находится настоящая проблема.
Допустим, робот просто перехватил руку человека с ломом.
Выглядит разумно.
Человек пытается вырваться — робот удерживает.
Тоже понятно.
Человек второй рукой начинает бить робота — тот валит его на землю.
Уже интереснее.
Подбегают ещё трое.
Робот применяет дубинку.
Ещё интереснее.
Один падает, бросает лом и закрывает голову руками.
Робот продолжает его бить.
Вот здесь ситуация принципиально меняется.
Право необходимой обороны существует, пока существует посягательство. После его прекращения причинение дальнейшего вреда уже нельзя автоматически объяснить необходимостью его отражения.
Для человека эту границу потом пытается восстановить суд.
Для робота её придётся заранее превратить в программное обеспечение.
И это уже не философия искусственного интеллекта.
Это техническое задание.
А теперь перенесём склад в США
Для разнообразия представим, что всё это произошло не в Орехово-Зуеве, а где-нибудь в Техасе.
Пострадавший — чернокожий мужчина.
Корпус робота — белый.
Робот продолжил избивать уже лежащего человека.
К юридической дискуссии немедленно добавляется ещё одна:
почему белый робот избил безоружного чернокожего мужчину, лежащего на земле?
Производитель выпускает заявление о том, что цвет корпуса не связан с алгоритмами принятия решений.
Разработчики публикуют результаты аудита модели на предмет расовых предубеждений.
В социальных сетях требуют прекратить продажи.
Компания сообщает, что следующее поколение охранных роботов будет доступно также в графитовом цвете.
А потом эксперты открывают логи.
И выясняется, что проблема действительно была в компьютерном зрении.
Модель обучали в том числе на синтетическом датасете. В темноте человека в чёрной одежде система с вероятностью 61% классифицировала как:
NINJA
Следователь вызывает разработчика.
— Что вообще означает класс NINJA?
— Если честно, мы сами хотели бы это выяснить.
— Почему при обнаружении NINJA разрешено применение дубинки?
— Это legacy.
Смешно это ровно до того момента, пока экспертиза не обнаруживает, что ошибка классификации действительно статистически чаще происходит с какой-нибудь конкретной группой людей.
И шутка внезапно заканчивается.
Потому что ошибка обычного рекомендательного алгоритма показывает человеку не тот фильм.
Ошибка физического AI может сломать человеку руку.
Кто установит параметр «достаточно»?
У охранного робота неизбежно появится модель применения силы.
Не обязательно в интерфейсе будет буквальный ползунок:
aggression = 7
Но программная система всё равно должна принимать решения.
Когда можно физически перекрыть дорогу?
Когда разрешено схватить человека?
Когда — повалить?
Когда — применить специальное средство?
Как определить, что сопротивление прекратилось?
Что делать с человеком, который бросил лом, но продолжает идти к складу?
Что делать с лежащим человеком, который тянется рукой под куртку?
Что делать, если система приняла телефон за оружие?
Что делать, если перед ней ребёнок?
Что делать, если перед ней пожарный, который ломает дверь потому, что внутри пожар?
И главное:
кто отвечает за эти правила?
Владелец склада?
Производитель робота?
Разработчик программного обеспечения?
Компания, обучившая модель?
Интегратор, настроивший систему?
Охранная организация?
Человек, который поставил галочку «автономная защита территории»?
Сегодня законодательство о частной охранной деятельности регулирует применение физической силы и специальных средств частным охранником.
Но робот не является частным охранником.
У него нет удостоверения.
Он не проходил подготовку.
Он не сдавал экзамен.
Ему нельзя выдать дубинку под подпись.
Получается нормативный разрыв: технически машина может оказаться способнее среднего человека патрулировать территорию, обнаруживать проникновение, документировать происходящее и даже строго дозировать физическое воздействие.
А юридическая конструкция всё ещё предполагает кожаного мешка с удостоверением.
Табличка не даёт права делать что угодно
Надпись на воротах сама по себе ничего не легализует.
Нельзя написать:
ОСТОРОЖНО: ЗА ВХОД УБИВАЕМ
и считать юридический вопрос закрытым.
Но предупреждение всё-таки имеет значение.
Человек должен понимать, что:
- он пересекает границу частной территории;
- его обнаружили;
- его действия фиксируются;
- ему предъявлено требование прекратить нарушение;
- у него есть возможность уйти;
- при продолжении определённых действий система будет физически препятствовать ему.
Поэтому разумный охранный робот должен проектироваться не как автоматический каратель, а как машина последовательной деэскалации:
обнаружить → предупредить → вызвать людей → перекрыть доступ → препятствовать → увеличивать воздействие только при продолжении опасных действий → немедленно прекратить после прекращения угрозы → вызвать медицинскую помощь → сохранить доказательства.
И последнее может оказаться неожиданным преимуществом робота перед человеком.
У робота есть логи
После обычной драки человек говорит:
— Он первый на меня набросился!
Охранник отвечает:
— Нет, он первый ударил!
А робот приносит следствию:
- 17 видеопотоков;
- траектории движения всех участников;
- запись всех предупреждений;
- показания лидаров;
- распознанные предметы;
- телеметрию приводов;
- силу каждого воздействия;
- время принятия каждого решения;
- версию программного обеспечения;
- конфигурацию системы.
И журнал событий:
03:18:42 — обнаружен предмет, классифицированный как лом.
03:18:44 — предупреждение №2.
03:18:47 — зафиксирован удар по корпусу.
03:18:48 — начато физическое препятствование.
03:19:03 — сопротивление прекращено.
03:19:03 — применение силы прекращено.
03:19:05 — запрошена медицинская помощь.
И внезапно робот может оказаться гораздо более проверяемым источником физического воздействия, чем человек.
Он не скажет:
— Я не помню, всё произошло очень быстро.
Он действительно всё помнит.
А кто отвечает за баг?
Теперь изменим одну строку истории.
Человек бросил лом.
Робот должен был прекратить воздействие.
Но не прекратил.
Почему?
Ошибка камеры.
Плохое освещение.
Модель неправильно определила положение рук.
Сломался датчик.
Производитель выпустил неудачное обновление.
Интегратор неправильно настроил систему.
Владелец отключил один из лидаров, потому что тот постоянно реагировал на кошек.
В модель случайно вернулся легендарный класс NINJA.
Перед судом лежит человек с тяжёлой травмой.
И вопрос теперь уже не:
имел ли собственник право защищать склад?
А:
кто виноват в том, что машина неправильно реализовала это право?
Вот для массовых автономных роботов красивого универсального ответа у современного права пока нет.
Что придётся урегулировать
До появления массовых физических AI-агентов государствам придётся создать специальный режим для автономных систем, способных применять силу.
Причём требования к машине вполне могут оказаться строже требований к человеку.
Понадобятся сертификация моделей и исполнительных механизмов, допустимые уровни воздействия, обязательные сценарии деэскалации, аппаратные ограничения максимальной силы, правила применения специальных средств, обязательная видеофиксация, неизменяемые журналы событий, хранение версии программного обеспечения и конфигурации на момент инцидента, ручной перехват управления и распределение ответственности между производителем, интегратором, владельцем и оператором.
Возможно, потребуется обязательное страхование ответственности.
И почти наверняка понадобится юридический аналог авиационного чёрного ящика.
После любого причинения серьёзного вреда должна существовать возможность восстановить не только:
что сделал робот,
но и:
какие данные он видел и почему система решила сделать именно это.
Первый настоящий процесс
Вернёмся в Орехово-Зуево.
Четверо мужчин ночью приехали на «Газели».
Взломали ворота охраняемого склада.
Начали ломами разбивать робота стоимостью пять миллионов рублей.
Робот несколько раз потребовал прекратить противоправные действия.
Они не прекратили.
Он применил силу.
Трое оказались в больнице.
Робот цел.
Товар цел.
Вся история записана с семнадцати камер.
И суду впервые приходится отвечать вовсе не на фантастический вопрос:
«Есть ли у робота право на самооборону?»
Это как раз довольно бессмысленная постановка.
Гораздо интереснее другой вопрос:
имеет ли человек право поручить автономной машине защищать его собственность теми способами, которыми закон разрешает защищать её самому человеку, — и где проходит предел такой делегации?
Сегодня российское право уже знает сам принцип автоматически срабатывающих и автономно действующих средств защиты.
Но между автоматически закрывающимися воротами и двухметровым роботом, который только что профессионально отпиздил четырёх грабителей дубинкой «Аргумент», лежит целая новая отрасль права.
И лет через десять она вполне может перестать быть смешной фантазией.
Потому что сначала человечество создаст робота, способного самостоятельно охранять склад.
А уже потом внезапно вспомнит:
блядь. А кто ему разрешил бить людей?
