Когда нельзя уступать. Фрагмент из книги Ханны Фрай "HELLO WORLD"
В издательстве Corpus вышла книга Ханны Фрай "HELLO WORLD. Как быть человеком в эпоху машин", с которой берет начало новая серия "Книги Политеха" - партнерский просветительский проект Политехнического музея и издательств Corpus, "Альпина нон-фикшн" и "Бомбора". "HELLO WORLD" - это максимально подробный и увлекательный рассказ об искусственном интеллекте, алгоритмах, по которым он действует, и влиянии этих алгоритмов на современную жизнь. Спешим поделиться с вами отрывком из книги, посвященным тому, что даже самые совершенные программы порой ошибаются и только человек бывает в состоянии предотвратить трагедию. Финальный выбор по-прежнему только за нами.
Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию.
26 сентября 1983 года он заступил на дежурство, и вскоре после полуночи взвыли сирены. Одна только мысль о таком сигнале тревоги наводила ужас: советские спутники засекли вражескую ракету, направлявшуюся к территории СССР. Холодная война была в разгаре, поэтому удар казался вполне вероятным, однако что‑то заставило Петрова повременить с докладом. Он не был уверен в безусловной правоте алгоритма. Компьютер зафиксировал всего лишь пять запусков — в столь нерешительных действиях США не было никакой логики.
Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.
Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.
Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.
Ведь только люди способны ощутить на себе весь груз ответственности за свои действия. Имей программа прямую связь с Кремлем, она ни на миг не задумалась бы о последствиях своего решения. А что же Петров? “Я понимал отлично, что меня никто не поправит”.
Одна беда: на человека тоже не всегда можно положиться. Иногда люди берут власть в свои руки и правильно делают — как это сделал Станислав Петров. Но зачастую внутреннее чувство лучше подавить.
Вот вам еще один пример на тему безопасности — слава богу, в этой сфере люди редко меняют решения компьютеров, не имея оснований, и все же именно это произошло в самом большом английском парке аттракционов Alton Towers, перед той памятной страшной аварией на горках Smiler.
В июле 2015 года двум инженерам поручили исправить неполадку в механизме аттракциона. Они устранили неисправность и для проверки запустили по трассе пустую вагонетку — но не обратили внимания на то, что она не вернулась назад. Почему-то она снова скатилась вниз на подъеме и застряла на полпути.
Тем временем операторы, обслуживающие посетителей, вывели дополнительную вагонетку, чтобы сократить растущую очередь, но об этом инженеры тоже не знали. Получив из операторской разрешение на пуск, сотрудники разрешили довольным пассажирам занять места, закрыли рамы безопасности и отправили первый состав по рельсам, ничего не зная о застрявшей прямо на пути вагонетке, которую ранее запустили инженеры.
По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.
Не так-то просто было переупрямить программу — чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.
И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем — или за чем — должно оставаться последнее слово в споре о власти между человеком и машиной?