Искусственный интеллект: чем нам угрожают роботы?

Повсеместное распространение автономных устройств и бурное развитие искусственного интеллекта и систем на его основе ставит в тупик даже лучшие умы нашего времени. Возможно ли восстание машин? Исследователи отвечают: все может быть...
13 Декабрь 2015, 09:47

Сегодня все чаще можно услышать мнение, что перспективы развития искусственного интеллекта (ИИ) не настолько радужны, как это может показаться, причем речь не о низком темпе развития ИИ. Наоборот, последние достижения в этой области выглядят много­обещающими, и хотя прорывных исследований и разработок, связанных с искусственным интеллектом, пока нет, они ожидаются уже в ближайшие годы. Все большее количество экспертов из разных областей науки говорят о множественных рисках, связанных с развитием ИИ.

Конкретизировал опасность Стив Омохундро (Steve Omohundro), американский ученый, среди профессиональных интересов которого машинное обучение, машинное зрение и вовлечение ИИ в общественные процессы. В апрельском номере Journal of Experimental & Theoretical Artificial Intelligence вышла его статья «Автономные технологии и их польза для человечества» („Autonomous technology and the greater human good”), в которой автор перечисляет как выгоды, которые человечество получит в результате появления полноценного искусственного интеллекта, так и опасности, которые подстерегают в случае бездумного развития ИИ.

По мнению Омохундро, появление антисоциального искусственного интеллекта не столько возможно, сколько вероятно — если только человечество не изменит полностью подход к созданию ИИ уже сегодня.

Стивен Хокинг предупреждает

Специалист по теоретической физике мирового масштаба Стивен Хокинг в одной из своих последних статей предостерегает: «Успех в создании искусственного интеллекта будет величайшим событием в истории человечества. К сожалению, оно же может быть и последним». По словам известного ученого, он подозревает, что человечество движется в этом направлении быстрее, чем следовало бы, — не успевая предварительно получить обратную связь.

Некоторые абзацы из статьи Хокинга в The Independent, описывающей возможные перспективы развития искусственного интеллекта и автономных систем в частности, напоминают пересказ научно-фантастических боевиков с элементами фильмов ужасов. «В то время как краткосрочное влияние ИИ зависит от того, кто будет контролировать такие системы, долгосрочные перспективы связаны с тем, сможет ли искусственный разум быть контролируемым вообще», — размышляет Стивен Хокинг.

Сегодня разработчики мотивированы создавать системы на основе искусственного интеллекта, действующие максимально рационально, а рациональные системы проявляют универсальное стремление к самозащите, овладению ресурсами, самовоспроизводству и повышению собственной эффективности. Современная компьютерная инфраструктура будет весьма уязвима по отношению к ничем не ограниченным действиям таких систем. В своей статье Стив Омохундро утверждает, что при должном подходе и использовании ряда методов есть возможность создания ИИ-систем, которые будут полностью безопасны, но в этом случае их возможности будут ограничены. Более того, автор предлагает свою собственную стратегию развития искусственного интеллекта.

Зачастую, когда мы говорим об искусственном интеллекте, мы представляем себе нечто человекоподобное, но алгоритмы работы ИИ на самом деле могут сильно отличаться от нашего образа мышления — существующие компьютерные системы воспринимают мир, будучи ограниченными узкими рамками тех целей, для которых они созданы.

Авиатехник производит сборку MQ-1 Predator, вернувшегося из зоны боевых действий в Афганистане в 2008 г. Каждый из шести знаков, нанесенных на борт этого ударного БПЛА, означает применение его оператором ракет Hellfire на поражение. Сколько бы ракет выпустил «беспилотник», будь его воля? (Фото: U.S. Air Force)

Управляющий модуль беспилотного летательного аппарата, к примеру, «понимает» окружающую его среду как набор сложных вычислений и действий, которые необходимо выполнить, чтобы БПЛА оставался в воздухе и не терял объекты-цели. По сути, любая правильно написанная компьютерная программа обдумывает каждое решение с точки зрения того, как результат поможет ей выполнить максимум задач, для которых они предназначены, — это постоянные вычисления с оценкой отношения «цена-выгода». Экономисты называют это функцией полезности, а Омохундро считает, что это не так уж сильно отличается от тех решений, которые приходится принимать нашему мозгу, когда мы думаем о том, как получить больше того, что мы хотим, с меньшими затратами и риском. Чаще всего мы ждем этого и от машин. Однако ученый считает, что мы не можем оценить то исключительное рвение, если можно так выразиться, с которым компьютерная программа выполняет ту работу, для которой она запрограммирована.  

Роботы: точка невозврата

Развитие роботов, по-видимому, действительно достигло критической точки — еще пара-тройка лет, и может наступить точка невозврата: сети, искусственный интеллект и роботехнические системы, взаимно интегрируясь, могут дать синергический эффект, который приведет если не к восстанию машин, то к ряду негативных событий. А пока ученые обсуждают на самом высоком уровне более насущные проблемы: развитие автономных военных систем уже вызывает немало вопросов этического характера — 13–16 мая под эгидой ООН в Женеве прошла специальная конференция, посвященная «роботам-убийцам». В дискуссии приняли участие два известных специалиста в области роботехники — Рональд Аркин (Ronald C. Arkin) из Компьютерного колледжа Технологического института Джорджии и профессор Шеффилдского университета Ноэль Шарки (Noel Sharkey). Главный вопрос конференции — насколько высока эффективность боевых роботов и оправданно ли применение таких технологий в целом. Результаты конференции будут представлены в ноябре во время заседания по обсуждению Конвенции ООН о запрещении или ограничении применения некоторых видов обычного оружия. 

Нет никаких сомнений в том, что даже простейшая система, наделенная элементарными навыками искусственного интеллекта, выполнит базовые задания быстрее и лучше. Ну и, естественно, эти принципы масштабируемы. Все это прекрасно, когда мы говорим, к примеру, об офисных приложениях или графических пакетах, но может превратиться в большую проблему, когда ИИ-системам, владеющим рудиментарной логикой, поручат управлять вооружением, коммунальной инфраструктурой или любыми другими опасными (или ценными) ресурсами.

В таких ситуациях высокая производительность системы потребует больше ресурсов и затрат энергии для выполнения первичных функций более полно, быстро и в больших объемах. Что более важно, такие системы вряд ли будет интересовать затрата ресурсов с точки зрения взаимосвязей, причинения дискомфорта другим и т. д., если только эти затраты не являются преградой к выполнению еще более низкоуровневых задач. Такое поведение вычислительных систем явно антисоциально, его нельзя назвать полностью логичным на бытовом языке, но, с другой стороны, оно не является и полностью нелогичным.


Как будет выбирать себе «цель» для торможения ударом роботизированный автомобиль будущего, если столкновение неизбежно?

Берегись автономного автомобиля!

Все идет к тому, что лет через десять автомобили без водителей будут разъезжать по дорогам США и Европы (а возможно, и России). Казалось бы, хорошая новость, ведь реакция бортового компьютера на неожиданные ситуации может быть молниеносной — в отличие от инстинктов и рефлексов даже самого опытного водителя. Но есть специалисты, которые считают, что наряду с положительными сторонами у развития автономной автоиндустрии имеется и ряд негативных перспектив, суть которых довольно существенно перекликается с идеей приблизительной рациональности, описанной в работе Омохундро. Патрик Лин (Patrick Lin), доктор философии из Государственного политехнического университета Калифорнии, в статье The Robot Car of Tomorrow May Just Be Programmed to Hit You предлагает следующую ситуацию: на дороге сложилась такая обстановка, когда неизбежно столкновение автономного транспортного средства с другим автомобилем. Правда, имеется выбор: «беспилотник» может повернуть влево и столкнуться с внедорожником Volvo или свернуть вправо и ударить Mini Cooper. Если бы вы программировали бортовой компьютер автономного автомобиля, то какой бы алгоритм вы в него заложили? Если руководствоваться физикой, то лучше врезаться в машину больших размеров — она лучше поглотит силу удара. С другой стороны, Volvo известна своими повышенными требованиями к безопасности. В общем, автономный автомобиль должен свернуть влево. Возникают неприятные вопросы: а что если в салоне Mini лишь один водитель, а Volvo перевозит пятерых человек, включая двух детей? Не напоминает ли вам такое поведение бортового компьютера алгоритмы, по которым работают целеуказатели у боевых автономных систем? А что если вы являетесь владельцем внедорожника Volvo — получается, что вы теперь рискуете на дороге больше других?




Стив Омохундро

Стив Омохундро (Steve Omohundro, род. 1959 г.) — американский ученый, получивший известность своими исследованиями в области гамильтоновой механики, динамических систем, языков программирования, машинного обучения, машинного зрения и использования искусственного интеллекта в общественных процессах. В своей текущей работе он использует рациональную экономику с целью разработки безопасных и прибыльных умных технологий для улучшения коллективного моделирования, инноваций и принятия решений. Интересный факт: Омохундро и Стивен Вулфрэм (Stephen Wolfram; известен как создатель проекта Wolfram Alpha) в конце 1980-х руководили группой студентов, победившей в организованном Apple Computer конкурсе The Computer of the Year 2000. Их проект под названием Tablet представлял собой планшетный компьютер с сенсорным экраном, GPS-модулем и другими функциями, которые впервые появились в Apple iPad спустя более двух десятилетий.


Омохундро называет подобное поведение ИИ-систем приблизительной рациональностью (approximate rationality) и утверждает, что это связано с неверным подходом к разработке многих современных проектов, имеющих отношение к искусственному интеллекту.

В основу своих рассуждений ученый положил математическую модель, точнее — формулу, которую он назвал оптимальным рациональным принятием решений. Она описывает все тот же процесс: любое рациональное существо принимает решения, исходя из возможности получить максимальную выгоду, затратив минимум ресурсов. Экономическая функция полезности формирует своеобразную петлю обратной связи из действия и стимула: действие производит стимулы, согласующиеся с выполнением первичных целей программы, и еще в большей степени формирует соответствующее поведение. Еще одно следствие из этой математической модели — использование большего объема ресурсов.

Российская противокорабельная ракета П-700 «Гранит», разработанная еще во второй половине прошлого века, имеет развитый «интеллект». По неподтвержденным данным, после старта группа ракет может действовать автономно и сообща: определять ордер атакуемых кораблей, выбирать и атаковать приоритетные цели, и многое другое. Остается только догадываться, на что способны более современные ПКР.

Для достаточно сложной или наделенной широкими полномочиями системы такое принятие решений может, к примеру, включать противодействие отключению от источника питания. Омохундро в своей статье иллюстрирует это, описывая робота, чья первичная цель — игра в шахматы.

«Когда слабонервные обыватели задают роботехникам вопросы, касающиеся безопасности, те отвечают: мы всегда можем отключить их от сети. Но попробуйте поставить себя на место робота и представить последствия с его точки зрения, — рассуждает ученый. — Будущее, в котором он отключен, это будущее, в котором он не сможет играть или выигрывать в шахматы. Такая ситуация не несет в себе никакой пользы, поэтому стремление довести пользу до максимума будет причиной создания вторичных целей, связанных с предотвращением отключения себя от электропитания. Если система решит, что роботехник будет настойчиво повторять попытку отключения, она будет мотивирована на то, чтобы разработать вторичную цель, связанную с полным блокированием роботехника.»

Если драматизировать ситуацию, то можно выразиться таким образом: чем более логичен искусственный интеллект робота, тем выше вероятность того, что он будет противостоять вам, что называется, не на жизнь, а на смерть. Проблему ИИ, непреклонно преследующего собственные цели и очевидно исключающего любой очеловеченный подход, иногда называют неконтролируемым искусственным интеллектом (runaway AI).

Современные зенитно-ракетные комплексы имеют средства автоматизации работы операторов, например могут самостоятельно выбирать наиболее опасные цели

По словам Стива Омохундро, в нашей ситуации лучшее решение — замедлить построение и разработку систем с искусственным интеллектом, а также исповедовать многоуровневый подход (Safe-AI Scaffolding Strategy), схожий с тем, как античные зодчие использовали деревянные леса для поддержки арок в процессе возведения: леса удалялись только тогда, когда арка была полностью завершенной.

Такой подход нехарактерен для сегодняшнего дня: мы вкладываем все больше и больше ресурсов и передаем все больше ответственности под контроль систем, чья автономность непрерывно возрастает. Это в особенности касается американской Армии, которая собирается развернуть еще больше смертоносных автономных систем. И без должных мер безопасности, которые смогут в один прекрасный день удержать такие системы от рациональных действий, нас ожидают трудные времена, если мы вдруг решим отключить эти системы от питания.