Что знают роботы об этике, а информационные системы – о морали?
Филипп Генс, президент группы компаний «Ланит».
На часах половина девятого. Сегодня вы едете в офис к совещанию и в дороге привычно просматриваете интерактивные отчеты, где вся актуальная информация о бизнес-показателях как на ладони. Дополнительное время, которое вы потратите на бизнес, – вот завоевание технического прогресса. А ведь когда-то, когда приходилось проводить время за рулем, максимум, что можно было себе позволить в дороге, – ответить по громкой связи на пару вызовов, чтобы решить срочные вопросы. Впрочем, далеко не все в пути выбирают работу – с тех пор как горожане пересели на робомобили, большинство в дороге смотрит фильмы или листает френдленту в соцсетях, а кто-то рад просто вздремнуть. Объехав соседний квартал, где сейчас ремонтируют дорогу, вы свернули в сквер… Было бы здорово проскочить этот отрезок побыстрее – вы немного припозднились, а дорога здесь свободная, но машина сама выбирает оптимальный скоростной режим, и с этим ничего не поделаешь. Вдруг сильный толчок – и дальше как в замедленной съемке. Планшет с колен срывается вперед и бьет переднюю панель. Вы успеваете заметить только двух пешеходов, которые не пойми откуда взялись на проезжей части. Столкновение неотвратимо…
Что было бы, окажись вы в этот момент за рулем? Успели бы среагировать? Вся надежда была бы на рефлексы и на счастливый случай. При малейшей возможности изменить траекторию вы бы наверняка вывернули в столб, лишь бы спасти пешеходов, а по какому алгоритму будет действовать робомобиль? Если жертвы неизбежны, кого спасет машина – ребенка или старика, мужчину или женщину? Если вы считаете, что автомобиль должен действовать, как человек, согласитесь ли вы сесть в машину, которая в критической ситуации будет сворачивать в столб? Конечно, эта ситуация гипотетическая, но она очень близка к тому, чтобы стать реальной. Автопилотируемые автомобили в тестовом режиме уже ездят по российским дорогам.
Рассуждая о будущем, которое уже почти наступило, мировое сообщество обычно сконцентрировано на технических аспектах и на проблемах физической и информационной безопасности. Однако технологические изменения неотвратимы, и мы едва ли можем на них повлиять – развитие науки и технологий идет своим чередом. А нам надо сосредоточиться на этических вопросах и задуматься о морали и новых принципах, которые будут определять наше поведение через 10–20 лет.
Исследователи из Гарвардского университета и Массачусетского технологического института создали онлайн-симулятор ситуаций, в которых были неизбежны аварии с жертвами. Ученые привлекли к своему эксперименту порядка 3 млн человек из 200 стран мира, чтобы выяснить, как, по их мнению, должны закончиться такие инциденты. В результате были определены регионы с предпочтительными сценариями. Так, в странах Латинской Америки большинство щадило женщин в ущерб мужчинам. Жители Китая, Японии, Кореи и многих исламских стран «спасали» стариков, позволяя погибнуть молодым. Это исследование отчетливо показало, что моральные предпочтения людей разнятся в зависимости от региона и формализовать этику не так-то просто, если вообще возможно. Технологии приблизились к финальной стадии разработки, и специалистам, которые занимаются IТ, самое время всерьез задуматься над основополагающими морально-нравственными аспектами.
Если вы считаете, что в нашем новом, цифровом мире можно столкнуться с нарушением этических норм только в критические моменты, вы заблуждаетесь. В совершенно рядовых ситуациях, например, при выдаче кредита или при приеме на работу, можно ощутить себя бесправным из-за решения, принятого не человеком, а аналитической системой. Так, Amazon использовал систему автоматизированного просмотра резюме соискателей, которая выставляла кандидатам от одной до пяти звезд и таким образом отбирала лучших. Однако выяснилось, что алгоритм оценивает кандидатов в разработчики программного обеспечения и на другие технические должности с учетом гендерных факторов: искусственный интеллект был предвзят по отношению к женщинам. Чем больше компаний использует искусственный интеллект для автоматизации внутренних процессов, тем чаще подобные истории становятся публичными. А что же делать людям, которые становятся жертвами дискриминации? Кто виноват в этой ошибке? Разработчики утверждают, что используют правильные алгоритмы, сотрудники кивают в сторону внутренних инструкций о приеме решений на основе машинного анализа данных. А дискриминация в принципе стала возможной, поскольку разработчики думали об узких технических задачах и проигнорировали вопросы этики.
Сама по себе технология абсолютно нейтральна. Она основана на нейронных сетях, названных так по аналогии с человеческим мозгом. В процессе обучения поведение нейронов и связи между ними адаптируются так, чтобы выдавать правильное решение в ответ на определенные входящие данные. Обучаясь на конкретных массивах данных, сети перенимают все установки своих создателей, а люди по своей природе не могут быть объективны. Этические и культурные предубеждения, перенесенные в алгоритмы, становятся гипертрофированными. При этом понять, почему обученная система принимает те или иные решения, практически невозможно. В этом смысле работа искусственного интеллекта напоминает черный ящик, который временами может выдавать решения, абсолютно некорректные с точки зрения человеческой этики.
К сожалению, дисбаланс в работе нейронных сетей не всегда можно исправить, поскольку во многих случаях массив данных, на которых происходит обучение систем, формировался исторически. Это общая проблема для нейронных сетей, и ее отлично иллюстрирует следующий факт: 45% наиболее используемой базы данных изображений в компьютерном зрении сгенерировано в Соединенных Штатах, а Китай и Индия, на которые приходится 36% населения мира, представляют всего 3% в наборе данных. Этот дисбаланс предопределяет предвзятость компьютерных систем и проблемы распознавания лиц у граждан развивающихся стран.
Этические коллизии появляются и с развитием других технологий, например геолокации и видеонаблюдения. Стоит ли ограничивать доступ различных приложений к информации о своих передвижениях и лишать себя удобства использования различных сервисов? Или конфиденциальность личных сведений все же в приоритете? Любопытно, что единогласия нет и среди людей, которые великолепно разбираются в технологиях. Одни заклеивают на ноутбуке микрофон и камеру, а другие активно пользуются практически всеми современными технологическими сервисами. Связь через все возможные каналы коммуникации, включенная геолокация и режим полета только во время важнейших, стратегических совещаний – это принципиальная позиция человека, желающего получить максимум удобства от технологий, которые в общем-то для этого и были созданы.
Какие же удобства дает геолокация? Вы можете установить себе напоминание с привязкой к конкретному месту, чтобы, к примеру, не забыть забрать вещи из химчистки и зайти в магазин. А умная система, анализирующая статистику ваших покупок, сама напомнит о хлебе, поскольку поймет, что вы давно его не покупали.
Благодаря геолокации, вы можете сообщить родным и друзьям, где находитесь, отправив им свою текущую геопозиции и не тратя время на объяснения. Вы легко найдете на карте аптеки, банки, рестораны в ближайшем радиусе. Список возможностей можно продолжать.
Правда, данные о ваших передвижениях становятся доступны широкому кругу компаний. Большинство мобильных приложений пересылают Google, Apple и третьим лицам такие данные, как e-mail, имена и координаты своих пользователей, и отключить или заблокировать пересылку в принципе невозможно. Сохранить конфиденциальность не получится и потому, что все мы пользуемся различными цифровыми сервисами (а значит, информация о нас есть во многих информационных системах) и ходим по улицам города, где размещены камеры видеонаблюдения. Кстати, московские власти планируют до конца года установить порядка 7000 камер, и тогда их число увеличится до 174 000. В Великобритании, для сравнения, еще в 2006 г. на каждые 14 граждан приходилось по уличной видеокамере и в объектив можно было попасть до 300 раз только во время одной прогулки. Современные системы видеонаблюдения не только фиксируют правонарушения, но и интегрированы с системами распознавания лиц. Таким образом, можно отследить передвижения и местонахождение человека, а обогатив эти сведения данными из других систем, можно собрать о нем максимально полные сведения.
В начале 2000-х сотрудники министерства внутренних дел США использовали в своей работе тепловизоры, следя за домом подозреваемого в выращивании марихуаны: устройства показали, что крыша и стены гаража излучают гораздо больше тепла по сравнению с остальной частью дома (фотосинтез требует много света и тепла). Эту информацию полицейские использовали в дальнейшем, чтобы получить ордер на обыск, и действительно обнаружили в гараже запрещенные растения.
С формальной точки зрения полиция соблюдала закон, гарантирующий неприкосновенность жилища. Но по сути это, конечно, был обыск, хотя и с использованием технологии, которая не проникает в дом. Результатом долгих судебных разбирательств о правомерности действий полицейских стал вердикт Верховного суда США: суд признал, что в подобных случаях нужен ордер. Правда, человека, за которым ведется слежка, этот факт вряд ли успокоит, ведь суд не обязал правоохранительные органы уведомлять подозреваемого о своих действиях и они продолжат следить, только будут делать это с ордером на руках.
Мир изменился и никогда уже не будет прежним. Новые реалии, несомненно, должны быть законодательно отрегулированы. Но пока законотворчество отстает от темпов развития технологий. Закон о персональных данных защищает использование личной информации без согласия владельца настолько, насколько это возможно. Так, стоит теперь только пригрозить жалобой в ФАС многочисленным страховым агентам и исследовательским компаниям, обрывающим телефон, – и звонки сразу прекратятся. Различные организации не могут собирать данные о нас без нашего ведома, а сайты – использовать файлы cookie, содержащие личную информацию.
Правда, при этом, как мы видим, аналитики данных могут собрать полное досье о человеке на основании его цифрового следа – оно окажется гораздо более подробным, чем те сведения, которые мы обычно оставляем в различных учреждениях.
Учет в современных технологиях тонких этических моментов и морально-нравственных аспектов значительно удорожает производство и процессы внедрения систем, поэтому мне очевидны сложности работы в этом направлении, но сдвиги уже есть.
Возвращаясь к теме робомобилей, которую я затронул в самом начале: Германия уже приняла свод основных принципов, касающихся беспилотного транспорта. Среди прочего в нем говорится о наивысшем приоритете безопасности человека перед уроном животным или собственности и еще о том, что в случае неизбежной аварии никакой дискриминации быть не должно.
Поскольку этика искусственного интеллекта – основополагающий момент, который способен определить наше общее будущее, о вопросах регулирования отрасли должны позаботиться IТ-корпорации, отраслевые сообщества и, конечно, государство. Активную позицию стоит проявить и потребителям, которые своими покупками могут «проголосовать» за ответственные компании, придерживающиеся этических принципов. Мы не можем и не должны тормозить развитие технологий, они упрощают множество рутинных процессов, оставляя время для творчества, общения, заботы о близких и решения глобальных мировых задач. При этом важно задуматься об инструментах для создания машин и информационных систем, соблюдающих основополагающие этические принципы.