• Ограниченная рациональность. Герберт Саймон отверг идею идеальной (или даже приближенно идеальной) рациональности и предложил использовать понятие ограниченной рациональности - описательную теорию принятия решений реальными агентами. Ниже приведена цитата из его работы.
Способность человеческого разума формулировать и решать сложные задачи слишком мала по сравнению с масштабами задач, для которых требуется искать решение, чтобы осуществлять объективно рациональное поведение в реальном мире, или хотя бы добиваться приемлемого приближения к такой объективной рациональности.
Саймон выдвинул предложение, что принцип ограниченной рациональности главным образом основан на принципе непритязательности (satisficing), т.е. на том, что проведение рассуждений следует осуществлять достаточно долго лишь для того, чтобы предложить "вполне приемлемый" ответ. За указанную выше работу Саймон получил Нобелевскую премию по экономике, а позднее выпустил книгу, в которой подробно осветил все свои идеи. По-видимому, понятие непритязательности может служить полезной моделью человеческого поведения во многих случаях. Но оно не является формальной спецификацией для интеллектуальных агентов, поскольку в теории Саймона не дано определение"вполне приемлемого" ответа. Кроме того, принцип непритязательности, по-видимому, является лишь одним из широкого спектра методов, используемых для осуществления действий в условиях ограниченных ресурсов.
По-видимому, наилучшие перспективы создания мощного теоретического фундамента для искусственного интеллекта открывает только одна из этих четырех возможностей - ограниченная оптимальность. Преимущество связанного с ней подхода состоит в том, что он является осуществимым, - всегда можно найти по меньшей мере одну наилучшую программу, а таким свойством не обладает подход с идеальной рациональностью. Ограниченно оптимальные агенты действительно применимы в реальном мире, тогда как вычислительно рациональные агенты обычно неприменимы, а агенты, действующие по принципу непритязательности, могут оказаться применимыми или нет, в зависимости от их собственных конструктивных особенностей.
Традиционным подходом в искусственном интеллекте было то, что нужно начинать с вычислительной рациональности, а затем вырабатывать компромиссы с учетом ресурсных ограничений. Если проблемы, связанные с применением ограничений, не столь существенны, то можно надеяться на создание окончательного проекта, аналогичного проекту ограниченно оптимального агента. Но, по мере того как ресурсные ограничения становятся все более важными (например, по мере усложнения среды), может оказаться так, что два проекта станут весьма несхожими. А в теории ограниченной оптимальности эти ограничения могут учитываться в рамках целостного подхода.
До сих пор объем знаний в области ограниченной оптимальности остается не таким уж значительным. Известно, что могут быть созданы ограниченно оптимальные программы для очень простых машин и для довольно лимитированных вариантов среды, но еще нет полного представления о том, какими должны быть программы ВО для больших компьютеров общего назначения, применяемых в сложных вариантах среды. Если теория ограниченной оптимальности будет носить конструктивный характер, то можно рассчитывать на получение проектов ограниченно оптимальных программ, которые не слишком сильно зависят от устройства используемого компьютера. Научные исследования стали бы весьма затруднительными, если бы увеличение объема памяти гигабайтового компьютера на несколько килобайтов привело к существенному изменению программы ВО. Одним из способов обеспечения того, чтобы это не могло случиться, может служить небольшое ослабление критериев ограниченной оптимальности. По аналогии с понятием асимптотической сложности (приложение А) можно определить понятие асимптотической ограниченной оптимальности (Asymptotic Bounded Optimality- ABO), как описано ниже. Предположим, что программа Р является ограниченно оптимальной для компьютера М в классе вариантов среды Е, тогда как сложность вариантов среды в Е не ограничена. В таком случае программа Р' обладает свойством АВО для мв Е, если она может превзойти по производительности программу Р, работая на компьютере км, который в к раз быстрее (или крупнее) по сравнению с М.За исключением предельных значений к было бы достаточно иметь программу, обладающую свойством АВО, для нетривиальной среды в нетривиальной архитектуре. Было бы мало смысла затрачивать невероятные усилия на поиск программ ВО, а не АВО, поскольку все равно размеры и скорость доступных компьютеров увеличиваются на постоянный коэффициент через фиксированные промежутки времени, в связи с появлением каждого нового поколения этих устройств.
Можно рискнуть предположить, что программы ВО или АВО для мощных компьютеров, действующих в сложных вариантах среды, не обязательно должны иметь простую, изящную структуру. Выше уже было показано, что для искусственного интеллекта общего назначения требуются некоторые рефлексивные способности и некоторые способности к формированию рассуждений, целый ряд форм представления знаний и принятия решений, механизмы обучения и компиляции для всех этих форм, методы управления процессом формирования рассуждений и большой запас знаний в данной конкретной области. Ограниченно оптимальный агент должен адаптироваться к той среде, в которой он находится сам, с тем чтобы в конечном итоге его внутренняя организация соответствовала возможностям оптимизации, характерным для данной конкретной среды. Можно рассчитывать лишь на указанную возможность, а такой ход развития аналогичен пути, по которому развивались гоночные автомобили с ограничениями на мощность, пока наконец не были созданы чрезвычайно сложные, но весьма эффективные проекты. По мнению авторов, наука искусственного интеллекта, основанная на понятии ограниченной оптимальности, будет способствовать интенсивному исследованию процессов, позволяющих путем последовательных итераций создавать агентские программы с ограниченной оптимальностью и, возможно, меньше сосредоточиваться на анализе того, как именно устроены создаваемые при этом программы, пусть даже не такие изящные.
Подводя итог, можно отметить, что проведение
разработки понятия ограниченной оптимальности было предложено в качестве
формальной задачи для исследований по искусственному интеллекту, которая не
только хорошо определена, но и осуществима. Ограниченная оптимальность
определяет оптимальные программы, но не оптимальные действия. А действия в
конечном итоге вырабатываются программами и с помощью программ, которые
полностью зависят от замысла проектировщика.
.4 Перспективы развития искусственного интеллекта
архитектура агент искусственный интеллект
Дэвид Лодж в своем романе Small World об академическом мире литературной критики описал сцену, в которой главный герой вызывает замешательство среди группы выдающихся, но несогласных друг с другом теоретиков литературы, задав им следующий вопрос: "Что было бы, если бы вы оказались правы?" Ни один из теоретиков, по-видимому, еще не задумывался над этим вопросом раньше, поскольку ведение споров по поводу неопровержимых теорий - бессмысленное занятие. Аналогичное замешательство можно вызвать, задав исследователям в области искусственного интеллекта вопрос: "Что было бы, если бы вам удалось достичь своей цели?" Ведь искусственный интеллект демонстрирует замечательные достижения, а интеллектуальные компьютеры, безусловно, более полезны, чем неинтеллектуальные компьютеры, так о чем же беспокоиться?
Необходимо рассмотреть некоторые этические проблемы. Интеллектуальные компьютеры являются более мощными, но будет ли эта мощь использоваться во благо или во зло? Те, кто посвящают свою жизнь разработкам в области искусственного интеллекта, ответственны за то, чтобы влияние их работы было положительным. Широта этого влияния зависит от степени успеха искусственного интеллекта. Даже первые скромные успехи в области искусственного интеллекта повлияли на то, как осуществляются преподавание компьютерных науки разработка программного обеспечения. Благодаря искусственному интеллекту удалось создать принципиально новые приложения, такие как системы распознавания речи, системы управления запасами, интеллектуальные системы наружного наблюдения, роботы и машины поиска.
Авторы считают, что достижение в искусственном интеллекте успехов среднего уровня окажет влияние на повседневную жизнь всех слоев населения во всем мире. До сих пор такого рода всепроникающее воздействие на общество смогли оказать лишь компьютеризированные сети связи, такие как сеть сотовой телефонной связи и Internet, а искусственный интеллект оставался в стороне. Вполне можно представить себе, что действительно полезные персональные ассистенты для офиса или дома окажут большое положительное воздействие на повышение качества повседневной жизни, хотя они в краткосрочной перспективе и могут вызвать некоторые экономические неурядицы. Кроме того, технологические возможности, открывающиеся на этом уровне, могут быть также применены для создания автономного оружия, появление которого многие считают нежелательным.
Наконец, кажется вполне вероятным, что крупномасштабный успех в создании искусственного интеллекта (появление интеллекта на уровне человека и превосходящего его) повлияет на существование большинства представителей рода человеческого. Изменится сам характер нашей работы и развлечений, так же как и наши представления об интеллекте, сознании и будущей судьбе человечества. На этом уровне системы искусственного интеллекта могут создать более непосредственную угрозу самоопределению, свободе и даже выживанию людей. По этим причинам нельзя рассматривать исследования в области искусственного интеллекта в отрыве от их этических последствий.
2. Этические и моральные последствия
разработки ИИ
До сих пор в этой главе в основном рассматривался вопрос о том, может ли быть разработан искусственный интеллект, но необходимо также посвятить время анализу вопроса, должен ли он все же быть разработан. Если последствия создания технологии искусственного интеллекта с большей вероятностью будут отрицательными, чем положительными, то люди, работающие в этой области, несут моральную ответственность, обязывающую их направить свои поиски в другие области. Непредвиденные отрицательные побочные эффекты стали следствием внедрения многих новых технологий: двигатели внутреннего сгорания послужили причиной загрязнения воздуха и повсеместного строительства дорог, даже в самых райских уголках; ядерные технологии стали причиной взрывов в Чернобыле и на острове Тримайл Айленди создали угрозу глобального разрушения. Все ученые и инженеры сталкиваются с этическими соображениями, которые они должны учитывать, выполняя свою работу, выбирая проекты, которые должны или не должны быть реализованы, а также способы осуществления этих проектов. На эту тему была даже написана книга Ethics of Computing. Но искусственный интеллект, по-видимому, становится источником некоторых невиданных ранее проблем, в том числе перечисленных ниже, кроме, скажем, строительства мостов, которые падают под собственным весом.
. В результате автоматизации может увеличиться количество безработных.
. Может уменьшиться (или увеличиться) количество свободного времени, имеющегося в распоряжении людей.
. Люди могут потерять чувство собственной уникальности.
. Люди могут потерять некоторые из своих прав на личную жизнь.
. Использование систем искусственного интеллекта может привести к тому, что люди станут более безответственными.
. Успех искусственного интеллекта может стать началом конца человеческой расы.
Рассмотрим каждую из этих проблем по очереди.
Современная индустриальная экономика стала полностью зависимой от применения компьютеров в целом и отдельных программ искусственного интеллекта в частности. Например, значительная часть экономики зависит от доступности потребительского кредита. Проверка заявок на выпуск кредитных карт, выдача разрешений на осуществление платежей и раскрытие мошеннических сделок, а также другие операции теперь выполняются программами искусственного интеллекта. Напрашивается вывод, будто из-за появления этих программ свои места потеряли тысячи служащих, но в действительности этих рабочих мест без применения программ искусственного интеллекта просто не было бы, поскольку в случае применения ручного труда стоимость этих операций была бы неприемлемой. До сих пор автоматизация с помощью технологии искусственного интеллекта неизменно создавала больше рабочих мест, чем устраняла, к тому же приводила к появлению более интересных и высокооплачиваемых специальностей. Теперь, после того как канонической программой искусственного интеллекта стал «интеллектуальный агент 1», предназначенный для помощи человеку, потеря работы становится еще менее вероятным последствием внедрения искусственного интеллекта по сравнению с той эпохой, когда все усилия специалистов по искусственному интеллекту сосредоточивались на создании «экспертных систем» предназначенных для замены людей.
) Может уменьшиться (или увеличиться) количество свободного времени, имеющегося в распоряжении людей.
Алвин Тоффлер в своей книге Future Shock указал: "Рабочая неделя с начала столетия сократилась на 50%.И никого не удивляет прогноз, что к 2000 году она будет сокращена еще наполовину". Артур К. Кларк писал, что "люди в 2001 году могут столкнуться с будущим, заполненным необычайной скукой, когда главной проблемой в жизни станет принятие решения о том, какой из нескольких сотен телевизионных каналов выбрать для просмотра. Единственным из этих прогнозов, который сбылся хоть в какой-то степени, стало количество телевизионных каналов. А вместо сокращения рабочего дня люди, занятые в отраслях промышленности, характеризующихся интенсивным использованием знаний, стали чувствовать себя частью интегрированной компьютеризированной системы, которая работает 24 часа в сутки; чтобы успешно справляться со своими обязанностями, они вынуждены работать все больше и больше. В индустриальной экономике вознаграждения приблизительно пропорциональны затратами времени; увеличение продолжительности работы на 10% обычно приводит в среднем к увеличению доходов на 10%. А в информационной экономике, характеризующейся наличием широкополосной связи и упрощением тиражирования интеллектуальной собственности (которую Фрэнк и Кук назвали "обществом, в котором победитель получает все"), самое большое вознаграждение приносит способность оказаться немного более успешным, чем конкурент; увеличение продолжительности работы на 10% может означать увеличение дохода на 100%. Поэтому каждый испытывает все возрастающий прессинг, который заставляет его работать все интенсивнее. Искусственный интеллект способствует увеличению темпов внедрения технологических инноваций и поэтому вносит свой вклад в эту общую тенденцию, но искусственный интеллект обещает также предоставить нам возможность снять с себя часть нагрузки и позволить нашим автоматизированным агентам хоть какое-то время выполнять работу за нас.
) Люди могут потерять чувство собственной уникальности.
В своей книге Computer Power and Human Reason Вейценбаум, автор программы Eliza, указал на некоторые потенциальные угрозы, с которыми сталкивается общество в связи с развитием искусственного интеллекта. Одним из самых важных доводов Вейценбаума является то, что в результате исследований в области искусственного интеллекта кажется уже не такой невероятной идея о том, что люди представляют собой автоматы, а эта идея приводит к потере самостоятельности или даже человечности. Но авторы настоящей книги хотят отметить, что эта идея существовала задолго до появления искусственного интеллекта и восходит по меньшей мере к тем временам, когда вышла книга L'Homme Machine. Авторы также отмечают, что люди пережили и другие покушения на чувство их уникальности: Коперник, автор книги De Revolutionibus Orbium Coelestium, убрал Землю из центра солнечной системы, а Дарвин, автор книги Descent of Man, поместил вид Homo sapiens на тот же уровень, где находятся все другие виды живых существ. Поэтому даже в случае его широкого и успешного наступления искусственный интеллект станет не большей угрозой для моральных устоев общества XXI века, чем была дарвиновская теория эволюции для XIX века.
) Люди могут потерять некоторые из своих прав на личную жизнь.
Вейценбаум также указал, что развитие технологии распознавания речи может привести к широкому распространению средств прослушивания телефонных разговоров и поэтому к потере гражданских свобод. Он не предвидел, что когда-то в мире террористические угрозы станут настолько реальными, что изменят отношение людей к тому, с каким уровнем надзора они будут готовы согласиться, однако правильно понял, что искусственный интеллект обладает потенциалом к созданию средств надзора массового применения. Предсказание Вейценбаума вскоре может осуществиться: правительство США рассматривает вопрос о внедрении системы Echelon, которая "состоит из сети пунктов прослушивания, антенных полей и радарных станций; система опирается на поддержку компьютеров, в которых используется языковой перевод, распознавание речи и поиск по ключевым словам для автоматического просеивания трафика, идущего по телефону, электронной почте, факсу и телексу". Многие согласны с тем, что компьютеризация приводит к ущемлению прав на личную жизнь, - один из старших руководителей компании Sun Microsystems Скотт Макнили даже заявил: "У вас все равно нет никакой личной жизни. Забудьте о ней". Другие с этим не согласны; например, судья Луис Брандейс писал еще в 1890 году: "Право наличную жизнь является самым всеобъемлющим из всех прав... ведь это - право оставаться самим собой".
) Использование систем искусственного интеллекта может привести к тому, что люди станут более безответственными.
В той атмосфере постоянной готовности к судебным разбирательствам, которая доминирует в Соединенных Штатах, большую важность приобретают вопросы правовой ответственности. Если терапевт принял на веру суждение медицинской экспертной системы в отношении диагноза, то кто будет нести ответственность, если диагноз окажется неправильным? К счастью, теперь общепризнано, что нельзя рассматривать как пренебрежение служебными обязанностями выполнение терапевтом медицинских процедур, которые имеют высокую ожидаемую полезность, даже если фактические результаты оказались катастрофическими для пациента (отчасти такая смена взглядов обусловлена ростом влияния методов теории решений в медицине). Поэтому приведенный выше вопрос должен рассматриваться в такой формулировке: "Кто должен нести ответственность, если диагноз оказался неоправданным?" До сих пор суды исходили из того, что медицинские экспертные системы играют такую же роль, как медицинские учебники и справочники; терапевты обязаны понять ход рассуждений, лежащий в основе любого решения системы, и использовать свое собственное суждение для принятия решения о том, нужно ли следовать рекомендациям системы. Поэтому при проектировании медицинских экспертных систем в виде интеллектуальных агентов действия этих систем следует рассматривать не как непосредственно воздействующие на пациента, а как влияющие на поведение терапевта. А если экспертные системы когда-то будут надежно вырабатывать более точные диагнозы по сравнению с людьми, врачи могут стать юридически ответственными, если они не используют рекомендации экспертной системы. Такая предпосылка рассматривается в.Приобретают также важное значение аналогичные вопросы, касающиеся использования интеллектуальных агентов в Internet. Например, достигнут определенный прогресс в части внедрения ограничений в интеллектуальные агенты, чтобы они не могли, допустим, повредить файлы других пользователей. Проблемы становятся еще более важными, когда речь идет о денежных сделках. Если финансовые операции выполняются интеллектуальным агентом "от чьего-то имени", то кто будет отвечать за причиненные убытки? Будет ли существовать такая возможность, чтобы интеллектуальный агент сам имел активы и участвовал в электронных торгах от своего имени? Создается впечатление, что такие вопросы до сих пор еще полностью не изучены. Насколько известно авторам данной книги, еще ни одной программе не был придан правовой статус как индивидуума, способного участвовать в финансовых операциях; в настоящее время такое решение, по-видимому, было бы неблагоразумным. Кроме того, программы еще не рассматриваются как "водители",когда речь идет о контроле за выполнением правил дорожного движения на реальных автомагистралях. По крайней мере, в Калифорнии не предусмотрено никаких юридических санкций, которые исключали бы возможность превышения автоматизированным транспортным средством скоростных пределов, хотя в случае аварии должен нести ответственность проектировщик механизма управления транспортным средством. Как и в случае технологии клонирования людей, законодателям еще предстоит включить новые разработки в правовое поле.