Весь мир подключен к развитию ИИ, и высокие темпы обеспечивает открытость моделей. Но как сохранить баланс между технологической независимостью и мировой открытостью? Что такое доверенный искусственный интеллект, как с помощью регуляторики обеспечить нашу безопасность, не тормозя развитие ИИ? И как понимать сильный и слабый ИИ по Иммануилу Канту? Об этом мы беседуем с директором Института системного программирования им. В.П. Иванникова РАН академиком Арутюном Ишхановичем Аветисяном.
Аветисян Арутюн Ишханович — математик, специалист в области системного программирования, доктор физико-математических наук, академик РАН, директор Института системного программирования им. В.П. Иванникова РАН. Под руководством и при непосредственном участии ученого были получены фундаментальные, не имеющие аналогов в России результаты в области безопасности программного обеспечения. Заведует кафедрами системного программирования факультета вычислительной математики и кибернетики МГУ им. М.В. Ломоносова, факультета управления и прикладной математики МФТИ и факультета компьютерных наук НИУ ВШЭ. Автор более сотни научных работ. Главный редактор журнала «Программирование». Награжден Медалью ордена «За заслуги перед Отечеством II степени
— Каким был искусственный интеллект на раннем этапе своего развития и какой он сейчас?
— Теоретические основы искусственного интеллекта заложило большое количество людей, среди них Курт Гедель, Алонзо Черч, Алан Тьюринг. Это преподается в любом университете, где есть вычислительная математика. Но когда появились реальные компьютерные ресурсы, придумали перцептрон, люди начали моделировать устройство мозга человека. Создали первые нейросети. Молодые люди думают, что нейросеть — изобретение XXI в. На самом деле уже в начале 1960-х гг. появилась четырехслойная нейросеть.
Потом наступила «зима» искусственного интеллекта, потому что ожидания в области практического применения не подтвердились. А ожидания были серьезные. Например, Марвин Минский и его ученики предполагали, что через пять-десять лет, максимум 20, практически все рутинные работы заменит компьютер. Этого не произошло.
Но не так давно, в 2011–2012 гг., произошел «взрыв», когда более 10 млн изображений выложили в открытый доступ. И на их основе были обучены более серьезные модели, которые решали задачи распознавания образа. Они могли, например, отличить кошку от собаки с такой точностью, которая ранее была недостижима.
Оказалось, что, если есть много данных и суперкомпьютерные мощности, то далеко не самыми продвинутыми математическими методами можно достичь очень серьезных результатов. И сейчас мы живем в мире генеративного искусственного интеллекта, так называемых больших языковых моделей, больших фундаментальных моделей. И, конечно, в этом смысле многое изменилось. Но все, что мы имеем, так или иначе связано с машинным обучением и нейросетями.
Академик А.И. Аветисян в стенах Института системного программирования им. В.П. Иванникова РАН Фото: Ольга Мерзлякова / «Научная Россия»
— Вы сказали, что ожидания каждые пять-десять лет были очень высокими. С чем связаны эти пробелы в развитии технологии?
— Не хватало компьютерных мощностей и нужного объема данных. Цифровизация только начиналась, она была отраслевой, а исследования в области искусственного интеллекта — лабораторными. Хорошо финансировалось Управление перспективных исследовательских проектов Министерства обороны США (DARPA), у японского правительства была большая программа, уже в 1960–1970-е гг. они пытались сделать гуманоида. Но тоже не хватало ресурсной базы. Потом выяснилось, что успех — это данные плюс суперкомпьютерные мощности, чего тогда не было.
Теперь все население получило своеобразную обратную связь от ИИ, все могут взаимодействовать с ним. И обывателям кажется, что ИИ появился резко и развивается быстро. Это действительно быстро. Но информационные технологии всегда развивались быстро.
С другой стороны, можно ставить вопрос: почему темпы развития не падают? Как мне кажется, это связано с тем, что было принято принципиальное решение делать ставку на проекты с открытым кодом. К тому же суперкомпьютерные решения перестали быть специализированными. Например, машина БЭСМ-6 делалась, в первую очередь, для военно-промышленного комплекса.
Современные суперкомпьютеры построены на стандартной, типовой аппаратуре. Это то, что на рынке может купить любой человек. Материнские платы, сетевое оборудование InfiniBand, процессоры Intel или AMD. Если говорить об искусственном интеллекте, то NVIDIA. И вы можете купить все это, если у вас достаточно денег, и собрать суперкомпьютер, что было невозможно раньше. Компоненты открытого кода плюс доступность железа — это и есть массовое внедрение. И, наконец, заказчиками технологий стали мы с вами, социум.
Теперь отрасли экономики берут программные решения из одного «общего котла» и внедряют у себя, превращают в конкретные технологии. И все это окаймляется идеями коллаборативной экономики. А в коллаборативной экономике продуктивность труда человека и ученого растет не в два раза, а на несколько порядков.
Самая большая площадка для совместной разработки проектов с открытым исходным кодом — GitHub — еще семь лет назад насчитывала 5 млн человек, сейчас — более 100 млн. И все они параллельно создают новые технологии и знания. Из этого мы должны научиться создавать продукты и быть технологически независимым.
На примере Linux: в нашей стране 40 операционных систем, несколько очень хороших продуктов, которые используются в промышленности. Но какой объем кода туда вкладывает все наше сообщество? Буквально доли процента. То есть три порядка производительности труда. Вложив доли процента, мы имеем продукт стопроцентный, настоящий. Не хуже, чем у любой другой страны.
Конкурировать, делая систему закрытой, невозможно, потому что вы не сможете собрать нужное количество знаний и кадров в одном месте.
И когда появились закрытые модели OpenAI, ChatGPT, многие говорили, что эта система ломается, теперь будут закрытые решения. Но мое мнение оставалось прежним: появятся открытые модели, они будут конкурентоспособны, и остальные будут вынуждены в перспективе либо открывать свои модели, либо открытые модели догонят закрытые и станут лучше. Например, уже появились зрелые открытые модели Mistral AI, LlaMA и др.
Директор Института системного программирования им. В.П. Иванникова РАН академик А.И. Аветисян в интервью порталу «Научная Россия» Фото: Ольга Мерзлякова / «Научная Россия»
— Как соотносятся слова «технологическая независимость» и «открытость»? Они никак друг другу не противоречат? Нет какой-то конкуренции между странами?
— Отдельно никакой стране мира, не только нам, но и Соединенным Штатам, не удастся развивать широкий ряд конкурентоспособных технологий. Но означает ли это, что надо с головой окунуться в чужие проекты и пытаться как-то двигаться с ними в одном фарватере? Конечно нет, речь не об этом. Нужно, понимая эту энергетику, создавать в открытом режиме свои репозитории, которые не отрываются от мирового сообщества, а просто более надежные, безопасные, где есть гарантия, что доступ к ним не ограничат.
Для этого нужно развивать свой инструментарий. Синхронизация с мировым сообществом — серьезная история. Нужны и финансовые ресурсы, и организационное понимание вопроса. Вы должны нивелировать риски, работать с ними, максимизировать прибыль и обеспечить приток знаний в страну. А через проекты с открытым кодом они будут притекать очень быстро.
У нас есть такой опыт в разных областях, например в математическом моделировании, — мы принесли в Россию открытую платформу для численного моделирования OpenFOAM, и буквально за короткое время огромное количество людей начали пользоваться этим инструментарием, создавать на его основе новые решения и применять их при расчетах. Это способствует и обучению, и образованию. Более того, в открытом режиме легче привлекать специалистов из других стран.
Например, в рамках Исследовательского центра доверенного искусственного интеллекта мы нашли десятки уязвимостей в PyTorch и TensorFlow и объявили об этом международному сообществу. Разработчики это признали, и теперь можно зайти на их сайт и увидеть, что такая-то ошибка найдена инструментом Svace, такая-то — инструментом Crusher, которые разработаны в Институте системного программирования. И это, мне кажется, правильное движение, которое мы должны показать всему миру. У нас нет идеи закрыться. Мы должны равноправно жить в открытом мире. И мы сильны.
— Что такое доверенный искусственный интеллект?
— С моей точки зрения, слово «доверенность» легитимно тогда, когда есть документ, где прописаны механизмы. Мы же говорим о технологиях, а не о доверии друг другу. Например, есть документ ФСТЭК России, где описаны шесть уровней доверия для обычного программного обеспечения. Если вы посмотрите, то увидите, что на каждом новом уровне ужесточаются требования к инструментарию и к тем процедурам, которые применяются к коду, чтобы выявлять недостатки, связанные с безопасностью. И в этом смысле понятно, что такое доверие.
В искусственном интеллекте пока нет таких документов. Но этот процесс уже запущен по всему миру. Евросоюз с мая прошлого года инициировал создание регуляторики. И сейчас они объявили, что приняли закон в отношении искусственного интеллекта, но пока еще не ратифицировали его между странами-участниками, однако все идет в этом направлении.
Если вернуться к слову «доверенность» с точки зрения искусственного интеллекта, мы должны определиться, что значит разрабатывать доверенный ИИ: от дизайна, анализа данных, библиотек, которые мы используем, так называемых фреймворков, до анализа уже готовых моделей с целью выявления уязвимостей, дефектов.
В отличие от обычного программного обеспечения в модель ИИ уязвимости попадают через данные, обучающие фреймворки. Поэтому нельзя не иметь инструментов, которые анализируют уже готовые модели или пытаются их как-то дополнительно дообучить, чтобы сделать более защищенными.
Классический пример: сотрудники из нашего Центра доверенного искусственного интеллекта заказали майки с набором сгенерированных абстрактных изображений. Если надеть такую майку, ИИ перестает воспринимать человека как объект, он перестает для него существовать. Как с этим бороться? Нужно дообучать. Но какими должны быть процедуры дообучения, как их контролировать? Это зависит от того, где применяется технология и какой уровень безопасности надо обеспечить. Есть же разница между входом в столовую и на ядерный объект.
По моему мнению, доверенность означает наличие научно-технологической базы и соответствующего документа, который определенным образом трактует термин.
Кабинет академика А.И. Аветисяна Фото: Ольга Мерзлякова / «Научная Россия»
— Какие риски закон Европарламента о регулировании ИИ пытается исключить?
— На территории Евросоюза будет запрещен сбор биометрии в общественных местах. То есть запрещается то, что может подорвать какие-то общественные устои. Это не про технологии, так посчитал гуманитарный блок. Вторая часть связана с обязательным регулированием технологий ИИ, несущих высокие риски. И, наконец, третья часть связана с технологиями, которые можно применять, потому что они ни на что не оказывают особого влияния. Например, если «лишний» человек зайдет поесть в столовую, ничего серьезного не произойдет. Таким образом, Евросоюз — первая юрисдикция, где будет практиковаться запретительная политика в отношении искусственного интеллекта. Еще неизвестно, будет ли закон ратифицирован, но посмотрим, что из этого выйдет.
В мае 2023 г. мы проводили конференцию по доверенному искусственному интеллекту в Научной долине МГУ, где я впервые упомянул, что европейцы пошли этим путем. Состоялась дискуссия, и наш бизнес сказал, что запреты привели к тому, что примерно 25–30% стартапов объявили, что в таком случае покинут юрисдикцию Евросоюза, потому что им будет сложно развиваться. И мы обсуждали, что нужно идти иным путем. Я как человек науки против запретов, за свободу.
Но эти вопросы должны обсуждаться внутри общества. В конце концов, в генетических исследованиях же не просто так ввели биоэтику. Или запреты на распространение в ядерном комплексе и т.п. Как только мы говорим о запретах, нужно, чтобы эти вопросы решали не айтишники и не математики. Они должны участвовать, но нужно подключать гуманитарный блок. Потому что некоторые вещи мы видим иначе.
Я всегда шучу: если вы поставите нам задачу, чтобы все были в безопасности и счастливы, мы всех чипируем и люди будут все время улыбаться. Это все шутки. Но действительно нужно работать в междисциплинарных командах и не торопиться.
Кстати, 15 февраля в «Национальную стратегию развития искусственного интеллекта до 2030 года» были внесены корректировки о междисциплинарных командах. Обсуждается кратное увеличение финансирования междисциплинарных исследований. Они ведутся и с медиками, и с психологами, и с юристами.
— Какие инициативы в отношении регулирования ИИ есть в России?
— Документ Евросоюза скорее декларативный, кроме запретительной части. Остальная часть о том, что нужно обязательно это регулировать. Там прописаны механизмы обеспечения доверенности по аналогии с обычным программным обеспечением. В этом смысле мы точно не отстаем.
У нас уже приняты два ГОСТа в области того, как должны разрабатываться технологии искусственного интеллекта для медицины. Принят «Кодекс этики в сфере искусственного интеллекта». Мы создали его одними из первых в мире, а сейчас уже более 400 организаций из десятков стран подписали и продолжают подписывать этот документ. Компании внутри страны добровольно берут на себя обязательства, что будут соответствовать этим этическим принципам.
— Что это за этические принципы?
— Например, в искусственном интеллекте, помимо программного обеспечения, есть вопросы, связанные с так называемой предвзятостью (bias), когда вы можете ущемлять пользователя, скажем, по половому признаку. Причем непреднамеренно, из-за неправильных данных. И компании берут на себя обязательства, что все, что они будут делать с ИИ, должно соответствовать определенным этическим принципам.
Если нет технологий контроля, можно подписать любые декларации, но в них не будет смысла. Должно быть понимание ситуации и дальнейшего развития. И у нас это есть. Правительство еще в 2021 г. запустило на базе ИСП РАН Исследовательский центр доверенного искусственного интеллекта. А общемировая тенденция регулирования началась только в 2023 г. г. Значит, наше видение было правильным.
Простой пример: был очень неприятный случай в Гонконге, когда с помощью ИИ обманули банкира. Его якобы вызвали на видеоконференцию из головного офиса в Лондоне. По указанию своих собеседников (мошенников) он перевел им $25 млн. Получилось так, что он не смог определить, разговаривает он с настоящими людьми или с искусственным интеллектом.
Директор Института системного программирования им. В.П. Иванникова РАН академик А.И. Аветисян во время интервью порталу «Научная Россия» Фото: Ольга Мерзлякова / «Научная Россия»
Хотелось бы, чтобы во время просмотра контента можно было нажать на кнопку и понять, сгенерированный он или нет. Казалось бы, понятная история. И Евросоюз, и США уже начали вести такую работу. В сентябре прошлого года Джо Байден подписал документ, согласно которому необходимо маркировать генерируемый контент цифровыми водяными знаками.
А мы занимаемся технологиями маркирования уже много лет. В этом году мы запустили трехлетний проект с хорошим финансированием, так называемый большой проект, в рамках которого мы вместе со знаменитым Математическим институтом им. В.А. Стеклова РАН будем сотрудничать с нашими компаниями и создадим технологию маркировки генерируемого контента. И важно не просто декларировать, а создать технологию. А как это сделать? Ведь водяные знаки должны быть незаметными, иначе никто не будет использовать такой контент из-за его низкого качества. Кроме того, производство должно быть относительно дешевым, чтобы не повышать стоимость контента. И эти задачи стоят перед нами.
— С какими вызовами сталкиваются разработчики технологий ИИ?
— Есть ряд технологических проблем, стоящих перед всем миром. Например, оптимизационные задачи. Было бы здорово, если бы мы могли тратить на порядок меньше энергии и компьютерных вычислительных ресурсов, а получать тот же результат. Или если бы была модель, работающая на смартфоне, а ее качество было бы как у большой модели. Эти направления я отношу к эффективности и продуктивности кода.
Есть барьеры, связанные с отсутствием аппаратуры. Нужно, чтобы наши ученые имели хорошую инфраструктуру. Без такой инфраструктуры мы всегда сдерживаем развитие. У нас есть кадры, которые могут решать задачи, но им нужен инструментарий. Но это не та проблема, которую нельзя решить. К оборудованию так или иначе можно обеспечить доступ.
Но важно, чтобы это было обрамлено правильной инфраструктурой, чтобы любой студент или преподаватель, проснувшись, не думал, как сегодня найти GPU-ускоритель. Необходимо обеспечить ему доступ к сервису в облачной модели: если он преподаватель, у него должен быть доступ к одному объему, если школьник, то к другому, в зависимости от потребностей. А если школьник выиграл проект или победил в конкурсе, то можно дать ему дополнительный объем. И мы должны создать инфраструктуру, которая позволит нашим ученым убрать этот барьер. Цифровое неравенство надо исключить. И это не только про железо, но и про стек соответствующего программного обеспечения.
— Вы в своих выступлениях говорите, что сильного искусственного интеллекта нет и в ближайшее время не будет. Почему?
— Когда меня пригласили участвовать в пленарном заседании Международного Кантовского конгресса, приуроченного к 300-летию Иммануила Канта, я стал размышлять, как объяснить понятия сильного и слабого ИИ через мое понимание Канта. Попробую повторить то, что я сказал.
Современный искусственный интеллект — это суждения, основанные на опыте, на эмпирике. Благодаря тому, что эмпирики очень много, ведь цифровых данных очень много, и тому, что суперкомпьютерные ресурсы и инструментарий очень сильно развились за последние годы, суждения ИИ могут быть очень высокого качества. До такой степени, что человек, общаясь, может не понять, говорит он с роботом или с человеком.
Знаний, безусловно независимых от опыта, в современном искусственном интеллекте нет
Источник: Possessed Photography / Фотобанк Unsplash
Но давайте теперь вернемся к Канту. Что он говорил? Что всякое познание начинается с опыта. При этом опыт никогда не будет гарантировать истинную всеобщность. Таким образом он ставит некое ограничение. А если взять его основные труды, он считал, что одно из главных свойств разума — это оперирование априорными знаниями. А что такое априорные знания? Это знания, независимые от опыта.
Вот и я утверждаю, что знаний, безусловно независимых от опыта, в современном искусственном интеллекте нет. Если считать, что слабый ИИ — это то, что основывается на опыте, а сильный — на разуме, в этом смысле, по Канту, до сильного искусственного интеллекта нам еще очень далеко.
Я использую философские категории, но как объяснить иначе? Когда говоришь о сильном и слабом ИИ, люди начинают менять определения. Мне кажется, работы Канта это проясняют. Априорных знаний в современном искусственном интеллекте нет, значит, между ними водораздел, который нельзя преодолеть.
Они могут появиться, потому что этими задачами занимаются, подходы будут инкорпорироваться в существующие решения, и в будущем появление сильного ИИ возможно. Но далеко не в ближайшие несколько лет. Некоторые люди оптимистично говорят, что к концу следующего года. По-моему, даже Илон Маск сказал, что сильный искусственный интеллект появится в ближайшие годы. Некоторые «реалисты» прогнозируют его появление через десять лет. Но я не стал бы предсказывать. В перспективе моей жизни этого не будет. Поэтому я сконцентрировался на технологиях, основанных на опыте, то есть на слабом искусственном интеллекте. Там своя проблематика, свои вопросы безопасности, доверия и всего, что мы обсудили сегодня.
Беседовала Марианна Еркнапешян
ИСТОЧНИК: Научная Россия https://scientificrussia.ru/articles/iskusstvennyj-intellekt-po-immanuilu-kantu-intervu-s-akademikom-arutunom-avetisanom