Необходимость в быстрых инновациях и разработках с учетом требований безопасности не дает спать по ночам многим киберспециалистам, или, по крайней мере, эта проблема не давала покоя докладчикам, выступавшим на первом саммите Black Hat по искусственному интеллекту, который состоялся в Лас-Вегасе в прошлом месяце.
Произошло это всего через пару недель после глобального сбоя в работе ИТ-систем CrowdStrike, из-за которого остановилась работа аэропортов и медицинские учреждения были вынуждены прибегнуть к ручке и бумаге. Казалось, настало подходящее время для размышлений, поскольку компании оказались под давлением необходимости быстрее внедрять ИИ и выпускать продукты до того, как они пройдут надлежащую оценку.
Лиза Эйнштейн, старший консультант по ИИ в Агентстве по кибербезопасности и безопасности инфраструктуры США (CISA), сравнила то, что она назвала «золотой лихорадкой ИИ», с предыдущими поколениями уязвимостей программного обеспечения, которые поставлялись на рынок без учета требований безопасности.
«Мы видим, что люди не до конца понимают, как возникают последствия для безопасности. В инциденте с CrowdStrike не было замешано злоумышленников, но произошел сбой в проектировании и реализации, который повлиял на людей по всему миру.
«Нам нужно, чтобы разработчики этих систем считали безопасность, защищенность и надежность основными приоритетами своего бизнеса», — добавила она.
Президент и генеральный директор Internet Security Alliance (ISA) Ларри Клинтон выразился более прямо: «Скорость убивает — сегодня мы стремимся быстро вывести продукт на рынок — а это рецепт катастрофы с точки зрения ИИ».
Он добавил: «По сути, нам нужно переориентировать всю бизнес-модель ИТ, которая заключается в «быстром выходе на рынок и исправлении». Нам нужно перейти к модели «Безопасность по проекту» и работать с государственными партнерами, чтобы быть конкурентоспособными и защищенными».
Многие сессии мероприятия, в которых приняли участие докладчики из WTT, Microsoft, CISA, Nvidia, а также первый главный технический директор ЦРУ, были посвящены тому, как организации могут достичь «безопасности по проекту» ИИ, что TechInformed подытожил восемь ключевых выводов.
- 1. Делайте основы и делайте их хорошо
- 2. Спроектируйте его
- 3. Создайте безопасное пространство для экспериментов
- 4. Красная команда ваших продуктов
- 5. Партнерство имеет первостепенное значение
- 6. Назначить сотрудника по искусственному интеллекту
- 7. Внедрите ИИ в свои бизнес-операции
- 8. Ограничение функциональности снижает риск
1. Делайте основы и делайте их хорошо
«Нельзя забывать основы», — подчеркнул ветеран-агент ЦРУ Боб Флорес во время одной из панельных сессий мероприятия. «Вам нужно тестировать системы и приложения, а также связи между приложениями, и вам нужно понимать, как выглядит ваша среда», — добавил он.
Флорес, который к концу своей карьеры в ЦРУ три года проработал первым директором по технологиям в агентстве, спросил делегатов конференции Black Hat по искусственному интеллекту: «У скольких из вас есть машины, подключенные к Интернету, о которых вы не знаете? У всех они есть, верно?»
Он также предупредил, что с ИИ понимание того, что находится в вашей сети, должно происходить быстро, «потому что плохие парни становятся быстрее. Они могут преодолеть все, что вы ставите на место».
И хотя предприятия могут подумать, что безопаснее разрабатывать собственные LLM, а не полагаться на доступные в Интернете чат-боты, такие как ChatGPT, Флорес обеспокоен тем, что они могут не закладывать безопасность с самого начала. «Это все еще второстепенная мысль. Когда вы создаете эти LLM, вы должны думать на каждом шагу, как плохой парень, и задаваться вопросом, сможете ли вы проникнуть в эту штуку и использовать ее».
2. Спроектируйте его
Бартли Ричардсон, руководитель направления кибербезопасности ИИ в компании NVIDIA, гиганте GPU, посоветовал участникам Black Hat взглянуть на безопасность ИИ с инженерной точки зрения.
«Когда вы собираете приложение LLM, не просто смотрите на каждый блок, который вы там спроектировали; посмотрите на связи между этими блоками и спросите: «Делаю ли я максимально возможную безопасность на каждом из этих этапов?» «Зашифрована ли моя модель в состоянии покоя?» Вы устанавливаете меры безопасности для ваших быстрых инъекций?» Это все Безопасность по Проектированию. Когда вы проектируете это, эти вещи становятся очевидными, и у вас есть эти циклы обратной связи, где вам нужно установить безопасность», — объяснил он.
3. Создайте безопасное пространство для экспериментов
Мэтт Мартин, основатель американской консалтинговой фирмы по кибербезопасности Two Candlesticks и член Совета по безопасности ИИ в Black Hat, считает важным создание контролируемой среды-песочницы, в которой сотрудники могут экспериментировать. «Многие люди хотят использовать ИИ, но пока не знают, что они хотят с ним делать, поэтому предоставление им безопасного пространства для этого может снизить риск», — сказал он.
Мартин добавил, что важно понимать бизнес-контекст и то, как он будет применяться. «Убедитесь, что кто-то в компании осуществляет общий контроль над проектами. В противном случае у вас будет 15 разных проектов ИИ, которые вы фактически не сможете контролировать и на которые у вас не будет бюджета».
4. Красная команда ваших продуктов
Брэндон Диксон, партнер по стратегии ИИ в Microsoft, объяснил, как софтверный гигант балансирует между достижениями в области ИИ и безопасностью. «Мы сделали это, сформировав совет по безопасности развертывания, который рассматривает каждую развернутую нами функцию GenAI и присоединяет к ней процесс red teaming, прежде чем она попадет к нашим клиентам», — говорит он.
Red Teaming — это метод атаки, используемый в кибербезопасности для проверки того, как организация отреагирует на настоящую кибератаку.
Ознакомьтесь с нашим обзором кибербезопасности в здравоохранении здесь
«Мы также разработали всеобъемлющее руководство по ответственному использованию ИИ как внутри компании, так и за ее пределами, проконсультировавшись с экспертами, что позволило нам очень быстро перейти от разработки продукта к разработке, не застав клиентов врасплох», — добавил он.
5. Партнерство имеет первостепенное значение
По словам Лизы Эйнштейн из CISA, «Secure by Design» опирается на партнерство государственных и частных предприятий. Она добавила, что это особенно важно в отношении секторов, которые предоставляют критическую инфраструктуру.
С этой целью в 2021 году CISA создала Joint Cyber Defense Collaborative (JCDC). Это государственно-частное партнерство направлено на снижение киберрисков для страны путем объединения возможностей федерального правительства с инновациями и знаниями частного сектора.
Эйнштейн заявил делегатам конференции: «CISA добивается успеха только благодаря партнерству, поскольку более 80% критически важной инфраструктуры в США находится в частном секторе.
«У нас есть коллективная и общая ответственность. Я вижу организации, которые не считали себя частью этой экосистемы, не осознавая, что они несут часть ответственности. Поставщики технологий также должны помочь этим предприятиям стать более защищенными и обеспечить безопасность всего», — сказала она.
На мероприятии также подчеркивались партнерские отношения с поставщиками и между ними. Джим Кавано, многолетний генеральный директор и технологический гуру ИТ-гиганта World Wide Technology стоимостью 20 миллиардов долларов, рассказал о преимуществах долгосрочного партнерства компании с производителем чипов Nvidia, включая достижения в области ИИ.
В марте этого года WWT выделила $500 млн на следующие три года на стимулирование разработки ИИ и принятия его клиентами. Инвестиции включают новую лабораторную среду для испытаний ИИ и экосистему сотрудничества, которая использует инструменты от партнеров, включая Nvidia.
Хотя бывший агент ЦРУ Флорес признавал, что такие партнерства имеют решающее значение, он также подчеркивал необходимость проведения компаниями тщательной оценки перед приемом на работу новых сотрудников.
«Каждый из ваших поставщиков — партнер для успеха, но есть и уязвимости. Они должны быть в состоянии защитить свои системы, а вы должны быть в состоянии защитить свои. И вместе вы должны защитить все, что их связывает», — отметил он.
6. Назначить сотрудника по искусственному интеллекту
На конференции отметили рост должности главного специалиста по ИИ, который контролирует безопасное внедрение ИИ в организациях. Это назначение теперь является обязательным для некоторых правительственных агентств США после решения администрации Байдена Указ о безопасной, надежной и заслуживающей доверия разработке и использовании ИИ.
Этим руководителям необходимо оценить различные способы развертывания надежных процессов для оценки вариантов использования и управления ИИ.
Хотя назначение главного специалиста по ИИ не было обязательным требованием для CISA, Лиза Эйнштейн заняла эту должность в прошлом месяце, поскольку организация осознала, что это важно для ее миссии, выходящей за рамки руководства внутренними сценариями использования ИИ.
««CISA хотела, чтобы кто-то отвечал за координацию этих усилий, чтобы гарантировать, что мы все движемся в одном направлении с технически обоснованной перспективой, и чтобы работа, которую мы выполняем внутри компании, и рекомендации, которые мы даем внешним сторонам, были согласованы, чтобы мы могли адаптироваться и быть гибкими», — пояснила она.
Хотя это не обязательно должно быть назначение на уровне совета директоров, Эйнштейн добавил, что человек должен находиться в одной комнате с постоянно расширяющимся списком руководителей высшего звена: директором по информационным технологиям, директором по безопасности, юридическими и конфиденциальными группами, а также сотрудниками по работе с данными, когда принимаются решения и политика в отношении ИИ.
Эйнштейн добавила, что через десять лет эта должность должна стать избыточной, если она хорошо справится со своей работой. «К тому времени то, что мы делаем, должно настолько укорениться в нас, что нам больше не понадобится эта роль. Это было бы похоже на найм главного электротехнического директора. Все понимают, какую роль они должны играть, и свою общую ответственность за обеспечение безопасности систем ИИ и их ответственное использование».
7. Внедрите ИИ в свои бизнес-операции
Для руководителя ISA Ларри Клинтона Secure by Design начинается с теории. Более десяти лет его организация сотрудничает с Национальной ассоциацией корпоративных директоров США (NACD), Министерством внутренней безопасности США и Советом по прямому правосудию по вопросам Ежегодный справочник для корпоративных советов директоров по анализу киберрисков.
По словам Клинтон, в настоящее время ISA разрабатывает версию этого руководства специально для работы с ИИ, которая будет выпущена этой осенью.
Клинтон заявила, что предприятиям необходимо вынести на уровень советов директоров три основных вопроса.
«Развертывание ИИ должно осуществляться стратегически. Организации недооценивают риски, связанные с ИИ, и переоценивают способность персонала управлять этими рисками. Это происходит из-за своеобразной адаптации ИИ, которую необходимо вплести в полный процесс бизнес-операций, а не просто добавлять независимо к различным проектам», — говорит он.
Вторым вопросом, по его словам, является образование и необходимость объяснять членам совета директоров влияние ИИ, а не просто объяснять основные принципы работы различных реализаций ИИ.
Третий вопрос, добавил он, — это коммуникация. «Крайне важно, чтобы мы вывели ИИ из сферы ИТ и сделали его частью всей организации. Это точно такой же совет, который мы даем в отношении кибербезопасности. ИИ — это общекорпоративная функция, а не ИТ-функция».
8. Ограничение функциональности снижает риск
По словам Брэндона Диксона из Microsoft, ограничение действий, на которые способна система ИИ, вполне подконтрольно человеку и время от времени должно приниматься во внимание. Компьютерный гигант сделал это со многими из своих инструментов второго пилота первого поколения, добавил он.
«То, что мы реализовали сегодня, — это множество операций «только для чтения». Не так много систем ИИ, которые автоматически действуют от имени пользователя, чтобы изолировать системы. И я думаю, что это важное различие, которое нужно провести — потому что риск возникает, когда ИИ автоматически делает то, что может делать человек, когда он может быть не полностью информирован. Если это просто чтение, предоставление сводок и объяснение результатов, это могут быть очень полезные и малорисковые функции».
По словам Диксона, следующим этапом станет изучение того, «как мы переходим от напористого агентства к частичной автономии, к высокой автономии и к полной автономии. На каждом из этих уровней нам нужно задаться вопросом, какие системы безопасности и соображения безопасности нам нужны, чтобы гарантировать, что мы не вносим ненужный риск».
