Предприятия, исследователи и правительства продолжают коллективно размышлять о том, что значит создавать ответственный и надежный ИИ. Инновации в новых технологиях оказывают глубокое влияние на алгоритмическое принятие решений, права на данные, конфиденциальность и передовой опыт.
Кэти Бакстер — главный архитектор, ответственный ИИ и технологии в Salesforce, где ее опыт улучшения пользовательского опыта для самолетов, автомобилей и программного обеспечения формирует ответственные усилия облачного гиганта в области ИИ. В эти дни она думает об уроках, которые предприятия могут извлечь из повышения прозрачности, создания лучших ограждений и улучшения надзора совета директоров за службами ИИ.
Путь Бакстер по этому пути был сформирован ее исследованиями в области инженерии человеческого фактора в Технологическом институте Джорджии, такими как попытки стандартизировать управление самолетом, чтобы пилотам было легче управлять различными самолетами. Она также начала изучать недостатки в тестировании критически важных для безопасности систем. Например, женщины, дети и младенцы по-прежнему чаще гибнут в автокатастрофах, потому что производители автомобилей часто используют меньшие, но не анатомически правильные манекены для выявления проблем.
Забота об уязвимых группах населения
Похожие недостатки могут проявиться в ИИ, когда исследователи безопасности пренебрегают потребностями разных групп населения. В аспирантуре Бакстер была ошеломлена, обнаружив, что они проводят психологические исследования программ чтения для заключенных, не имеющих права согласия, что является краеугольным камнем принципа Американской психологической ассоциации. Она объясняет:
Нас годами учили об уязвимых группах населения, но это больше касалось людей с психическими проблемами, инвалидов, пожилых людей и детей. Заключенные никогда не считались частью этой группы населения. И поэтому для меня это было настоящим пробуждением того, как мы можем убедиться, что мы действительно понимаем всех людей, на которых влияют наши технологии, и я пронес это через всю свою двадцатилетнюю карьеру.
Бакстер присоединилась к Salesforce в 2016 году, когда фирма готовилась запустить своих первых чат-ботов, и это вызвало у нее интерес. Она объясняет:
Это был тот же год, что и Microsoft Tay, чатбот-расист, любящий нацистов, которого вы, возможно, помните. И я сразу же задался вопросом: «О, Боже, как нам этого не сделать?» И поэтому я начал работать с командой чатботов, а затем просто начал связываться с другими командами Einstein и другими облаками, чтобы спросить: «Что вы делаете? Как мы думаем о том, чтобы поставить человека в центр, и какова должна быть роль ИИ для них?» И очень рано мы обнаружили, что надежность была огромной проблемой в продажах.
Инструмент оценки возможностей лидера был одним из первых запусков ИИ. Однако он столкнулся с проблемами, когда давал рекомендации, которые казались нелогичными для пользователей отдела продаж, которые их отклоняли. Поэтому команда ИИ Salesforce поняла, что им нужно продемонстрировать, почему ИИ считает конкретный лид хорошим. Эти усилия по созданию пояснительной цепочки хлебных крошек открыли глаза пользователям на закономерности, которые они раньше не замечали. После этого она применила те же принципы для поддержки других ролей, таких как системные администраторы.
Другим важным пониманием была важность того, чтобы люди были в курсе событий и находились у руля. Бакстер говорит:
Мы считаем, что очень важно, чтобы люди были за рулем, а ИИ помогал им и расширял их возможности. Бывают случаи, когда использование ИИ само по себе имеет смысл, потому что это очень рутинная задача с четкими правилами, большой историей и не сопряжено с высоким риском принятия решений. Вам все равно нужно, чтобы человек проверял, делает ли он то, что вы хотите.
Как Salesforce подходит к надзору
Salesforce создала три совета для обеспечения надзора и руководства усилиями по внедрению ИИ в компании — Совет по ИИ для использования ИИ с сотрудниками; Совет по доверию ИИ для надзора за продуктами, ориентированными на клиентов; и Совет по этическому и гуманному использованию, в который входят внешние эксперты по предметной области для консультирования по крупным вопросам. Каждый совет состоит из экспертов по продуктам, кадрам, юридическим вопросам и безопасности, которые помогают учитывать последствия новых процессов, продуктов или политик на основе ИИ.
Хорошим примером была разработка Политика допустимого использования ИИ (AI AUP) это выходит за рамки стандартного AUP. Бакстер сказал, что одной из целей было создать что-то достаточно широкое, чтобы помочь компаниям соблюдать текущие и новые правила ИИ. Например, как только они начали создавать чат-ботов, они добавили политику, согласно которой клиенты должны идентифицировать их как чат-ботов, что теперь является юридическим требованием в Калифорнии.
Недавний прогресс в области генеративного ИИ также побудил к работе по рассмотрению новых рисков. Бакстер отмечает:
Мы поняли, что с генеративным ИИ существуют повышенные риски, которые выходят за рамки того, что вы видите в предиктивном ИИ, и поэтому нам нужно было быть уверенными, что мы очень четко задокументировали все красные линии, все способы, которыми мы не хотим, чтобы клиенты использовали нашу технологию ИИ. Но у нас также была проблема, поскольку, поскольку мы собирались размещать сторонние модели, такие как OpenAI и Anthropic, мы хотели убедиться, что у нас есть набор правил для клиентов, которые были бы довольно точными. Чтобы мы могли сказать: «Независимо от того, какую модель вы используете, вот набор правил, следуя которым, вы, вероятно, будете в безопасности с условиями обслуживания».
Это потребовало значительной работы по выяснению того, насколько свести термины к конкретике, согласовать с другими лицензиями и соответствовать новым правилам. Именно здесь эксперты по предметной области могли бы помочь оценить AI AUP, чтобы определить, имеют ли они смысл и просты ли для понимания. Бакстер утверждает, что аналогичное мышление также потребуется для гармонизации мозаики нормативных рамок:
Нам нужно, чтобы законодатели и политики по всему миру сделали что-то подобное и сказали: «Если вы будете следовать этим рекомендациям, вы, вероятно, будете соответствовать 80–90 % правил по всему миру». Затем вы идете и думаете о каждом регионе, чтобы увидеть, что для него уникально.
В Salesforce группа по работе с государственными органами работает с юридическим отделом и Управлением по этическому и гуманному использованию для составления электронных таблиц, которые сравнивают и сопоставляют различные нормативные требования в разных регионах и версиях. Сегодня это очень ручной и иногда непрозрачный процесс. Со своей стороны, Бакстер работала волонтером в Национальном институте стандартов и технологий США, Консультативном совете Сингапура по этическому использованию ИИ и данных и Фонде проверки ИИ. Она считает, что важно привносить техническую экспертизу в стандарты, структуры и правила, которые влияют на всех, и призывает других делать то же самое.
Например, она иногда просматривала то, что писали правительственные команды, где она понятия не имела, что юридическая фраза должна означать с практической точки зрения. Понимание технологии, правовых и нормативных требований и языка требует времени, терпения и обильных вопросов.
Внесение досок
Все более важно, чтобы советы директоров уделяли время пониманию и оценке возникающих рисков ИИ. Этот процесс может быть сложным, поскольку у членов совета директоров может не быть опыта в области ИИ и данных. Поэтому важно создать процесс, который поможет им понять текущее положение компании и задавать более качественные вопросы.
Salesforce разработала четыре рекомендации относительно того, что советы директоров должны спрашивать у компаний, чтобы гарантировать, что они осуществляют управление ИИ надлежащим образом. Первая — попросить создать кросс-функциональную группу, ответственную за использование ИИ в организации. Эта группа может консультировать по вопросам этики, безопасности, конфиденциальности, исследований пользователей или клиентов и инжиниринга. Бакстер объясняет:
Вам действительно нужна эта кросс-функциональная группа экспертов по предметной области, которые могут отвечать на вопросы совета директоров, потому что не все в советах директоров обладают глубокими познаниями в области ИИ. У них может быть очень поверхностное понимание ИИ. И поэтому доступ к этой кросс-функциональной группе для консультаций действительно важен.
Вторая рекомендация заключается в том, что эта группа должна регулярно отчитываться перед советом директоров и выпускать регулярные отчеты. Они могут быть основаны на фреймворках управления рисками ИИ NIST, картах моделей или отчетах об оценке воздействия. Бакстер отмечает, что разные компании используют разные форматы, и это не имеет значения, если только это включает информацию о том, как модели были обучены, оценки доверия и безопасности, анализ предвзятости и токсичности, а также оценки безопасности.
Третья рекомендация заключается в том, что советам директоров необходимо понимать все способы использования ИИ в организации. В частности, им необходимо уметь определять случаи использования, которые сопряжены с высоким риском или требуют принятия решений, имеющих последствия. Это важно, особенно с учетом нового закона ЕС об ИИ, вводящего новые обязательства.
Наконец, советам директоров необходимо действительно понимать данные, которые являются топливом для ИИ. Некоторые факторы, которые им необходимо учитывать, включают их происхождение, как они получили доступ, согласие, насколько они репрезентативны для затронутых людей и содержат ли они предвзятость, токсичность или вредный контент. Это оказывается непрерывным процессом. Например, многие разработчики ИИ использовали открытый набор данных LAION-5B более года, прежде чем исследователи из Стэнфорда сообщили он содержал материалы о сексуальном насилии над детьми. Бакстер говорит:
Очень важно понимать, какие данные вы используете для обучения или настройки своих моделей.
Мое мнение
Создание надежного ИИ потребует процессов для рассмотрения новых инструментов из различных областей и ролей. Кажется важным рассмотреть, как реализовать это как тип дизайна пользовательского опыта, который учитывает пользователей, разработчиков и тех, на кого влияет услуга. Работа Бакстера в рамках более широких усилий Salesforce иллюстрирует некоторые важные уроки для всех предприятий, стремящихся выйти за рамки лаконичных заявлений и перейти к более надежному ИИ как практике.
