Сегодня искусственный интеллект стремительно внедряется в бизнес-процессы. Но одновременно встает вопрос этичности его применения. Как обеспечить этичные решения, соответствующие правовым стандартам, рассказала Анастасия Кондакова — эксперт по ритейлу и цифровизации бизнеса, учредитель сервиса IT-решений для бизнеса VRTOOLapp
Платформа знаний и сервисов для бизнеса
Об эксперте
Анастасия Кондакова – эксперт по развитию бизнеса, ретейлу и цифровизации бизнеса. Была соучредителем компании Redecoro – офлайн-магазинов товаров для дома, которые стали заменой ушедшей Zara. Основатель сервиса IT-решений для бизнеса VRTOOLapp – российский сервис виртуальной примерки товаров из карточки товара. Сервис дает возможность «примерить» товар, картину или, например, обувь на плоскости или на человеке при помощи камеры телефона.
Социальные сети: Телеграм-канал, ВКонтакте
Личный опыт
В современном деловом искусственный интеллект помогает решать ряд бизнес-задач – от автоматизации отбора кандидатов на работу, где ИИ анализирует резюме и проводит первичные собеседования, до оценки кредитоспособности клиентов.
Так, в рамках нашего проекта VRTOOLapp (виртуальные примерочные) мы сталкиваемся с необходимостью рендеринга 90 кадров в секунду для VR-устройств, что требует упрощения 3D-моделей. Однако это может негативно сказаться на восприятии реалистичности. Поэтому мы рассматриваем создание нескольких вариантов моделей для одного товара, чтобы алгоритм мог выбрать оптимальный. Наши специалисты разрабатывают методы и алгоритмы, включая инструменты интерпретации LIME и SHAP, для количественной оценки влияния геометрии, материала и освещения на качество рендера. Это позволит адаптировать визуализацию под потребности пользователей и создать более интерактивный опыт в VRTOOLapp.
Однако, параллельно с увеличением роли ИИ, возникает острая необходимость обеспечения справедливости, прозрачности и соответствия решений этическим и правовым стандартам. Непрозрачные алгоритмы, часто называемые «черными ящиками», могут привести к необоснованным или дискриминационным решениям, что несет риски для репутации компании и чревато юридическими последствиями. Избежать их и соблюсти этические нормы поможет объясняемый ИИ.
Как ИИ поможет объяснить ИИ
Объясняемый ИИ ( Explainable AI, XAI) еще недавно считался одним из многих направлений развития технологий искусственного интеллекта. Но буквально за пару лет все изменилось. XAI все чаще позиционируется как ИИ третьего поколения, который сделает работу систем, использующих нейросети глубокого обучения, понятными для потребителей и регуляторов. В сегмент уже вложено порядка 10 млрд долл. США. И это только начало. Explainable AI призван стать переводчиком между людьми и разумными машинами.
Большинство международных исследовательских компаний в ближайшую пятилетку прогнозируют заметный рост инвестиций в системы, объясняющие, почему ИИ принял то или иное решение (Explainable AI, XAI). Так, в Mordor Intelligence в 2024 году оценили объем данного рынка в 86,3 млрд долларов. А в 2029 году ожидают его увеличение до 21,19 млрд долларов. Считают, что совокупный среднегодовой темп роста (CAGR) составит 19,69%.
Близкие оценки и у Precedence research. Текущий объем рынка на 2024 год они оценивают несколько выше — 9,54 млрд долл. Но ожидаемые темпы прироста вполне сопоставимы: по итогам 2029 года он достигнет 22,03 млрд, а к 2034 году вовсе превысит 50 млрд долларов. (CAGR – 18,22%).
Контроль на доверии
Спрос на Explainable AI растет, благодаря расширению использования технологий искусственного интеллекта. Его работа становится все более автономной, не требующей человеческого вмешательства, что несет дополнительные риски. ИИ использует нейросети и методы машинного обучения (ML-модели). Однако сегодня недостаточно инструментов, которые позволяют оценить корректность его работы. Технологии XAI восполняют данный пробел, помогают спрогнозировать последствия применения решений, возможные отклонения и ошибки ИИ.
💼 Пример
Алгоритмы ИИ обучаются на больших объемах данных, которые порой содержат скрытые предубеждения, отражающие, например, дискриминационные тенденции по возрасту, полу и другим параметрам. В этом случае ИИ-системы могут непреднамеренно усугублять социальные неравенства и нарушать антидискриминационные законы.
Представьте банк, который использует алгоритм для оценки кредитоспособности клиентов. С помощью XAI аналитики определяет, какие факторы (например, уровень дохода, история кредитов, возраст) являются первоочередными при принятии решения о выдаче средств. К примеру, может оказаться, что в действующей ML-модели фактор возраста оказывает непропорционально сильное влияние и дискриминирует молодые или пожилые группы. В этом случае банк внесет коррективы в модель, чтобы сделать процесс оценки более справедливым и соответствующим законодательству.
В результате, распространение XAI повышает доверие к технологиям ИИ в принципе, дает возможность быстро вносить изменения в работу «умных систем», при необходимости корректировать ее. Как следствие, сегодня наблюдается активное проникновение технологий объяснимого интернета в сегмент BFSI (объединяет сферы банковских, финансовых услуг, страхования). XAI помогает предлагать модели по кредитному скорингу, трактовать юридические решения, созданные на базе моделей ИИ, дает персональные рекомендации по работе с клиентами.
Также Explainable AI находит применение в секторах потребительских услуг и промышленности, где, например, помогает оценивать работу систем контроля качества и удовлетворенности клиентов. В медицине технологию используют, чтобы объяснять результаты диагностики. При организации беспилотного движения XAI позволяет обработать данные датчиков и объяснять, почему машина приняла решение затормозить или ускориться.
Разные стимулы
Пока наибольшее распространение Explainable AI получил в западных странах. Значительное число существующих систем, использующих объяснимый ИИ, появилось благодаря запущенной в 2018 году Программе управления перспективных исследовательских проектов Министерства обороны США (DARPA). Она объединила 11 университетов США. В настоящее время в рамках DARPA проинвестировано более 2 млрд долларов.
Темпы развития глобального рынка Explainable AI поддерживает и постоянное ужесточение требований регуляторов. В частности, предисловие к Общему регламенту по защите данных (GDPR) в Европе и различные рекомендации таких организаций, как Совет по финансовой стабильности (FSB), уже содержат пассажи о необходимости объяснять работу алгоритмов ИИ. Это требование также нашло отражение также EU AI Act, подготовленном в 2024 году.
Небедный родственник
Пока технологии объяснимого интернета находятся вне фокуса основного потребительского внимания. Заказчику или покупателю важнее в первую очередь возможности и инструменты, которые предоставляет ИИ-решение. Вопрос об объяснимости алгоритмов возникает, когда интерес к продукту уже сформировался. Как следствие, XAI на рынке позиционируется пока преимущественно «в связке» с прочими возможностями искусственного интеллекта.
Например, в мире сейчас растет спрос на инструменты визуализации в 3D товаров, карточки которых традиционно размещаются на сайтах-маркетплейсах. В России одним из таких продуктов является VRTOOLapp. В основе его работы — рекомендательная система, которая анализирует вовлеченность пользователей. Платформа для обработки данных временных рядов аккумулирует статистический материал, собранный в разные периоды времени о значении выбранных параметров. Обрабатывает их с помощью алгоритма глубокой Q-сети (DQN) и преобразует информацию, используя подход векторных представлений (базируется в том числе на языковых моделях LLM). Именно эти цифровые инструменты в первую очередь фигурируют в описании продукта, поскольку определяют его возможности.
Объяснимый ИИ, применяемый в системе, показывает, какие именно данные об использовании VRTOOL клиентами обрабатывались, каким запросам был отдан приоритет. Применение XAI не поможет произвести «первое впечатление», но повысит лояльность в дальнейшем — вызовет больше доверия к рекомендациям, которые получает пользователь, и увеличит скорость устранения ошибок, если они возникают.
XAI: Громкие проекты
– Февраль 2023. ESTECO в партнерстве с Optimad объявили об интеграции возможностей машинного обучения и XAI в программные решения для цифрового инжиниринга.
– Июль 2023. Fujitsu Limited и Informa DB договорились о внедрении XAI в индустрию деловой и финансовой информации.
– Сентябрь 2023 года. Temenos представила решение на основе генеративного и объяснимого искусственного интеллекта, которое автоматически классифицирует банковские транзакции. Система помогает банкам предлагать персонализированную аналитику.
– Февраль 2024. Ericsson объявила об использовании XAI в своем программном комплексе Cognitive Software для поставщиков услуг связи (CSP). Технология объяснит работу моделей, оценивающих производительность сети.
– Март 2024. Apple приобрела DarwinAI, стартап в области визуального контроля качества на основе объяснимого ИИ. Он предлагает комплексное решение для улучшения качества продукции.
Дело практики
Несмотря на относительную молодость сегмента Explainable AI, в мире создан уже целый ряд инструментов, позволяющих интерпретировать ML-модели. Среди них ELI5 , MLxtend , DALEX , SBRL, LIME, SHAP. В основном это различные библиотеки, предназначенные для анализа и интерпретации данных.
На практике
Пока наибольшее распространение получили LIME, SHAP. Фактически два инструмента дополняют друг друга. Представьте, что вы готовите блюдо и хотите понять, какой ингредиент больше всего влияет на его вкус.
Допустим, примените LIME. Тогда вы немного изменяете каждый компонент по отдельности (например, добавляете больше соли или уменьшаете сахар) и смотрите, как меняется вкус. Затем вы создаете простой рецепт, который объясняет, как каждый ингредиент влияет на общее восприятие блюда в рамках этих небольших изменений.
Если используете SHAP, то рассматриваете все возможные комбинации продуктов и рассчитываете, какой вклад каждый из них вносит в общий вкус, обеспечивая справедливое распределение воздействия каждого компонента.
Иными словами, LIME помогает понять влияние совокупности факторов в конкретной ситуации, создавая локальную простую модель, а SHAP, в том числе с применением теории игр, позволяет провести анализ вклада каждого элемента ML-модели в итоговое решение.
Легкая задержка
В России разработки объяснимого ИИ пока не достигли такого распространения, как в западных странах. Однако один из основных принципов развития и использования технологий, включенных в «Национальную стратегию развития ИИ на период до 2030 года», — прозрачность: объяснимость работы алгоритмов AI-систем и достижения ими результатов.
Как следствие, растет финансирование исследований в сфере XAI. Так, Нижегородский государственный университет в 2020 году победил в конкурсе научных проектов от Минобрнауки с проектом «Надежный и логически прозрачный искусственный интеллект: технология, верификация и применение при социально значимых и инфекционных заболеваниях». Призеры исследовали новые методы объяснения решений ИИ и технологии, позволяющие исключать или минимизировать возникновение ошибок.
В 2022 году РЭУ им. Плеханова выиграл проект РНФ «Гибридные модели поддержки принятия решений на основе методов дополненного искусственного интеллекта, когнитивного моделирования и нечеткой логики в задачах персонализированной медицины», посвященный созданию медицинских систем нового поколения, основанных на применении методов объяснимого ИИ для нейросетей глубокого обучения в задачах медицинской диагностики.
Вероятно, скоро на отечественном рынке представят готовые решения с использованием инструментов XAI и крупные корпорации. Показательно, что по итогам организованного Сбером форума AI Journey 2023 в «закрывающие» тезисы мероприятия добавили пассаж о том, что ИИ должен быть «объяснимым». По мнению участников, это, среди прочего, поможет при необходимости переучивать нейросетевые модели, а не создавать их с нуля, как это обычно происходит сегодня.