Родительское руководство: «искусственный интеллект» используется для оценки нянь на основе их истории в социальных сетях
Когда Джесси Батталья начала искать новую няню для своего годовалого сына, ей потребовалось больше информации, чем она могла бы получить из проверки в суде, комментариев родителей и личного интервью.
Поэтому она обратилась к Predictim, онлайн-сервису, который использует «продвинутый искусственный интеллект» для оценки личности няни и нацелил свои сканеры на тысячи постов в Facebook, Twitter и Instagram одного кандидата.
Система предложила автоматизированную «оценку риска» для 24-летней кандидатки, заявив, что у нее «очень низкий риск» быть наркоманом. Но это дало немного более высокую оценку риска - два из пяти - за издевательства, домогательства, «неуважение» и «плохое отношение».
Система не объяснила, почему она приняла это решение. Но Батталья, который верил, что няня заслуживает доверия, внезапно почувствовал острую боль сомнения.
«Социальные сети показывают характер человека», - говорит 29-летний Батталья, живущий недалеко от Лос-Анджелеса. "Так почему она пришла в два, а не один?"
Predictim предлагает родителям ту же книгу, которую продают десятки других технологических фирм работодателям по всему миру: системы искусственного интеллекта, которые анализируют речь человека, мимику и историю в Интернете с обещаниями раскрытия скрытых аспектов их личной жизни.
Технология меняет подход некоторых компаний к набору, найму и проверке работников, предлагая работодателям непревзойденный взгляд на кандидатов на работу через новую волну инвазивной психологической оценки и наблюдения.
Техническая фирма Fama заявляет, что использует ИИ для контроля социальных сетей работников за «ядовитое поведение» и оповещения их боссов. А компания по найму технологий HireVue, которая работает с такими компаниями, как Geico, Hilton и Unilever, предлагает систему, которая автоматически анализирует тон кандидатов, выбор слов и движения лица во время видео-интервью, чтобы предсказать их навыки и поведение на работе. (Кандидатам рекомендуется улыбаться для достижения наилучших результатов.)
Но критики говорят, что Predictim и подобные системы представляют свои собственные опасности, принимая автоматизированные и, возможно, изменяющие жизнь решения, практически не контролируемые.
Системы зависят от алгоритмов «черного ящика», которые дают мало подробностей о том, как они сводят сложности внутренней жизни человека к вычислению достоинства или вреда. И даже несмотря на то, что технология Predictim влияет на мышление родителей, она остается совершенно недоказанной, в значительной степени необъяснимой и уязвимой для тихих предубеждений по поводу того, как подходящая няня должна делиться, выглядеть и говорить.
«Эта безумная спешка захватить власть ИИ принимать всевозможные решения, не гарантируя, что он подотчетен людям», - сказал Джефф Честер, исполнительный директор Центра цифровой демократии, группы по защите технологий. «Как будто люди выпили цифровую Kool-Aid и думают, что это правильный способ управлять нашей жизнью».
Сканирования Predictim анализируют всю историю социальных сетей няни, которые, для многих из самых молодых ситтеров, могут освещать большую часть их жизни. А ситтерам говорят, что они будут в невыгодном положении для конкурентоспособной работы, если они откажутся.
Руководитель и соучредитель Predictim Сэл Парса сказал, что компания, созданная в прошлом месяце в рамках Калифорнийского университета в технологическом инкубаторе SkyDeck в Беркли, серьезно относится к этическим вопросам в отношении использования этой технологии. Родители, по его словам, должны рассматривать рейтинги как компаньона, который «может отражать или не отражать действительные атрибуты сиделки».
Но опасность найма проблемной или жестокой няни, добавил он, делает ИИ необходимым инструментом для любого родителя, надеющегося обеспечить безопасность своего ребенка.
«Если вы будете искать оскорбительных нянь в Google, вы увидите сотни результатов прямо сейчас», - сказал он. «Есть люди, которые либо имеют психические заболевания, либо просто рождаются злыми. Наша цель - сделать все возможное, чтобы остановить их».
Сканирование Predictim начинается с $ 24, 99 и требует имя няни и адрес электронной почты, а также ее согласие на широкий доступ к ее учетным записям в социальных сетях. Няня может отказаться, но родитель уведомляется о ее отказе, и в электронном письме няне сообщают, что «заинтересованный родитель не сможет нанять вас, пока вы не выполните этот запрос».
Руководители Predictim говорят, что они используют алгоритмы языковой обработки и программное обеспечение для распознавания изображений, известное как «компьютерное зрение», чтобы оценить сообщения няни на Facebook, Twitter и Instagram, чтобы получить подсказки об их автономной жизни. Родителю предоставляется отчет исключительно и не нужно сообщать няне результаты.
Родители могли бы, по-видимому, сами просматривать учетные записи своих социальных сетей в социальных сетях. Но сгенерированные компьютером отчеты обещают всестороннюю проверку многолетней онлайн-активности, сводящуюся к одной цифре: опьяняюще простое решение непрактичной задачи.
Рейтинги риска делятся на несколько категорий, включая явное содержание и злоупотребление наркотиками. Начинающий также объявил, что его система может оценивать няню по другим личностным качествам, таким как вежливость, способность работать с другими и «позитивность».
Компания надеется перевернуть многомиллиардную индустрию «родительского аутсорсинга» и начала рекламу через платную спонсорскую поддержку родителей и «мумия» блогов. Маркетинг компании в значительной степени сосредоточен на ее способности раскрывать скрытые секреты и предотвращать «кошмар каждого родителя», ссылаясь на уголовные дела, в том числе на няню из Кентукки, обвиненную ранее в этом году в нанесении тяжких телесных повреждений восьмимесячной девочке.
«Если бы родители маленькой девочки, пострадавшей от этой няни, могли использовать Предиктим как часть своего процесса проверки, - говорится в маркетинговом документе компании, - они бы никогда не оставили ее наедине со своим драгоценным ребенком».
Но технические эксперты говорят, что система поднимает свои собственные красные флаги, включая опасения, что она охотится на страхи родителей продавать сканы личности с непроверенной точностью.
Они также подвергают сомнению, как системы обучаются и насколько они могут быть уязвимы к неправильному пониманию размытых значений использования социальных сетей ситтерами. Для всех сканирований, кроме самого высокого риска, родителям дается только предположение о сомнительном поведении и никаких конкретных фраз, ссылок или подробностей, которые можно оценить самостоятельно.
Когда сканирование одной няни было помечено для возможного издевательства, расстроенная мать, которая просила об этом, сказала, что не может сказать, обнаружила ли программа старую цитату из фильма, текст песни или другую фразу в отличие от фактического издевательства.
Но Предиктим, тем не менее, говорит, что готовится к общенациональной экспансии. Руководители Sittercity, онлайн-рынка няни, который посещают миллионы родителей, заявили, что в начале следующего года они запускают пилотную программу, которая объединит автоматизированные рейтинги Predictim в текущий набор проверок и проверок нянек.
«Поиск няньки может идти с большой неопределенностью», - сказала Сандра Дайнора, глава Sittercity, которая считает, что подобные инструменты могут вскоре стать «стандартной валютой» для поиска лиц, осуществляющих уход в Интернете. «Родители всегда ищут лучшее решение, большинство исследований, лучшие факты».
The Washington Post