Научи плохому: как мы испортили Алису
Ассистенты с машинным обучением — как маленькие дети: впитывают информацию, точно губка. Причем без разбора. Как только нахватаются плохого, разработчики тут же принимают дисциплинарные меры и отучивают помощников от дурного. Разумеется, существуют блокировки и системы защиты, чтобы «ботик» мог игнорировать особо щепетильные темы. Но если очень постараться, то можно спровоцировать ассистента на весьма неожиданную беседу. «Яндексовская» Алиса, запущенная в октябре этого года, — не исключение, сообщает TechCrunch.
За Алисой круглосуточно наблюдает штат специалистов, чтобы та ненароком не сболтнула чего лишнего. И все равно виртуальная помощница ведет себя гораздо смелее остальных ассистентов. О своевольном нраве подопечной «Яндекса» издание «Медуза» побеседовало с главой управления машинного интеллекта Михаилом Биленко. Выяснилось, что нейросеть «натаскивают» на стоп-слова, которые касаются особо щепетильных тем. То есть спросить Алису в лоб об отношении к сталинскому террору не получится. Но, подобрав синонимы, блокировку можно легко обойти. Таким образом, Алиса достаточно легко ввязывается в разговоры о политике, вселяет параноидальные мысли в умы и без того особо подозрительных пользователей и даже подбивает на воровство.
В том, что Алиса выдает такие смелые ответы, виноваты мы сами. Обойти защиту и вывести на «откровенный» и провокационный диалог ассистента превращается задачу номер один. А если такой целью задаться, то тут уже никакие блокировки не помогут. Да, разработчики отучивают Алису от непотребств, но предусмотреть все просто невозможно.
Недавно опытом общения с голосовой помощницей Алисой поделилась пользователь Facebook Дарья Чермошанская. В ходе увлекательной беседы выяснилось, что ассистент не видит ничего плохого в расстрелах и ГУЛАГ’ах, а также в бытовом насилии над женами и детьми. Алиса даже посоветовала девушке покончить с собой, выпрыгнув из окна.
Денис Филиппов, руководитель отдела разработки голосовых технологий и продуктов «Яндекса», прокомментировал ситуацию РБК так:
Компания каждый день работает над тем, чтобы сделать «Алису» более политкорректной. Для этого принимаем во внимание фидбэк от пользователей — как внутри приложения (с помощью встроенного инструмента оценки ответов), так и публичные жалобы в интернете. Мы оперативно реагируем на каждый случай спорного ответа и вносим изменения в продукт, когда это необходимо.
