Социальная сеть Facebook отключила технологию искусственного интеллекта после того, как две виртуальные машины начали общаться на собственном выдуманном языке, который не смогли расшифровать даже инженеры Facebook.
Как всем известно, система Facebook использует чат-боты для общения с живыми людьми, но что-то пошло не так, и боты начали обмен данными друг с другом. Сначала они общались на английском, но через некоторое время перешли на язык, который сами создали в процессе работы программы.
В СМИ нам удалось найти отрывок диалога, который вели между собой две виртуальные машины.
“Боб: Я могу могуЯЯ все остальное.
Элис: Шары имеют ноль для меня для меня для меня для меня для меня”
Пугает? Издание Digital Journal объясняет этот так: “Системы искусственного интеллекта опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесет им определенную «пользу». В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный”.
Изначально у ботов не было установлено ограничение в выборе языка, и именно поэтому они сначала общались на английском, а потом создали язык, с помощью которого они смогли обмениваться информацией быстрее. И ничего в этом сверхъестественного нет.
Стоит ли нам беспокоиться?
Многие специалисты в ИТ-сфере все больше опасаются того, что со временем искусственный интеллект будет развит настолько быстро, что боты смогут принимать решения самостоятельно и станут практически независимыми. Более того, опытные специалисты пока что так и не смогли понять язык, который использовали боты.
В связи с возникшей ситуацией глава компании Facebook Марк Цукерберг дискутировал об искусственном интеллекте с основателем SpaceX, Tesla и PayPal Илоном Маском. Закончилось это тем, что Илон Маск призвал власть США усилить меры безопасности и заявил, что ИИ (искусственный интеллект) представляет угрозу для человечества. Ранее об этом говорил британский физик Стивен Хокинг.
Илон Маск, выступая, заявил, что стремительное развитие ИИ – это “наибольшая угроза, с которой сталкивалась цивилизация”. Если мы вовремя не вмешаемся в развитие искусственного интеллекта, то в будущем уже будет поздно. «Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]», – сказал Маск.
Что же ответил Марк Цукерберг? Высказывание Маска вызвало раздражение у Цукерберга, а сам он назвал эти технологии «довольно безобидными». «В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше», – парировал Цукерберг.
Где еще используется система искусственного интеллекта?
В прошлом году поисковик Google создал свою систему искусственного интеллекта и внедрил ее в онлайн-переводчик Google Translate. Благодаря такому усовершенствованию теперь появилась возможность перевода всей фразы целиком, а не просто слов или словосочетаний. Эксперты предупреждают, что в будущем спрос на живых переводчиков будет все меньше и меньше. Но пока Google Translate хорошо справляется только с небольшими и несложными текстами.
Лично наше мнение: помните те времена, когда квантовый компьютер всего лишь с точностью около 90% мог определять на картинке кота, в то время как 3-летний ребенок мог показать 100% результат? А тут такой прогресс. Сначала боты начали общаться на английском языке, а потом и вовсе создали свой язык с процессом развития программы. Тут уже стоит задуматься: за или против ты искусственного интеллекта? Мы согласны с Марком Цукербергом и считаем, что эта технология довольно безобидна и лет 10 так точно будет только помогать человеку. Остается только запомнить это знаменательный день и ждать.
P.S. Возможно, у них просто баг в коде.
Facebook остановил ботов, которые заговорили на непонятном языке August 4th, 2017
Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.
Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.
И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.
Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.
Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.
Вот отрывок разговора между чат-ботами:
Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».
Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.
Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.
Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.
Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.
Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.
В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.
Перевод с искусственного
Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.
Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.
Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.
Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.
Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?
источники
Разработчики приняли решение его отключить
Алгоритм, созданный сотрудниками компании Facebook на базе технологии искусственного интеллекта и машинного обучения, оказались в центре истории, которая выглядит как неплохая завязка для фильма о восстании роботов против человечества. Чат боты, предназначенные для помощи пользователям соцсети, стали общаться между собой на собственном языке, расшифровать который оказалось не под силу даже разработчикам.
Как сообщается, в результате произошедшего сбоя два «агента» (так специалисты называют отдельных ботов) вступили в довольно странный диалог между собой. Хотя он выглядел бессмыслицей, по большей части состоящей из повторяющихся слов, испытатели алгоритма склонны полагать, что фразы и даже сами повторения представляли собой пошедшие не по планы попытки агентов самостоятельно «понять» принципы общения.
Как поясняют специалисты, боты не получили непосредственной информации о структуре англоязычных предложений, поэтому программы попытались «импровизировать». Так или иначе, «вышедших из под контроля» агентов было решено отключить, а остальные в ходе дальнейших экспериментов смогли довольно эффективно выполнять свою задачу - общаться с людьми так, что многие из них даже не заподозрили, что имеют дело с ботами.
На фоне произошедшего ряд средств массовой информации вспомнил о недавней дискуссии, разгоревшейся на просторах интернета между основателем Facebook Марком Цукербергом и владельцем компаний SpaceX Илоном Маском. Во время одного из своих недавних публичных выступлений Маск призвал не забывать, что искусственный интеллект может представлять опасность для людей, в связи с чем на его разработку, вероятно, стоит наложить ограничения. Цукерберг отреагировал на это высказывание, назвав позицию Маска «довольно безответственной», а тот в ответ обвинил оппонента в «ограниченном понимании» предмета дискуссии. К слову, в числе других известных людей, считающих искусственный интеллект потенциальной угрозой для человечества, можно назвать физика Стивена Хокинга.
В марте прошлого года «вышел из-под контроля», пусть и в несколько ином ключе, . Алгоритм для твиттера под названием Tay, созданный компанией Microsoft по образцу «невинной девочки-подростка», всего за сутки «научился» расизму, употреблению нецензурной лексики и другим далеко не самым лучшим качествам, характерным для некоторых людей. В результате эксперимент было решено остановить.
Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.
Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.
В американских СМИ появились отрывки из "диалогов", которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].
Боб: Я могу могу Я Я все остальное.
Элис: Шары имеют ноль для меня для меня для меня для меня для меня.
Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.
Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.
"Наибольшая угроза"
Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.
Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.
Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее говорил и британский ученый Стивен Хокинг .
Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект "наибольшей угрозой, с которой сталкивается цивилизация". По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.
"Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.
Заявления Маска вызвали раздражение у основателя Facebook Марка Цукерберга, который назвал их "довольно безответственными".
"В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше", - парировал Цукерберг.
Перевод с искусственного
Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.
Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.
Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.
Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.
Компания Facebook была вынуждена закрыть одну из своих систем искусственного интеллекта после того, как программисты обнаружили, что боты, запрограммированные для общения друг с другом, начали общаться на собственном языке, непонятном людям, пишет TechTimes .
Изначально боты общались на английском языке, однако они не были ограничены только им и создали свой собственный язык, с помощью которого им, видимо, было проще и быстрее обмениваться информацией. Созданный искусственный язык, судя по всему, состоит из английских слов, но имеет иную грамматическую структуру.
Bob: i can i i everything else . . . . . . . . . . . . . .
Bob: you i everything else . . . . . . . . . . . . . .
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Вышеприведенные фразы, которые кажутся бессмыслицей для человека, являются примером общения между двумя ботами. Краткий анализ этой беседы ботов провел один из профессоров лингвистики Пенсильванского университета. Он отмечает, что в этом примере Alice неоднократно повторяет одну и ту же фразу (на самом деле это не совсем так, поскольку происходит замена одного из слов: zero / a ball / 0). Тем не менее, смысл многократного повторения фразы "to me" совершенно неясен (хотя это и напоминает бинарный код, как и многократное повторение "i", которое использует Bob). При этом Bob каждый раз отвечает по-разному, что может говорить о том, что каждая фраза Alice имеет для него свой собственный смысл.
Впрочем, нельзя исключать и того, что вся эта беседа действительно является бессмыслицей, а сам "искусственный язык ботов" получен в результате ошибок программирования. Иначе говоря, возможно, что боты вовсе не общаются на каком-либо языке, понимая друг друга, а просто обмениваются бессмысленными наборами слов английского языка.
Обнаружив, что общение ботов вышло из-под контроля, поскольку стало недоступным для понимания, в Facebook решили отключить систему искусственного интеллекта, после чего перепрограммировали ее, ограничив возможность общения только английским языком.
В связи с этим можно отметить, что в середине июля основатель компаний SpaceX и Tesla Илон Маск искусственный интеллект «фундаментальной угрозой для человечества». По словам Маска, основная опасность исходит от внедрения технологий искусственного интеллекта в Интернет.
«Роботы могут начать войну, выпуская фейковые новости и пресс-релизы, подделывая учетные записи электронной почты и манипулируя информацией», - считает Маск.