что такое тест тьюринга кратко
Тест Тьюринга: в чем заключается и почему его так сложно пройти? Алан Тьюринг
Выражение «тест Тьюринга» иногда используется в более общем смысле для обозначения некоторых поведенческих исследований присутствия разума, мысли или интеллекта у предположительно разумных субъектов. Так, например, иногда высказывается мнение, что прообраз теста описан в «Дискурсе о методе» Декарта.
Кто придумал тест Тьюринга?
В 1950-м увидела свет работа «Вычислительные машины и интеллект», в которой впервые была предложена идея игры в имитацию. Тот, кто придумал тест Тьюринга, – английский ученый в области информатики, математик, логик, криптоаналитик и биолог-теоретик Алан Мэтисон Тьюринг. Его модели позволили формализовать концепции алгоритма и вычислений, а также внесли вклад в теории искусственного интеллекта.
Игра в имитацию
Тьюринг описывает следующий вид игры. Предположим, есть человек, машина и лицо, задающее вопросы. Интервьюер находится в комнате, отделенной от остальных участников, которые проходят тест Тьюринга. Цель теста состоит в том, чтобы задающий вопросы определил, кто является человеком, а кто машиной. Интервьюеру оба испытуемых известны под метками X и Y, но по крайней мере в начале ему неизвестно, кто скрывается за меткой Х. В конце игры он должен сказать, что Х – это человек, а Y – это машина, или наоборот. Интервьюеру разрешено задавать испытуемым вопросы теста Тьюринга следующего вида: «Ну будет ли Х любезен сказать мне, играет ли Х в шахматы?» Тот, кто является Х, должен отвечать на вопросы, адресованные Х. Цель машины состоит в том, чтобы ввести в заблуждение спрашивающего, и тот ошибочно сделал вывод о том, что она – человек. Человек же должен помочь установить истину. Об этой игре Алан Тьюринг в 1950 году сказал: «Я считаю, через 50 лет можно будет запрограммировать компьютеры с объемом памяти около 10 9 таким образом, что они успешно смогут играть в имитацию, и средний интервьюер с вероятностью, превышающей 70%, за пять минут не будет в состоянии угадать, кто является машиной».
Эмпирический и концептуальный аспекты
Конкурс Лебнера
Мало кто сомневается, что Алан Тьюринг был бы разочарован положением дел с игрой в имитацию к концу ХХ века. Участники конкурса Лебнера (ежегодного мероприятия, в ходе которого компьютерные программы подвергаются тесту Тьюринга) далеки от стандарта, представленного основоположником информатики. Беглый взгляд на протоколы участников за последние десятилетия показывает, что машину можно легко обнаружить с помощью не очень изощренных вопросов. Более того, наиболее успешные игроки постоянно заявляют о сложности конкурса Лебнера по причине отсутствия компьютерной программы, которая бы могла вести достойный разговор в течение пяти минут. Общепризнанным является факт, что конкурсные приложения разрабатываются исключительно с целью получения малого приза, присуждаемого лучшему участнику года, и на большее они не рассчитаны.
Тест Тьюринга: прохождение затягивается?
К середине второго десятилетия XXI века ситуация почти не изменилась. Правда, в 2014 г. возникли претензии на то, что компьютерная программа Eugene Goostman прошла тест Тьюринга, когда она обманула 33% судей в соревновании 2014 г. Но были и другие разовые соревнования, в которых были достигнуты аналогичные результаты. Еще в 1991 году PC Therapist ввел в заблуждение 50% судей. И в демонстрации 2011 г. Cleverbot имел даже более высокий показатель успеха. Во всех этих трех случаях продолжительность процесса была очень мала, и результат не был надежен. Ни один из них не дал веских оснований полагать, что средний интервьюер с вероятностью более 70% правильно идентифицирует отвечающего в течение 5-минутного сеанса.
Метод и прогноз
Кроме того, и это гораздо важнее, необходимо различать тест Тьюринга и предсказание, которое он сделал о его прохождении к концу ХХ века. Вероятность правильной идентификации, интервал времени, в течение которого происходит испытание, и количество необходимых вопросов являются регулируемыми параметрами, несмотря на их ограничение конкретным прогнозом. Даже если основоположник информатики был очень далек от истины в предсказании, которое он сделал о ситуации с искусственным интеллектом к концу ХХ века, вполне вероятна справедливость предложенного им метода. Но прежде чем одобрить тест Тьюринга, следует рассмотреть различные возражения, которые необходимо учесть.
Обязательно ли уметь говорить?
Некоторые люди считают тест Тьюринга шовинистическим в том смысле, что он признает разум только в объектах, которые способны поддерживать беседу с нами. Почему не могут существовать разумные объекты, неспособные вести разговор, или, во всяком случае, беседу с людьми? Возможно, мысль, стоящая за этим вопросом, верна. С другой стороны, можно предположить наличие квалифицированных переводчиков для любых двух интеллектуальных агентов, говорящих на разных языках, позволяющих вести любой разговор. Но в любом случае обвинение в шовинизме совершенно к делу не относится. Тьюринг утверждает лишь то, что если что-то может вести беседу с нами, то у нас есть веские основания полагать наличие у него сознания, подобного нашему. Он не говорит, что только способность вести беседу с нами свидетельствует о потенциальном обладании разумом, похожем на наш.
Почему так легко?
Другие считают тест Тьюринга недостаточно требовательным. Существуют анекдотичные доказательства того, что совершенно бестолковые программы (например, ELIZA) могут казаться обычному наблюдателю обладателями интеллекта в течение достаточно продолжительного времени. Кроме того, за такое короткое время, как пять минут, вполне вероятно, что почти все интервьюеры могут быть обмануты хитрыми, но совершенно неразумными приложениями. Однако важно помнить, что программа тест Тьюринга не может пройти, обманув «простых наблюдателей» в иных условиях, чем те, в которых проверка должна происходить. Приложение должно быть в состоянии выдержать допрос того, кто знает, что один из двух других участников беседы является машиной. Кроме того, программа должна выдерживать такой допрос с высокой степенью успешности после многократного числа испытаний. Тьюринг не упоминает о том, какое конкретно количество тестов потребуется. Однако можно смело предположить, что их число должно быть достаточно большим, чтобы можно было говорить о среднем значении.
Если программа способна на это, то кажется правдоподобным утверждение, что мы, по крайней мере предварительно, будем иметь основания предполагать присутствие интеллекта. Возможно, стоит подчеркнуть еще раз, что может существовать умный субъект, в том числе и умный компьютер, тест Тьюринга пройти не сумевший. Можно допустить, например, существование машин, которые отказываются лгать по моральным соображениям. Поскольку предполагается, что участник-человек должен делать все возможное, чтобы помочь интервьюеру, то вопрос «Вы – машина?» позволит быстро отличить таких патологически правдивых субъектов от людей.
Почему так сложно?
Есть и сомневающиеся в том, что машина когда-либо сможет пройти тест Тьюринга. Среди выдвигаемых ими аргументов – различие времени распознавания слов на родном и иностранном языке у людей, способность ранжировать неологизмы и категории и наличие других особенностей человеческого восприятия, которые трудно симулировать, но которые несущественны для наличия разума.
Почему дискретная машина?
Еще одним спорным аспектом работы теста Тьюринга является то, что его обсуждение ограничено «цифровыми компьютерами». С одной стороны, очевидно, что это важно лишь для прогноза, а не касается подробностей самого метода. Действительно, если тест достоверный, то он подойдет для любой сущности, в том числе для животных, инопланетян и аналоговых вычислительных устройств. С другой стороны, весьма спорно утверждение о том, что «думающие машины» должны быть цифровыми компьютерами. Также вызывает сомнения то, что так полагал сам Тьюринг. В частности стоит отметить, что седьмое возражение, рассматриваемое им, касается возможности существования машин непрерывных состояний, которые автор признает отличными от дискретных. Тьюринг утверждал, что даже если мы являемся автоматами непрерывных состояний, то дискретная машина сможет хорошо подражать нам в игре в имитацию. Однако кажется сомнительным, что его соображения достаточны для того, чтобы установить, что при наличии машин непрерывных состояний, прошедших тест, можно сделать дискретный конечный автомат, который также успешно справится с этим испытанием.
В целом, важным моментом представляется то, что хотя Тьюринг признавал наличие значительно более обширного класса машин, помимо дискретных конечных автоматов, он был уверен в том, что правильно спроектированный дискретный автомат может преуспеть в игре в имитацию.
Тест Тьюринга глазами очевидца
В истории науки об управлении и связи в живом организме и машине — кибернетики — 7 июня 2014 года произошло эпохальное событие: тест для определения искусственного интеллекта, придуманный британским математиком Аланом Тьюрингом 64 года назад, был пройден.
Участники ТТ 07.06.2014, организованного британским Университетом Рединга. Фото: Альберт Ефимов
Важность этого события трудно переоценить, несмотря на то, что преодоление этого важного рубежа мало кем было замечено. Прежде, чем перейти непосредственно к событию, давайте я немного расскажу о развитии исследований интеллекта и о том, что есть тест Тьюринга.
Отгремела последняя мировая война. В пекле этой войны родились все великие инновации 20 века, которые определили дальнейший ход развития технологий: реактивный полет, космические ракеты, атомная энергия, радиолокация, компьютеры.
Алан Тьюринг, математик, был одним из разработчиков первых ЭВМ. Именно с помощью этих электронных вычислителей союзники читали немецкую шифрованную переписку как открытую книгу. Важность таких разработок стала очевидна в то время.
Задумавшись о развитии этих машин, Тьюринг поставил важнейший вопрос: может ли машина мыслить? Затем этот общий вопрос он свел к другому, более простому: можно ли сделать так, что мышление машины (и речь, как отражение мышления) стало невозможно отличить от мышления (и речи) человека? Может ли человек спутать, с кем он говорит — с машиной или с человеком?
Алан Тьюринг был странным и необычным математиком. Его статья «Computing machinery and intelligence», написанная в 1950 году, не утратила актуальности и по сей день: мы так же постоянно спорим о том, имеет ли машина мышление?
Стандартная интерпретация теста Тьюринга (ТТ), согласно «Википедии», звучит так: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».
Тьюринг посчитал, что к 2000 году машины будут способны ввести в заблуждение 30% собеседников при условии длительности беседы не более 5 минут.
Желающие получить подробное представление о философии, которая лежит за этим тестом могут посмотретьзамечательный фильм, снятый в СССР, на эту тему.
C того времени предпринималось множество попыток преодолеть ТТ. Первая важнейшая веха была пройдена компьютерной программой ЭЛИЗА, созданной Джозефом Вейценбаумом.
Опять же, был снят гениальный документальный фильм Plug and Pray, который неоднократно демонстрировался на наших мероприятиях Открытым Университетом Сколково.
Прогресс в области изучения естественных языков и повышение мощности компьютеров привел к тому, что возможности для выполнения ТТ пришли с самого неожиданного направления — со стороны чатботов. Чатботы — это компьютерные программы, специально разработанные для моделирования диалога на естественном языке. Покупка и последующее превращение программы SRI в Siri (ПО, установленное в iPhone) — помогло развитию индустрии искусственных помощников. Сейчас активно развиваются приложения для диалога компьютера и человека: для развлечения, обучения, маркетинга и прочие. В «Сколково» есть пара многообещающих проектов на эту тему — «Наносемантика» и «Спиктуит».
Но основная цель, заданная Тьюрингом, до последнего времени оставалась недостижимой: чатботы были скучны и совершено банально демонстрировали машинный интеллект, отдающий жаром процессора и машинным маслом. До 7 июня 2014 года.
Снимок экрана домашней страницы чатбота «Евгений Густман».
В этот день рубеж был преодолен. Чатбот, созданный под руководством российского программиста Владимира Веселова, живущего и работающего в США, сумел преодолеть 30% барьер, установленный Тьюрингом более полувека назад.
Сам Владимир рассказал про себя, команду и свой чатбот следующее:
«Чатбот «Евгений Густман» был создан командой энтузаистов в 2001 году. В 2001 мы попали в финал Loebner Prize, где поделили 2-3 место с Эллой.
В состав команды входили: Евгений Демченко, Сергей Уласень, Михаил Гершкович, Джон Деннинг, Андрей Адащик, Игорь Быковских, Селена Семушкина. Графический образ создан Лореном Алкир (Laurent Alquier). Основная часть команды находится в Санкт Петербурге.
После этого программа и база знаний дорабатывались, исправлялись недостатки. В 2012-м году Густман победил в соревнованиях, посвященных 100-летию со дня рождения Алана Тьюринга, предсказавшего в 1950 году что к 2000-му году компьютеры смогут имитировать человека так, что средний собеседник с вероятностью более 30% будет принимать робота за человека в течение пяти минут диалога. В 2012 результат был 29.2 %, в 2014 — 33.3%.
Программа «Евгений Густман» состоит из базы знаний, которая имеет около трех тысяч шаблонов распознавания фраз пользователя. Это довольно немного, по сравнению с другими чатботами. Мы использовали также различные методы управления диалогом, которые позволяют имитировать именно человека, а не поисковую машину. Евгений старается направить беседу в нужное ему русло, стараясь создавать такие ситуации, когда его фраза выглядят человекоподобно. При короткой продолжительности беседы — 5 минут — такой подход часто срабатывает».
Владимир Веселов закочнил Военный Инженерно-Космический Институт им. А.Ф. Можайского, служил на Байконуре, закончил адъюнктуру ВИКА им. А.Ф. Можайского, работал программистом, научным сотрудником. В данный момент является разрабочиком программного обеспечения в компании Amazon Web Services.
ТТ проходил следующим образом: команда ученых-организаторов теста под руководством профессора Кевина Варвика и его ассистента Хумы Шан собрала судей (30 человек, поделенных на 4 смены) и «скрытых людей», которые должны были вести диалог. В тесте участвовало также пять чатботов, которые общались на английском языке.
Тест Тьюринга. Иллюстрация: сайт Университета Рединга
Каждый судья имел перед собой экран монитора, разделенный на две части. Судья должен был вести диалог одновременно с двумя «сущностями». При этом было неизвестно, кто из них компьютер, а кто — человек. Ровно, как в классическом тесте. Через пять минут окна отключались. Судья заполнял анкету и потом приступал к оценке следующей пары. Основная задача — определить, с кем шел диалог: с машиной или же с человеком.
Программа, созданная Владимиром Веселовым и его коллегами, смогла ввести в заблуждение ровно треть всех судей, присутствовавших на мероприятии. Поверьте, большей концентрации профессоров кибернетики я видел только на собраниях академии наук.
Подошли к концу четыре смены оценки, оргкомитет принялся подсчитывать бюллетени.
После всех церемоний я подошел к профессору и уточнил: действительно ли произошедшее означает, что ТТ окончательно пройден? «Да, — ответил профессор Варвик. — Мы специально пригласили судей и независимых наблюдателей — уважаемых ученых, чтобы все было сделано правильно и никаких сомнений не оставалось. Именно так: тест Тьюринга, пройден. Причем с оценкой значительно превосходящей — на 10% — оценку, данную самим Тьюрингом».
В целом, можно сказать, что для оценки искусственного интеллекта теперь надо придумывать другие тесты.
Скажу еще несколько слов о значении этого события для будущего. Прежде всего, это означает, что проникновение информационных систем в межчеловеческое общение ускоряется. Через пять лет уже невозможно будет сказать, общаетесь вы с живым оператором контактного центра или с машиной. Разницу будет можно почувствовать лишь через 5 минут общения. Второе — срочно необходимо решать вопрос с проведением ТТ на русском языке. Сейчас мы явно отстаем от зарубежных коллег, ведущих исследования ИИ на английском языке. Соревновательный подход, практикуемый на родине спорта — Британии — явно показал свою эффективность. Может быть, нам в Сколково стоит взять инициативу в свои руки и впервые провести ТТ на русском языке?
Тест Тьюринга
Предполагается, что тест Тьюринг пройден, если человек при общении с машиной считает, что общается с человеком, а не машиной.
Британский математик Алан Тьюринг в 1950 г. придумал такой эксперимент по аналогии с имитационной игрой, которая предполагает, что 2 человека уходят в разные комнаты, а 3й человек должен понять кто где, общаясь с ними письменно.
Тьюринг предложил такую игру провести с машиной и, если машина сможет ввести в заблуждение эксперта, это будет означать, что машина может думать. Таким образом, классический тест проходит по следующему сценарию:
Человек-эксперт общается через чат с чат-ботом и другими людьми. По окончании общения эксперт должен понять, кто из собеседников был человеком, а кто — ботом.
В наше время тест Тьюринга получил много разных модификаций, рассмотрим некоторые из них:
Обратный тест Тьюринга
Тест заключается в выполнении каких- либо действий для подтверждения, что ты человек. Н-р, мы можем часто сталкиваться с потребностью ввести цифры и буквы в специальное поле с искаженного изображения с набором цифр и букв. Данные действия защищают сайт от ботов. Прохождение данного теста подтверждало бы способность машины воспринимать сложные искаженные изображения, но пока таких не существует.
Тест бессмертия
Тест заключается в максимальном повторении личностных характеристик человека. Считается, что если характер человека максимально качественно скопирован, и его невозможно отличить от источника, то означает, что пройден тест бессмертия.
Минимальный интеллектуальный Signal-тест
Теста предполагает упрощенную форму ответов на вопросы — только да и нет.
Мета-тест Тьюринга
Тест предполагает, что машина «умеет мыслить», если она может создать что-то, что она сама хочет проверить на разумность.
Первое прохождение классического теста Тьюринга зафиксировано 6 июня 2014 года чат-ботом «Женя Густман», разработанным в Санкт-Петербурге. Бот убедил экспертов, что они общаются с 13-летним подростка из Одессы.
В общем, машины уже способны на многое, сейчас много специалистов работают в данном направлении и нас ждут все более интересные вариации и прохождения данного теста.
«Eugene Goostman» удалось пройти тест Тьюринга и убедить 33% судей в том, что с ними общается не машина. Программа выдавала себя за триннадцатилетнего мальчика по имени Евгений Густман из Одессы и смогла убедить беседовавших с ней людей в том, что выдаваемые ею ответы принадлежат человеку.
Тест проходил в Лондонском королевском обществе, его проведение организовал Университет Рединга, Великобритания. Авторами программы являются российский инженер Владимир Веселов, проживающий в настоящее время в США, и украинец Евгений Демченко, который живёт сейчас в России.
Как программа «Евгений Густман» прошла тест Тьюринга?
В субботу 7 июня 2014 года суперкомпьютер по имени Eugene попытался воссоздать интеллект тринадцатилетнего подростка — Евгения Густмана.
В тестировании, организованном Школой системной инженерии при Университете Рединга (Великобритания), участвовали пять суперкомпьютеров. Испытание представляло собой серию пятиминутных письменных диалогов.
Разработчикам программы удалось подготовить бота ко всем возможным вопросам и даже обучить его собирать примеры диалогов через Twitter. Кроме того, инженеры наделили героя ярким характером. Притворяясь 13-летним мальчиком, виртуальный «Евгений Густман» не вызывал сомнений у экспертов. Они поверили в то, что мальчик может не знать ответы на многие вопросы, ведь уровень знаний у среднего ребёнка существенно ниже, чем у взрослых. При этом его правильные и точные ответы списывали на необычную эрудицию и начитанность.
В тесте участвовали 25 «скрытых» людей и 5 чат-ботов. Каждый из 30-ти судей провёл по пять чат-сессий, пытаясь определить реальную природу собеседника. Для сравнения, в традиционном ежегодном конкурсе программ искусственного интеллекта на премию Лёбнера* участвует всего 4 программы и 4 скрытых человека.
Впервые программа с «юным одесситом» появилась ещё в 2001 году. Однако лишь в 2012 году она показала действительно серьёзный результат, убедив 29 % судей.
Данный факт доказывает, что в скором будущем, появятся програмы, которые будут способны без проблем пройти тест Тьюринга.
Тест Тьюринга — что это такое и зачем он нужен простыми словами.
Тест Тьюринга – это способ определения возможностей компьютера, а именно в области человеческого мышления и интеллекта.
Что такое ТЕСТ ТЬЮРИНГА — значение, определение простыми словами.
Простыми словами, Тест Тьюринга — это способ проверить, насколько машина разумна, и насколько близко она подходит под определение «Искусственный Интеллект (Разум)» в полном понимании данного термина.
Происхождение термина.
Тест был назван в честь Алана Тьюринга (1912 — 1954), английского математика, который внес огромнейший вклад в развитие информатики и теории искусственного интеллекта. Так же в честь этого великого человека названа самая престижная премия в области информатики – Премия Тьюринга.
Тест Тьюринга. В чем заключается суть теста?
Тест Тьюринга используется для измерения способности машины думать, что является важным понятием в философии искусственного разума. Тест будет считаться пройденным в том случае, если при общении с компьютером, живые люди не смогут понять, что с ними ведет беседу не человек, а машина.
Изначальная концепция теста заключалась в виде игры, и была примерно такова: 3 игрока, которые не видят друг друга. Способ их общения – напечатанный на листе текст. 2 игрока это люди, а один компьютер. Судья задет различные вопросы, а игроки отвечают. Так вот если судья не сможет определить кто из игроков машина, тест будет считаться пройденным.
Тест Тьюринга в наше время.
В наше время актуальность данного теста является тем моментом, который вызывает множество споров и дискуссий. Многие ученые, работающие в сфере создания искусственного интеллекта отказались от идеи уподобления машинного ума к человеческому, а пошли по отдельному направлению. Также, технический прогресс и возможности современных компьютеров сильно изменили требования к правилам проведения данного теста.
И все же, каждый год проходят различные мероприятия, куда ученые привозят свои программы, участвуют в тестах, и соревнованиях с целью определения лучшего создателя искусственного интеллекта.