Норико Араи: Сможет ли робот сдать вступительный экзамен в университет?

Сегодня я поговорю об искусственном интеллекте и о нас с вами. Исследователи ИИ всегда говорят, что людям не о чем беспокоиться, потому что роботы заменят человека только на «черных работах». Так ли это на самом ли деле? Еще они говорят, что ИИ создаст новые рабочие места, поэтому те, кто потерял работу, найдут новую. Конечно. Но главный вопрос в следующем: сколько человек, потерявших работу из-за ИИ, смогут найти новую, особенно когда ИИ поумнеет так, что станет учиться лучше, чем большинство из нас?

Позвольте задать вам вопрос: кто из вас думает, что ИИ сдаст вступительный экзамен в один из лучших университетов в 2020 году? Как много. Хорошо. Кое-кто может сказать: «Конечно, сдаст!» Сейчас оригинальность — это модно. А некоторые, возможно, скажут: «Может быть, потому что ИИ уже выиграл у лучшего игрока в го». А другие скажут: «Нет, никогда». Это значит, что мы пока не знаем ответа на этот вопрос, верно? Это дало старт моему проекту Todai Robot, суть которого — создать робота, который сдаст вступительный экзамен в Токийский университет, самый лучший университет Японии.

Это наш Todai-робот. Конечно, мозг робота находится на удаленном сервере. Сейчас он пишет сочинение в 600 слов о морской торговле XVII века. Неплохо звучит?

Почему я взяла вступительный экзамен в качестве ориентира? Потому что я подумала, что нам нужно изучить производительность ИИ в сравнении с человеком, особенно в тех областях, где, кажется, лишь люди могут преуспеть и только благодаря обучению. Чтобы поступить в Todai, Токийский университет, необходимо сдать два различных вида экзаменов. Первый — национальный стандартизированный тест с вариантами ответов на выбор. Необходимо получить высшие баллы по семи дисциплинам, я бы сказала, приблизительно 84% и более, чтобы быть допущенным ко второму этапу — письменному тесту, подготовленному Todai.

Позвольте, я сначала объясню, как работает современный ИИ, и для примера возьму телевизионную игру-викторину «Jeopardy!». Вот обычный вопрос «Jeopardy!»: «Название последней симфонии Моцарта совпадает с названием этой планеты». Примечательно, что вопрос викторины всегда содержит слово «этот, эта», например, «эта» планета, «эта» страна, «этот» рок-музыкант и так далее. Другими словами, «Jeopardy!» задает вопросы не разных типов, а только одного типа — так называемые «фактологические вопросы».

Кстати, а вы знаете ответ? Если не знаете, но хотите узнать, что вы сделаете? Погуглите, верно? Конечно. Почему бы нет? Но вам нужно выбрать подходящее ключевое слово, например, «Моцарт», «последняя», «симфония», чтобы вписать в строку поиска. Компьютер в основном делает то же самое. Страница Википедии будет на первом месте в рейтинге поиска. Затем компьютер считывает страницу. Нет.

К сожалению, ни один из современных ИИ, включая Watson, Siri и Todai Robot, не умеет читать. Но они хорошо справляются с поиском и оптимизацией. Он распознает, что ключевые слова «Моцарт», «последняя» и «симфония» появляются здесь чаще всего. Если он сможет найти слово, означающее планету в сочетании с этими ключевыми словами, это и должно оказаться ответом. Именно таким образом Watson находит ответ «Юпитер» .

Наш Todai-робот работает так же, но он немного сообразительнее в ответах на исторические вопросы, требующих ответа «да» или «нет», например: «Карл Великий победил венгров. Правда или вымысел?» Наш робот самостоятельно формулирует фактологический вопрос: «Карл Великий победил [таких-то людей]». Затем первыми в поиске оказываются «аварцы», а не «венгры». Получается, что это утверждение неверно. Наш робот не читает и не понимает, но по статистике во многих случаях он оказывается прав.

На следующем этапе письменного теста требуется написать сочинение объемом в 600 слов, как вот это:

[Обсудите взлеты и падения морской торговли в Восточной и Юго-Восточной Азии XVII века…]

Как я уже ранее упомянула, наш робот берет предложения из учебников и Википедии, комбинирует их и оптимизирует, создавая сочинение, ничего при этом не понимая.

Но, что удивительно, его сочинение лучше, чем у большинства студентов.

А как насчет математики? Полностью автоматизированная машина по решению математических задач была мечтой с момента появления термина «искусственный интеллект», но она очень долгое время оставалась на уровне арифметики. В прошлом году мы, наконец, смогли успешно разработать систему, которая решала задачи доуниверситетского уровня, как вот эта. Исходная задача записана на японском, нам понадобилось научить робота 2 тысячам математических аксиом и 8 тысячам японских слов, чтобы он смог воспринимать задачи, написанные на естественном языке. И сейчас он переводит такие задачи в формулы, считываемые компьютером. Странно, но, думаю, сейчас он уже может их решать. Иди и реши. Да! В данный момент он производит символьные вычисления. Еще более странно, но, наверное, для компьютера это самая забавная часть.

Теперь он выдает правильный ответ, хотя в его решении не под силу разобраться даже математикам. Как бы то ни было, в прошлом году наш робот попал в один процент лучших после письменного экзамена по математике на втором этапе.

Поступил ли он в Todai? Нет, как я и ожидала. Почему? Потому что он не понимает смыла того, что выдает. Сейчас я покажу его типичную ошибку при выполнении теста по английскому языку.

[Нейт: Мы почти в книжном магазине. Еще несколько минут. Сунил: Подожди. ______. Нейт: Спасибо. Вечно такое случается… ]

Разговаривают двое. Для нас, кто понимает, о чём идёт речь…

[1. «Мы долго шли». 2. «Мы почти пришли». 3. «У тебя явно дорогие ботинки». 4. «У тебя развязался шнурок».]

Очевидно, что правильный ответ — под номером 4, так? Но Todai-робот выбирает ответ под номером 2, даже выучив 15 млрд английских предложений с применением технологий глубокого обучения. Хорошо. Теперь вам понятно, что я имела в виду, когда говорила: «Современный ИИ не читает и не понимает». Он только притворяется, что он это делает.

На этом графике представлено распределение полумиллиона студентов, сдававших такой же экзамен, как и Todai-робот. Сегодня наш Todai-робот входит в первые 20%, и он смог бы поступить в более чем 60% японских университетов, но не в Todai. Но посмотрите, как он выделяется из обширной зоны будущих служащих, так называемых «белых воротничков».

Вы, наверное, думаете, что я в восторге. В конце концов, мой робот обошел всех студентов. А я, наоборот, забеспокоилась. Как вообще эта машина, не обладающая разумом, превзошла студентов, наших детей? Так? Я решила выяснить, что же происходит в мире людей. Я взяла сотни предложений из школьных учебников, составила легкие тесты-викторины и попросила тысячи старшеклассников ответить на эти вопросы.

Вот один из примеров.

[Буддизм распространился в …, христианство — в … и Океании, ислам — в …]

Конечно, изначально вопросы записаны на японском, их родном языке.

[ _____ распространился в Океании. 1. Индуизм. 2. Христианство. 3. Ислам. 4. Буддизм.]

Очевидно, что правильный ответ — христианство, так? Там же написано! Todai-робот выбрал правильный ответ. Но 1/3 младших учеников средней школы дали неправильный ответ. Думаете, подобная ситуация существует только в Японии? Я так не думаю, потому что Япония всегда получала высшие баллы в OECD PISA тестах, в которых оценивается успеваемость 15-летних учащихся по математике, наукам и чтению каждые три года.

Мы всегда верили в то, что каждый способен учиться, и учиться хорошо при условии, что мы обеспечиваем хорошими обучающими материалами, находящимися в свободном доступе в сети, то есть их можно найти в интернете. Но такие замечательные материалы могут помочь только тем, кто хорошо читает, а процент тех, кто хорошо умеет читать, может быть гораздо меньше, чем мы ожидали. Наше будущее сосуществование с ИИ должно быть тщательно продумано и основано на достоверных данных. В то же время нам нужно поторопиться, потому что время истекает.

Крис Андерсон: Спасибо, Норико.

Норико Араи: Спасибо.

КА: В своем выступлении вы так красиво рассказали о том, как ИИ думает, какие удивительные вещи он умеет делать и чего делать не умеет. Но правильно ли я понял, что, по-вашему, на самом деле мы нуждаемся в срочной революции в образовании с целью помочь детям делать то, что люди могут делать лучше ИИ?

НА: Да, да, да. Потому что мы, люди, способны понимать смысл. Это то, чего очень сильно не хватает ИИ. Но большинство студентов просто собирают знания без понимания их смысла, так что это не знание, а простое заучивание, на которое способен и ИИ. Поэтому мы должны задуматься о новом виде образования.

КА: Переход от знания, механического зазубривания к пониманию смысла.

НА: Да.

КА: Это задача для преподавателей. Большое спасибо.

Перевод: Алена Черных
Редактор: Юлия Каллистратова

Источник