Деб Рой: Рождение слова

Представьте, что вы могли бы запечатлеть свою жизнь на пленке – все, что вы сказали, все, что сделали – все в идеальном хранилище памяти у вас под рукой, чтобы вы могли вернуться в самые яркие моменты прошлого и заново пережить их или поискать в следах времени и найти какие-то тенденции в собственной жизни, которые до этого не были замечены. Так вот именно такое путешествие моя семья начала пять с половиной лет назад. Это моя жена и соратница Рупал. И в тот день, в ту минуту мы вошли в дом с нашим первым ребенком, нашим красавцем сынишкой. Мы вошли в дом с особой системой записи домашнего видео.

(Видео) Мужчина: «Окей».

Деб Рой: Этот момент, и тысячи других моментов, дорогих для нас, записаны в нашем доме, потому что в каждой комнате дома, посмотрев вверх, вы увидите камеру и микрофон, а если посмотрите вниз, вы получите вид комнаты сверху. Здесь наша гостиная, детская, кухня, столовая и весь остальной дом. И все это попадает в дисковый массив, созданный для продолжительной видеозаписи. Сейчас перед нами пролетает один день из жизни моего дома: от солнечного утра через вечер, освещенный электрическим светом, и, наконец, до гаснущих огней. На протяжении трех лет мы записывали от 8 до 10 часов в день, накопив приблизительно четверть миллиона часов аудио и видео на нескольких дорожках.

Так что вы видите часть, без сомнения, самой большой коллекции домашнего видео, записанной когда-либо. То значение, которое эти данные имеют лично для нашей семьи, и их воздействие уже стали колоссальными. И мы все еще постигаем их ценность. Бесчисленные моменты, снятые в естественной среде, без позирования – собраны здесь, и мы учимся находить и постигать их.

Но у этого проекта есть и научно-исследовательская задача – использовать эти необработанные долговременные данные для понимания процесса овладения ребенком речи – где ребенок — это мой сын. И вот, с множеством поправок на приватность для защиты каждого, кто был записан камерой, мы передали часть данных доверенной команде исследователей из MIT, чтобы мы могли начать выделять повторяющиеся элементы из этого массива данных, пытаясь понять влияние социальной среды на усвоение речи.

Итак, мы сейчас смотрим на одну из первых вещей, которую мы начали делать. Это мы с женой на кухне готовим завтрак. Мы перемещаемся в пространстве и во времени каждодневных событий, происходящих на кухне.

Чтобы адаптировать эти трудные для восприятия 90 000 часов видео к просмотру, мы используем анализ движения, чтобы выделить по мере движения во времени и пространстве то, что мы называем пространственно-временными червями. Этот прием стал частью нашего набора инструментов, который позволяет различить действия в этом массиве данных, и в том числе отследить траекторию, по которой мой сын двигался по дому, чтобы мы сосредоточили наши усилия по фиксации всего речевого окружения моего сына – всех слов, которые он слышал от меня, моей жены и нашей няни, и слов, которые он сам начал впоследствии воспроизводить. Вот так, благодаря технологии, информации и возможности с помощью техники записать транскрипцию устной речи, мы зафиксировали порядка 7 млн слов в наших домашних стенограммах. А теперь позвольте мне начать вместе с вами первое путешествие по записям.

Вы все, наверняка, видели такую замедленную съемку, где цветок зацветает на ваших глазах, если ускорить время. А я хочу показать вам расцветание речевой формы. Мой сын вскоре после первого дня рождения стал говорить «гага», что значило «вода». На протяжении последующего полугодия он медленно приближался к произношению полноценной формы слова «вода» («уотэ»). Сейчас полгода пролетят перед нами за 40 секунд. Здесь нет картинки, так что вы можете сконцентрироваться на звуке, на акустике движения от «гага» к «уотэ» (вода»).

(Звук) Ребенок: «Гагагагагага Гага гага гага гуга гуга гуга вада гага гага гуга гага уодэ гуга гуга уотэ уотэ уотэ уотэ уотэ уотэ уотэ уотэ уотэ».

Деб Рой: Он отлично с этим справился, не так ли?

Так вот, он выучил не только слово «вода». 24 месяца, первые два года, на которых мы сфокусировались, представлены картой из выученных им слов в хронологическом порядке. А так как у нас есть полные стенограммы, мы определили каждое из 503 слов, которые он научился воспроизводить ко второму дню рождения. Он рано начал говорить. Мы решили проанализировать, почему. Почему определенные слова появились у него в речи раньше других? Вот один из первых результатов, полученный нами немногим более года назад и нас немало удививший. Этот кажущийся легким график расшифровывается следущим образом: по вертикали отображена сложность фраз воспитателя исходя из длины этих фраз. Вертикальная ось – время.

Все данные мы организовали по следующему принципу: каждый раз, когда сын учил слово, мы возвращались во времени назад и отслеживали все речевые ситуации, в которых он слышал данное слово. И мы отмечали относительную длину фраз. Мы обнаружили любопытный феномен того, что речь воспитателя систематически устремлялась к минимальной сложности, как можно сильнее упрощая язык, а потом медленно возвращалась на прежний уровень. Удивительным было то, что каждый скачок, каждое падение почти в точности совпадало с моментом «рождения» каждого слова – слова за словом, систематически. Получается, что все три воспитателя – я, моя жена и наша няня – постоянно и, думаю, подсознательно изменяли свою речь, чтобы «встретить» ребенка в момент «рождения» слова и аккуратно подвести его к более сложному языку. Из этого следует масса выводов, но на один из них я хочу обратить особое внимание – получается, существуют удивительные циклы обратной связи. Конечно, мой сын учится у своей лингвистической среды, но и среда учится у него. Эта среда, люди, находятся в петле постоянной обратной связи, создавая что-то вроде строительных лесов, поддержки, что не было замечено до настоящего времени.

Но это мы рассматривали речевой контекст. Что же с визуальным? Мы сейчас посмотрим на то, что представляет наш дом в разрезе, как будто он кукольный. Мы взяли камеры с широкоугольными линзами «рыбий глаз», оптически подкорректировали изображение и получили трехмерную картинку нашей семейной жизни. Так что добро пожаловать в мой дом. Вот момент, пойманный многочисленными камерами. Мы сделали так, потому что хотели создать исчерпывающую машину памяти, чтобы можно было отмотать время назад и интерактивно перемещаться, и вдохнуть в систему видео-жизнь. Сейчас я хочу показать вам ускоренные 30 минут обычной жизни в гостинной. Это мы с сыном на полу. А это системы видеоанализа, отслеживающие наши движения. Мой сын оставляет за собой следы красного цвета, а я — зеленого. Сейчас мы на диване, смотрим через окно на проезжающие мимо машины. И наконец, мой сын играет в своих детских ходунках.

А сейчас мы заморозим движение, эти 30 минут, поместим время на вертикальную ось и получим вид этих следов взаимодействия, оставленных нами. Мы видим эти удивительные структуры – эти узелки двух цветных нитей, которые мы называем точками активного общения. Спиральную нить мы называем точкой активной самостоятельности. Мы считаем, что они влияют на то, каким образом усваивается язык. Что бы мы хотели сделать, так это понять взаимодействие между этими повторяющимися элементами и языком, который воспринимает мой ребенок, чтобы понять, можем ли мы предсказать, как структура того, в какой момент слова услышаны, влияет на то, когда они усваиваются. Другими словами, отношения между словами и их значениями в реальном мире.

Я покажу вам, как мы приближаемся к ответам на эти вопросы. На этом видео снова отслеживаются перемещения моего сына. Он оставляет за собой следы красного цвета. А вот около двери наша няня.

(Видео) Няня: «Ты хочешь воды?» (Ребенок: «А-а-а-а».) Няня: «Хорошо». (Ребенок: «А-а-а-а».)

Деб Рой: Она предлагает ему воды, и тут же два «червяка» устремляются в сторону кухни за водой. Мы использовали слово «вода», чтобы пометить тот момент, ту единицу действия. А теперь мы воспользуемся возможностями наших данных и отследим каждый раз, когда мой сын слышал слово «вода», и контекст, в котором он видел воду. Мы погрузимся в отснятый материал и отыщем каждый след активности, которая происходила в ситуации с наличием воды. Эти данные оставляют за собой своеобразный ландшафт. Мы называем это словесными ландшафтами. Это словесный ландшафт воды. Как видите, активность в основном происходила на кухне. Именно там «вырастают» эти большие вершины на картинке слева. Для сравнения, то же самое мы можем сделать с любым словом. Возьмем слово «пока» в значении «до свидания». Вот мы с вами приближаем камеру и оказываемся у входа в дом. И мы видим, как и можно было ожидать, различие в ландшафте, так как слово «пока» проявляется здесь более явно. Мы используем эти графики, чтобы начать предсказывать, в каком порядке происходит усвоение языка. Эта работа сейчас находится в процессе.

Это моя лаборатория в MIT, сейчас мы в нее заглянем. Это медиалаборатория. Моим любимым занятием стало снимать на видео любое пространство. Три ключевых участника этого проекта – Филип ДеКамп, Рони Кубат и Брэндон Рой. Филип помогал мне с визуализацией всего, что вы сейчас видите. Майкл Флайшман, также студент докторантуры из моей лаборатории. Вместе со мной он работал над анализом всего видео. Именно он заметил, что «тот способ, которым мы анализируем как язык соотносится с событиями, которые обеспечивают для него основу, мы можем использовать шире, чем в рамках твоего дома, Деб. Мы можем применить его в сфере СМИ». Таким образом наш эксперимент принял неожиданный характер.

Представьте себе масс-медиа как нечто, что обеспечивает общую основу, и вот вам рецепт переноса этой идеи в целую новую область. Мы стали анализировать телевизионный контент, применяя те же самые принципы, т.е. анализируя событийную структуру ТВ-сигнала: эпизоды шоу, рекламу – все компоненты, составляющие событие. Пользуясь спутниковыми тарелками, мы загружаем и анализируем значительную часть всего американского ТВ. И теперь не нужно обвешивать гостиную микрофонами, чтобы услышать разговоры. Вы просто используете публично доступные каналы социальных медиа.

Мы обрабатываем около трех миллиардов комментариев в месяц. И происходит волшебство. Есть событийная структура – то общее смысловое основание слов, которые звучат на телеканалах. Есть разговоры, объединенные конкретными темами. Мы используем семантический анализ. То, что вы видите сейчас, – это реальные результаты, полученные путем обработки данных. Каждая желтая линия показывает связь между чьим-то комментарием и элементом событийной структуры, переданной ТВ-сигналом. А теперь та самая идея получает развитие. Получаем словесный ландшафт, правда, на этот раз слова собраны не в моей гостиной. Теперь контекст, действия, образующие основу, являются ТВ-контентом, который дает импульс разговорам. То, что мы видим здесь, эти «небоскребы» являются комментариями, которые связаны с ТВ-контентом. Итак, тот же принцип, но в приложении к динамике коммуникации в совершенно другой сфере.

Так вот, на самом деле, вместо того чтобы, например, измерять контент по количеству телезрителей, мы получаем базовую информацию для понимания уровня вовлеченности в контент. И так же, как можно увидеть циклы обратной связи и динамику в рамках семьи, можно применить те же принципы и посмотреть на гораздо большие группы людей. Вот часть данных из нашей базы, лишь 50,000 из нескольких миллионов. Они соединены социальным графом, через открытые источники информации. Поместим данные на одну плоскость. На другой плоскости находится контент. Значит, у нас есть программы, спортивные события и рекламные ролики вместе со всей структурой связей между ними, образующие граф содержания. А вот и важный для нас третий аспект. Каждая из связей, представленных здесь, соединяет чьи-то слова с частью контента. Таких связей десятки миллионов. Они дают нам соединительный материал социальных графов и показывают их соотношение с контентом. Теперь мы можем исследовать эти структуры интересными способами.

Например, если мы отследим путь какой-либо части контента, которая вызвала чей-либо комментарий, а затем проследим путь этого комментария и посмотрим на весь социальный граф, который активизируется, а затем проследим его истоки, чтобы увидеть взаимосвязь между социальным графом и контентом, то мы увидим очень интересную структуру. Мы зовем это группой совместного просмотра. Этакая виртуальная гостиная, если хотите. И тут присутствует интереснейшая динамика. Здесь тоже связь не односторонняя. Элемент контента, событие сподвигает кого-либо сделать высказывание. Люди начинают обсуждать это между собой. В итоге, когда многие на этой волне, она возвращается и влияет на СМИ. Таким образом, мы получаются циклы, управляющие массовыми реакциями.

Еще один, совершенно иной пример: в нашей базе данных есть информация о реальном человеке, и мы находим по меньшей мере сотни, если не тысячи, таких людей. Мы дали этому человеку прозвище. Это хорошо подкованный любитель, медиа-критик, имеющий высокий рейтинг, большое количество читателей. Итак, множество людей читают его в сети, что делает его влиятельным. И эти люди проявляют склонность к обсуждению того, что показывают по ТВ. Таким образом, этот человек выступает связующим элементом между масс-медиа и социальными медиа.

Последний пример: порой элемент контента играет особую роль. Давайте посмотрим на следующий элемент – послание президента Обамы «О положении дел в стране», прозвучавшее всего пару недель назад. Рассматривая ту же совокупность данных на том же уровне, мы видим, что уровень вовлеченности аудитории в данную часть контента поистинне впечатляющ. Нация просто «взорвалась» обсуждениями в режиме реального времени, откликнувшись на трансляцию. И, конечно же, сквозь все эти связи «проплывают» неупорядоченные языковые единицы. Мы можем «просветить» полученное, как на рентгене, и получить пульс нации в реальном времени и оперативное восприятие общественных реакций в различных звеньях социального графа, активизирующихся посредством контента.

Если обобщить, то идея такова: так как мир становится технически все более оснащенным, мы приобретаем возможность собирать данные и выявлять связи между тем, что было сказано людьми, и контекстом этих высказываний. Отсюда возникает возможность видеть новые социальные структуры и динамику, не наблюдавшиеся ранее. Это схоже с созданием микроскопа или телескопа. Обнаруживаются новые структуры нашего с вами поведения в сфере коммуникации. Я считаю, что эта идея имеет широкое применение – от науки до бизнеса и государственного управления – и более того для нас как отдельных личностей.

А теперь вернемся к моему сыну. Когда я готовил свое выступление, он подглядывал из-за моего плеча. Я показал ему видео, которое подготовил для вашего просмотра, и попросил его разрешения на показ – он его дал. А затем я сказал: «Разве не потрясающе – вся эта база данных, все эти записи. Я передам все это тебе и твоей сестре». Она родилась двумя годами позже. «Вы сможете заглянуть в прошлое и заново пережить моменты, которые ваша биологическая память, возможно, никогда бы не сохранила в таком виде». Сын затих на мгновение. Я подумал: «Да что это со мной? Ему всего пять лет, он этого не поймет». И только я это подумал, как он посмотрел на меня снизу вверх и спросил: «То есть когда я вырасту, я смогу показать это своим детям?» Я подумал: «Вот это да! Какая волшебная эта вещь».

Я хочу закончить одним из памятных моментов нашей семьи. Первый раз, когда сын сделал больше двух шагов за раз, пойман видеокамерой. Я хочу кое на чем сосредоточить ваше внимание, пока я буду показывать видео. Суматошная среда, естественная жизнь. Моя мама готовит на кухне. И именно в коридоре я понимаю, что он сейчас сделает более двух шагов. Вы услышите, как я подбадриваю его, понимая, что сейчас произойдет. И происходит волшебство. Слушайте внимательно. Через три шага он тоже начинает понимать, что происходит что-то волшебное. И тут проявляется изумительная ответная реакция. Он делает вдох и шепчет «уау», а я инстинктивно отвечаю ему эхом. Теперь давайте перенесемся назад к тому памятному моменту.

(Видео) Деб Рой: «Эй, иди ко мне. Можешь? Ух ты! Ты так можешь?»

Ребенок: «Аа» (да).

Деб Рой: «Мама, он идет!»

Перевод: Эсма Хабурзания
Редактор: Мария Базилевская

Источник