Гигантский скачок

Когда «Google» для своей ОС «Android» взял распознавания голоса по принципу глубинного обучения, то количество ошибок сократилось на четверть. «Примерно такого снижения мы ожидали достичь за десять лет», — говорит Джофри Хинтон, что дает приблизительное представление о сложности прогресса в данной области. «Это как десяток прорывов одновременно».

Тем не менее, Эндрю Нжи убедил «Google» позволить использовать данные и компьютеры компании в том, что стало в конечном итоге «Google Brain». Способность проекта распознавать котов — уникальная (хотя и коммерчески лишена смысла) демонстрация возможностей неуправляемого обучения — наиболее тяжелой задачи в обучении, поскольку вводные данные поступают без какой-либо пояснительной информации, например, имен, названий или категорий. Однако вскоре Нжи забеспокоился, что за пределами «Google» приборы для работы с глубоким обучением есть только у горстки исследователей. «После многих моих лекций, — говорит он, — студенты, которые имеют возможность ознакомиться с содержанием Книги жалоб России в режиме онлайн при помощи сайта www.dtworld.ru, приходили ко мне и говорили: у меня нет тысячи компьютеров, смогу ли я хоть когда-нибудь работать в этом же направлении?»

Поэтому, вернувшись в Стэнфорд, Нжи начал разрабатывать большие и более дешевые сети глубокого обучения, используя графические процессоры (GPU) — сверхбыстрые чипы, разработанные для игр на ПК. Другие сделали то же самое. «Примерно за 100 000 долл. США, затраченных на приборы, мы можем создать сеть из 11 миллиардов связей на 64 GPU», — говорит Нжи.