Алгоритмы машинного обучения

Какая теория обучения машин правильная? 26 Январь 2016, 10:24
Джоф Хинтон считает, что логику работы нашего мозга можно запечатлеть в одном алгоритме, и работает последние 40 лет в его поисках. Изначально его сфера — психология, однако теперь он занимается наукой о компьютерах и распределяет свое время между Google и Университетом Торонто. Он рассказывает о том, как однажды пришел домой очень возбужденный с криком «Я сделал это! Я понял, как работает мозг!», на что получил ответ от его дочери: «Ох, папа, только не снова!». Однако, несмотря ни на что, его усилия начинают приносить плоды.

Коннекшионисты 

Метод обратного распространения ошибки — основанный на работе мозга алгоритм обучения, в разработке которого участвовал профессор, набирает огромную популярность. Его переименовали в «Глубинное обучение» (Deep Mind) и используют в Google, Facebook, Microsoft и Baidu, среди всего прочего, для того, чтобы интерпретировать изображения и речь, а также при выборе поисковых результатов и рекламы для пользователя.

DeepMind — стартап, приобретенный Google за 400 миллионов долларов, по сути, является магазином по продаже этого алгоритма.

Хинтон возглавляет группу коннекционистов (connectionists) — школу в сфере обучения машин, которая исходит из того, что все наши знания заключены в связях между нейронами. Самые оптимистичные из коннекционистов считают, что метод обратного распространения ошибки — это «основной алгоритм»: алгоритм, способный получать знания из информации, а, соответственно, автоматизирующий весь процесс открытия новых знаний. Однако менее увлеченные люди все же признают, что пока до алгоритма такого уровня им еще далеко и другие группы исследователей имеют другое представление о том, как до него добраться.

Эволюционисты

Возьмем эволюционистов. Джон Холланд из Университета Мичигана возглавлял их до своей смерти в августе 2015, и они считают, что эволюция, а не сам мозг, является основным алгоритмом. Метод обратного распространения ошибки может быть неплох для налаживания связей между нейронами, но эволюция создала всю жизнь на Земле. 

Еще в 60-х Холланд начал попытки симулировать эволюцию на компьютере, используя целые популяции соперничающих индивидов, разные показатели физического развития и репродуктивности между соперничающими. К середине 90-х его последователи достигли успехов в эволюционировании, например, радио приемников и усилителей из случайного набора деталей, попутно запатентовав впечатляющее количество технологий. Сейчас их главная задача — эволюционирование реальных роботов, лучший из каждого поколения которых будет программировать 3D принтер на создание улучшенной версии. Если Т-1000 из Терминатора 2 когда-то появится на свет, то наверняка приблизительно таким способом.

Однако большая часть ученых, занятых проблемами обучения машин, считают, что имитация биологии — будь это мозг или эволюция — это, по меньшей мере, очень долгий путь к основному алгоритму. Лучше пытаться решить проблему используя основные известные принципы и все, что нам известно о вычислительной технике, логике и статистике.

Байесианцы

Для Байесианцев создание основного алгоритма сводится к максимально эффективному применению теоремы Байеса, математического правила того, как мы увеличиваем силу веры в гипотезу при появлении нового ее подтверждения. Эту группу в статистике долгие годы не уважали, однако сейчас она набирает популярность и продолжает настаивать на том, что если алгоритм обучения не соответствует теореме Байеса, то он неправильный.
Использование для компьютерного обучения достаточно сложной гипотезы было за пределами их возможностей до того момента, как профессор Джуди Перл из Университета Калифорнии в Лос Анджелесе совершила открытие, за которое получила премию Тьюринга — Нобелевскую мира компьютерной науки — в 2011-м году.

Созданная ею Байесовая сеть (Pearl’s Bayesian networks), как ее назвали, может рассчитывать вероятности исхода с использованием этих переменных без малейших проблем. Велика вероятность того, что ваша первая машина с автопилотом будет ею пользоваться.

Символисты

При этом, даже Байесовая сеть не может переубедить символистов, группу, которая ближе всего к классическому, основанному на знаниях ИИ (искусственному интеллекту). Ее представители, как, например, Стивен Магглтон из Имперского колледжа Лондона, считают, что действительно многофункциональный обучающийся алгоритм должен свободно комбинировать различные правила, и они ищут эти правила, заполняя пробелы в дедуктивной логике: если я знаю, что Сократ человек, то что я должен знать, чтобы прийти к выводу о том, что он смертный? Что люди смертны, конечно же. И теперь можно добавить это правило в нашу базу знаний. 

Робот-ученый Ив (Eve) из Университета Манчестера работает на этом принципе. Начав с базовых знаний о молекулярной биологии, она формулирует гипотезы, проводит эксперименты, чтобы их протестировать, и все это без человеческой помощи. В 2014-м году Ив открыла новое лекарство от малярии.

Аналогисты

Если алгоритмы символистов эмулируют мыслительный процесс ученых, то аналогисты — представители пятого и последнего ответвления изучения компьютерного обучения — скорее эмулируют ленивого ребенка, который не готовится к экзамену, а потом списывает все ответы.

Столкнувшись с определенном диагнозом у пациента, основанные на аналогии алгоритмы находят в своей базе пациента с наиболее похожими симптомами и предполагают, что диагноз должен быть таким же. Это может показаться наивным, однако у аналогистов есть математические доказательства того, что их алгоритмы могут научиться всему при должном количестве информации.

Однако информации нужно действительно много, поэтому они работают над более сложными формами рассуждений на основе аналогий. Дуглас Хофстадтер, когнитивный ученый и автор книги Гёдель, Эшер, Бах, за которую он получил Пулитцеровскую премию, уверен, что именно аналогия есть основной алгоритм.

Кто выиграет гонку? Возможно, ни одна из основных школ не располагает всеми кусочками пазла. Скорее всего, потребуется комбинация всех вышеперечисленных идей: объединенная теория обучения машин сродни стандартной модели физики или центральной догме биологии. А, возможно, потребуется абсолютно новый взгляд, возможно, даже не профессионального исследователя, а обычного студента аутсайдера вроде Джофа Хинтона в те времена, когда он начинал свою работу.

Перевод http://www.wired.co.uk/