Интересные факты

Использует ли наш мозг глубокое обучение для осмысления мира?

Разом же, когда доктор Блейк Ричардс услышал о глубоком обучении, он понял, что столкнулся не лишь с методом, который революционизирует ненастоящий интеллект. Он понял, что смотрит на нечто фундаментальное от мозга человека. Это было начин 2000-х, а Ричардс проводил курс в Университете Торонто совместно с Джеффом Хинтоном. Хинтону, какой стоял у истоков создания алгоритма, покорившего мир, предложили декламировать вводный курс о его методе обучения, вдохновленном человеческим мозгом.

Ключевые слова тут «вдохновленном мозгом». Несмотря на убежденность Ричардса, ставка играла против него. Мозг человека, будто оказалось, не имеет важной функции, которая программируется в алгоритмах глубокого обучения. На поверхности эти алгоритмы нарушали основные биологические факты, уже доказанные нейробиологами.

Однако что, если глубокое обучение и мозг на самом деле совместимы?

И вот, в новом исследовании, опубликованном в eLife, Ричардс, работая с DeepMind, предложил новоиспеченный алгоритм, основанный на биологической структуре нейронов в неокортексе. Кортекс, кора головного мозга, является домом для высших когнитивных функций, таких будто рассуждение, прогнозирование и гибкое мышление.

Команда объединила свои искусственные нейроны в многоуровневую сеть и поставила перед ней задачу классического компьютерного зрения — определять рукописные цифры.

Новоиспеченный алгоритм справился на пять. Но важно другое: он анализировал примеры для обучения этак, как это делают алгоритмы глубокого обучения, однако построен был полностью на фундаментальной биологии мозга.

«Глубокое обучение возможно в биологической структуре», заключили ученые.

Поскольку на текущий момент эта модель представляет собой компьютерный вариант, Ричардс надеется передать эстафету экспериментальным нейробиологам, которые могли бы проверить, работает ли подобный алгоритм в реальном мозге.

Если конечно, данные могут быть переданы компьютерным ученым для разработки массово параллельных и эффективных алгоритмов, на которых будут трудиться наши машины. Это первоначальный шаг по направлению к слиянию двух областей в «добродетельный хоровод» открытий и инноваций.

Розыск козла отпущения

Хотя вы наверняка слышали о том, что ненастоящий интеллект недавно обыграл лучшего из лучших в го, вы вряд ли знаете, будто именно работают алгоритмы в основе этого искусственного интеллекта.

В двух словах, глубокое обучение основано на искусственной нейронной сети с виртуальными «нейронами». Будто и высокий небоскреб, сеть структурирована в иерархии: нейроны низкого уровня обрабатывают ввод — так, горизонтальные или вертикальные черточки, образующие цифру 4, — а нейроны высокого уровня обрабатывают абстрактные аспекты цифры 4.

Чтоб обучить сеть, вы даете ей примеры того, что ищете. Сигнал распространяется по сети (поднимается по ступенькам здания), и любой нейрон пытается усмотреть нечто фундаментальное в работе «четверки».

Будто дети учатся чему-то новому, вначале сеть справляется не весьма хорошо. Она выдает все, что, по ее мнению, похоже на цифру четыре — и получаются образы в духе Пикассо.

Однако именно так протекает обучение: алгоритм сопоставляет вывод с идеальным вводом и рассчитывает разницу между ними (читай: ошибки). Ошибки «обратно распространяются» по сети, обучая любой нейрон, мол, это не то, что вы ищете, ищите лучше.

Спустя миллионы примеров и повторений, сеть начинает трудиться безукоризненно.

Сигнал ошибки крайне важен для обучения. Без эффективного «обратного распространения ошибки» сеть не будет знать, какие из ее нейронов ошибаются. В поисках козла отпущения ненастоящий интеллект улучшает себя.

Мозг тоже это делает. Однако как? Мы понятия не имеем.

Биологический тупик

Очевидно другое: решение с глубоким обучением не работает.

Обратное распространение ошибки — крайне важная функция. Она требует наличия определенной инфраструктуры для корректной работы.

Во-первых, любой нейрон в сети должен получать уведомление об ошибке. Однако в мозге нейроны соединены лишь с несколькими партнерами по нисходящему потоку (если вообще соединены). Чтоб обратное распространение работало в мозге, нейроны на первых уровнях должны воспринимать информацию от миллиардов соединений в нисходящих каналах — а это биологически невозможно.

Похожие новости  Китайские роботы-исследователи полетят на Луну вместо людей

И хотя отдельный алгоритмы глубокого обучения адаптируют локальную форму обратного распространения ошибки — по существу между нейронами — она требует, чтоб их соединение вперед и назад было симметричным. В синапсах мозга такого не происходит почитай никогда.

Более современные алгоритмы адаптируют несколько иную стратегию, реализуя отдельный линия обратной связи, который помогает нейронам находить ошибки локально. Хотя это более реализуемо биологически, у мозга дудки отдельной вычислительной сети, посвященной поиску козлов отпущения.

Однако у него есть нейроны со сложными структурами, в отличие от однородных «шаров», которые в сегодняшнее время применяются в глубоком обучении.

Ветвящиеся сети

Ученые черпают наитие из пирамидальных клеток, которые заполняют кору головного мозга человека.

«Большинство этих нейронов имеют форму деревьев, их «корни» глубоко уходят в мозг, а «ветви» выходят на поверхность», говорит Ричардс. «Что примечательно, корни получают одни наборы входных данных, а ветви другие».

Любопытно, однако структура нейронов зачастую оказывается «именно подобный, как нужно» для эффективного решения вычислительной задачи. Взять, к примеру, обработку ощущений: днища пирамидальных нейронов находятся там, где должны, для получения сенсорного ввода, а верхушки удобно расположены для передачи ошибок чрез обратную связь.

Может ли эта сложная структура быть эволюционным решением по борьбе с ошибочным сигналом?

Ученые создали многослойную нейронную сеть на основе предыдущих алгоритмов. Однако вместо однородных нейронов они дали ей нейроны средних слоев — зажатые между вводом и выводом — похожие на настоящие. Обучаясь на рукописных цифрах, алгоритм показал себя намного лучше, чем однослойная сеть, несмотря на отсутствие классического обратного распространения ошибки. Клеточные структуры самостоятельно могли установить ошибку. Затем, в нужный момент, нейрон объединял оба ключ информации для поиска лучшего решения.

В этом кушать биологическая основа: нейробиологи давным-давно знают, что входные ветви нейрона выполняют локальные расчеты, которые можно интегрировать с сигналами обратного распространения ошибки от ветвей вывода. Однако мы не знаем, этак ли работает мозг на самом деле — поэтому Ричардс поручил нейробиологам выяснить это.

Более того, эта сеть обрабатывает проблему похожим на традиционный метод глубокого обучения образом: использует многослойную структуру для извлечения прогрессивно более абстрактных идей о каждом числе.

«Это особенность глубокого обучения», объясняют авторы.

Глубоко обучающийся мозг

Без сомнения, в этой истории будет больше неожиданных поворотов, потому что компьютерные ученые вносят все больше биологических деталей в алгоритмы ИИ. Ричардс и его команда рассматривают прогностическую функцию сверху-книзу, когда сигналы с более высоких уровней непосредственно влияют на то, будто более низкие уровни реагируют на ввод.

Оборотная связь с верхними уровнями не лишь улучшает сигнализацию ошибок; она также может поощрять нейроны низшего уровня обработки трудиться «лучше» в режиме реального времени, говорит Ричардс. Покамест сеть не превзошла другие небиологические сети глубокого обучения. Однако это и не важно.

«Глубокое обучение оказало огромное воздействие на ИИ, но до сегодняшнего дня его воздействие на нейронауку было ограничено», говорят авторы исследования. Сейчас у нейробиологов будет повод прочертить экспериментальную проверку и узнать, лежит ли структура нейронов в основе природного алгоритма глубокого обучения. Возможно, в следующие десять лет начнется взаимовыгодный мена данными между нейробиологами и исследователями искусственного интеллекта.

Hi-News.ru — Новости высоких технологий.

Добавить комментарий