Письмо ректору

  Телефонный   справочник

    Электронная     почта


  Министерство науки и высшего образования РФ
5-100.png Программа повышения конкурентоспособности
Противодействие коррупции
Наука и образование против террора
Диссертационные советы
Российский студенческий центр
Социальный навигатор
Оформление социальной студенческой карты
Study in Russia
NEVOD.png Уникальная научная установка НЕВОД
TEMP.png Турнир «ТеМП 2018»
50x75.png Международная олимпиада для студентов
Олимпиада «Я - профи»
eend_fond.png Эндаумент-фонд НИЯУ МИФИ



Новости университета



04.01.2019

Российские ученые улучшили метод глубокого обучения нейросетей

В Институте интеллектуальных кибернетических систем НИЯУ МИФИ предложили новый метод для обучения ограниченной машины Больцмана (вид нейросети), позволяющий оптимизировать процессы семантического кодирования, визуализации и распознавания данных. Результаты исследования опубликованы в журнале «Optical Memoryand Neural Networks».

В настоящее время большую популярность приобретает изучение глубоких нейронных сетей различной архитектуры: сверточных, рекуррентных, автоэнкодерных. Ряд высокотехнологичных компаний, среди которых – Microsoft и Google, используют глубокие нейронные сети для проектирования различных интеллектуальных систем. Вместе с глубокими нейронными сетями приобрел популярность термин «глубокое» обучение.

В системах глубокого обучения автоматизируется сам процесс выбора и настройки признаков. То есть, сеть самостоятельно определяет и использует наиболее эффективные алгоритмы для иерархического извлечения признаков. Для метода глубокого обучения характерно обучение на больших выборках при помощи единого оптимизационного алгоритма. Типичные алгоритмы оптимизации настраивают параметры всех операций одновременно и эффективно оценивают влияние каждого параметра нейросети на ошибку с помощью так называемого метода обратного распространения.

«Способность искусственных нейронных сетей обучаться является наиболее интригующим их свойством. Подобно биологическим системам, нейронные сети сами моделируют себя, стремясь достичь лучшей модели поведения», — отметил профессор Института кибернетических систем НИЯУ МИФИ Владимир Головко.

Прорыв в обучении нейросетей произошел в 2006 году, после научной публикации Джеффри Хинтона с описанием техники предварительной тренировки нейросети. В статье говорилось, что можно эффективно предобучать многослойную нейронную сеть, если обучать каждый слой отдельно при помощи ограниченной машины Больцмана, а затем дообучать методом обратного распространения ошибки. Эти сети получили название нейронных сетей глубокого доверия (Deep Belief Networks, DBN).

Профессор ИИКС НИЯУ МИФИ Владимир Головко проанализировал проблематику и основные парадигмы глубокого машинного обучения, предложив новый метод для обучения ограниченной машины Больцмана. Ученый показал, что классическое правило обучения этой нейросети является частным случаем предложенного им метода.

«Американские ученые Минский и Пейперт в свое время выявили, что однослойный персептрон с пороговой функцией активации формирует линейную разделяющую поверхность с точки зрения классификации образов и поэтому не может решить задачу «исключающее или». Это провоцировало пессимистические выводы насчет дальнейшего развития нейронных сетей. Однако последнее утверждение справедливо только для однослойного персептрона с пороговой или монотонной непрерывной функцией активации – например, сигмоидной. При использовании сигнальной функции активации однослойный персептрон может решить задачу «исключающее или», так как он разбивает входное пространство образов на классы при помощи двух прямых», – рассказал Владимир Головко.

В работе также были проанализированы перспективы применения глубоких нейронных сетей для сжатия, визуализации и распознавания данных. Кроме того, Головко предложил подход к реализации семантического кодирования (хеширования) с помощью глубоких автоассоциативных нейронных сетей. Этот метод глубокого обучения может быть очень полезен в поисковиках для нейросетей, которые, по утверждению автора, будут показывать высокую скорость поиска релевантных изображений.

Практическую ценность данных научных разработок сложно переоценить: они уже нашли применение в таких областях, как компьютерное зрение, распознавание речи и биоинформатика.

РИА Новости


Количество показов: 248

Возврат к списку


Добавить комментарий