Исследователь применил свой опыт игрового разработчика, чтобы оптимизировать запуск нейросетей на одном видеоускорителе

0
8

Исследователь применил свой опыт игрового разработчика, чтобы оптимизировать запуск нейросетей на одном видеоускорителе

Исследователи из Сассекского университета нашли способ моделирования нейронной активности, не прибегая к дорогостоящим ресурсам суперкомпьютеров. Научный сотрудник Джеймс Найт и профессор информатики Томас Новотны использовали опыт игровой индустрии и показали, как с помощью одного графического процессора можно смоделировать зрительную кору макаки с 4 миллионами нейронов и 24 миллиардами синапсов, что ранее было возможно только при использовании суперкомпьютера.

Проблема моделирования активности мозга заключается не только в нейронах, но и в синапсах, которые их, рассказал Найт.

«Синапсов, как правило, больше, чем нейронов, в 1000 или даже 10000 раз. Итак, если вы разработали относительно большую модель, у вас должно быть много памяти для хранения синапсов. Вот почему, как правило, большинство людей создают модели с использованием суперкомпьютеров».

ЧИТАТЬ ТАКЖЕ:  Линус Торвальдс выпустил Linux 5.11

Суперкомпьютеры дороги, кроме того, их не так много, поэтому часто возникает  очередь исследователей, ожидающих своей возможности поработать с ними.

Перед тем, как поступить в академические круги, Найт работал  инженером-программистом в Ideaworks Games Studio, адаптирующей Call of Duty для мобильных платформ. Он подумал, что процедурная генерация контента при разработке игр может помочь решить проблему памяти при моделировании синапсов. 

«Исходя из моего опыта, я знал, что процедурная генерация — это классический способ экономии памяти в игре, — рассказал Найт. — Мы поняли, что всякий раз, когда синаптические связи необходимы, их можно восстанавливать на GPU. Это экономит огромное количество памяти. Наша модель потребовала бы в 10 раз больше памяти, чем сейчас, если бы мы создавали ее традиционным способом».

ЧИТАТЬ ТАКЖЕ:  НАСА и Роскосмос договариваются об обмене, чтобы российские космонавты летали к МКС на корабле Crew Dragon от SpaceX

Смоделированные нейроны хранятся на графическом процессоре, но поскольку они передают данные через синапсы только тогда, когда достигают определенного уровня активности, графический процессор генерирует необходимые синаптические связи из памяти.

«Это особенно хорошо подходит для архитектур GPU, — подчеркнул Найт. — Похожий подход был использован российским математиком и нейробиологом Евгением Ижикевичем для моделирования коры больших полушарий в 2005 году. Но поскольку он не описал свою работу, было трудно понять, как он достиг результата, и его достижения не применялись к современному оборудованию».

Исследователи подчеркивают, что сегодня большое внимание в нейробиологии уделяется грандиозным проектам, включая основанный в 2013 году Human Brain Project, который координируется Федеральной политехнической школой Лозанны. Цель проекта — к 2023 году создать первую в мире модель мозга человека. Найт показал, что нейронную активность можно смоделировать при помощи обычной видеокарты — в данном случае Nvidia Titan RTX — которая доступна за несколько тысяч долларов. Он надеется, что исследование позволит большему количеству исследователей построить больше масштабных моделей и лучше понимать, как работает мозг.

ЧИТАТЬ ТАКЖЕ:  СМИ узнали об обсуждении Дуровым финансирования Telegram банками на «сотни миллионов долларов»

«Очень не хватает действительно крупномасштабных моделей, — отметил он. — Некоторые паттерны мозговой активности проявляются только тогда, когда у вас есть достаточно большая модель. Мы надеемся, что наша работа позволит более широкому кругу нейробиологов начать экспериментировать с большими моделями мозга не прибегая к суперкомпьютерам».

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь