Исследователи из России выяснили, что скорость и эффективность работы так называемых генеративных потоковых сетей (GFlowNets), способных ускорять разработку новых лекарств и решать задачи комбинаторной оптимизации, можно значительным образом повысить, если применять для их настройки классические алгоритмы обучения с подкреплением. Пресс-служба НИУ ВШЭ сообщила об этом. 

«Мы показали, что классические алгоритмы обучения с подкреплением работают сравнимо и даже эффективнее известных современных подходов, разработанных специально для обучения этих моделей. Так, в рамках задачи моделирования молекул лекарств с заданными свойствами за время обучения нашего метода было сгенерировано на 30% больше высококачественных молекул, чем у существующих методов», — пояснил Алексей Наумов научный руководитель Центра искусственного интеллекта НИУ ВШЭ, пресс-служба вуза приводит его слова.

Так называемые генеративные потоковые сети представляют собой особый класс методов машинного обучения, который используется при обучении языковых моделей, решении задач комбинаторной оптимизации, при моделировании молекул лекарств с заданными свойствами и для решения других сложных задач, как объясняют ученые. 

«Устройство этих моделей можно описать на примере конструктора лего. По недостроенному объекту и набору доступных деталей система будет пытаться предсказать, куда и с какой вероятностью нужно добавить деталь, чтобы мы могли с большой вероятностью собрать хороший макет машины или корабля», — пояснил Никита Морозов научный сотрудник Института искусственного интеллекта и цифровых наук НИУ ВШЭ, пресс-служба вуза приводит его слова.

Как обратили внимание российские ученые, такая постановка задачи, очень похожа на то, как функционируют различные нейросети, использующие классические алгоритмы обучения с подкреплением. Их это натолкнуло на мысль, что такие подходы можно интегрировать в GFlowNets без внесения существенных серьезных модификаций и изменений для повышения эффективности обучения и работы этих алгоритмов. 

Ученые, руководствуясь этой идеей, внедрили один из подобных подходов, M-DQN, в систему ИИ, предназначенную для подбора структуры молекул, способных соединяться с человеческим белком sEH, который связан с развитием гипертонии. Как показали последующие расчеты, новая версия системы ИИ в некоторых случаях значительно эффективнее справлялась с этой задачей по сравнению с другими генеративными потоковыми сетями, построенными на базе специализированных подходов для обучения. Исследователи подытожили, что говорит это о высокой перспективности применения подобных вариаций GFlowNets на практике.