Физики создали «периодическую таблицу» искусственного интеллекта

Искусственный интеллект сегодня повсеместно используется для объединения и интерпретации различных видов информации, включая текст, изображения, аудио и видео. Среди «заковык» – необходимость решить, какой алгоритм лучше всего подходит для конкретной задачи.

Физики из Университета Эмори предложили более четкий и систематический подход, пишет xrust. В статье, опубликованной в журнале The Journal of Machine Learning Research, они описывают новую математическую модель, которая систематизирует методы искусственного интеллекта и направляет разработку алгоритмов для решения конкретных задач.

«Мы обнаружили, что многие из самых успешных современных методов искусственного интеллекта сводятся к одной простой идее — сжимать различные типы данных ровно настолько, чтобы сохранить только те фрагменты, которые действительно позволяют предсказывать то, что вам нужно», — говорит Илья Неменман, профессор физики в Университете Эмори и старший автор исследования. «Это дает нам своего рода „периодическую таблицу“ методов ИИ. Различные методы попадают в разные ячейки в зависимости от того, какую информацию функция потерь метода сохраняет или отбрасывает».

Функция потерь — это математическая формула, измеряющая, насколько предсказания модели ИИ отклоняются от правильного ответа. В процессе обучения система постоянно корректируется, чтобы уменьшить эту ошибку. Чем ниже функция потерь, тем лучше работает модель.

«Для многомодальных систем искусственного интеллекта были разработаны сотни различных функций потерь, и некоторые из них могут быть лучше других в зависимости от контекста», — говорит Неменман. «Мы задались вопросом, существует ли более простой способ, чем начинать с нуля каждый раз, когда вы сталкиваетесь с проблемой в многомодальном ИИ».

Вариационная многомерная информационная структура узкого места

Чтобы ответить на этот вопрос, команда разработала общую математическую структуру для построения специфических для каждой задачи функций потерь. Их метод фокусируется на определении того, какую информацию следует сохранить, а какую можно отбросить. Они называют его вариационной многомерной информационной структурой.

«Наша методика, по сути, похожа на регулятор», — говорит соавтор Майкл Мартини, работавший над проектом в качестве постдокторанта Университета Эмори и научного сотрудника в группе Неменмана. «Вы можете „настроить регулятор“, чтобы определить, какую информацию следует сохранить для решения конкретной проблемы».

«Наш подход является обобщенным и принципиальным», — добавляет Эслам Абделалим, первый автор статьи. Абделалим начал работу, будучи аспирантом в области физики в Университете Эмори, но в мае окончил его и перешел в Технологический институт Джорджии в качестве постдокторанта.

«Наша цель — помочь людям создавать модели искусственного интеллекта, адаптированные к решаемой ими задаче, — говорит он, — а также дать им возможность понять, как и почему работает каждая часть модели».

Используя эту платформу, разработчики ИИ могут предлагать новые алгоритмы, прогнозировать, какие из них с большей вероятностью окажутся успешными, оценивать необходимый объем обучающих данных и предвидеть возможные точки отказа.

«Что не менее важно, — говорит Неменман, — это может позволить нам разработать новые методы искусственного интеллекта, которые будут более точными, эффективными и заслуживающими доверия».

Физический подход к машинному обучению

Исследователи подошли к разработке ИИ иначе, чем многие другие представители сообщества машинного обучения.

«Сообщество специалистов по машинному обучению сосредоточено на достижении точности в системе, не обязательно понимая, почему эта система работает», — объясняет Абделалим. «Однако мы, физики, хотим понимать, как и почему что-то работает. Поэтому мы сосредоточились на поиске фундаментальных, объединяющих принципов, которые позволили бы связать различные методы искусственного интеллекта воедино».

Абделалим и Мартини начали с того, что вручную прорабатывали уравнения, пытаясь найти основную идею, скрывающуюся за сложностью современных методов искусственного интеллекта.

«Мы много времени проводили, сидя в моем кабинете и записывая что-то на доске», — говорит Мартини. «Иногда я писал на листе бумаги, а Эслам заглядывал мне через плечо».

Эта работа растянулась на несколько лет. Они разработали математические основы, обсудили их с Неменманом, проверили идеи на компьютерах и часто были вынуждены возвращаться к началу, если не использовали подходы, которые оказались неэффективными.

«Это был долгий процесс проб и ошибок, приходилось постоянно возвращаться к доске», — говорит Мартини.

Момент озарения и сюрприз в виде умных часов

Их прорыв произошел, когда они выявили единый принцип, описывающий баланс между сжатием данных и их восстановлением. Эта идея отразила компромисс, лежащий в основе многих методов искусственного интеллекта.

«Мы протестировали нашу модель на двух тестовых наборах данных и показали, что она автоматически выявляет общие, важные признаки между ними», — говорит Мартини. «Это меня порадовало».

После напряженных переговоров, приведших к этому открытию, Абделалим, покидая кампус, проверил свои умные часы Samsung Galaxy. Устройство использует искусственный интеллект для мониторинга показателей здоровья, таких как частота сердечных сокращений. Однако в тот день оно неправильно истолковало его восторг.

«Мои часы показали, что я ехал на велосипеде три часа, — говорит Абделалим. — Именно так они интерпретировали уровень моего возбуждения. Я подумал: „Ух ты, это действительно что-то! Видимо, наука может так действовать“».

Тестирование фреймворка и взгляд в будущее

Для оценки своего подхода команда применила разработанную структуру к десяткам существующих методов искусственного интеллекта.

«Мы провели компьютерные демонстрации, которые показывают, что наша общая структура хорошо работает с тестовыми задачами на эталонных наборах данных», — говорит Неменман. «Мы можем проще выводить функции потерь, что может решить важные для нас проблемы при меньшем объеме обучающих данных».

Поскольку данная структура помогает исключить ненужные функции, она также может снизить вычислительные затраты систем искусственного интеллекта.

«Помогая выбрать оптимальный подход к искусственному интеллекту, эта платформа позволяет избежать кодирования неважных функций», — говорит Неменман. «Чем меньше данных требуется для работы системы, тем меньше вычислительной мощности требуется для ее запуска, что делает ее менее вредной для окружающей среды. Это также может открыть двери для передовых экспериментов по решению проблем, которые мы сейчас не можем решить из-за недостатка существующих данных».

Исследователи надеются, что другие специалисты смогут применить эту методику для разработки алгоритмов, адаптированных к конкретным научным задачам.

Они также продолжают расширять свою работу. Одна из областей их интересов — биология, включая попытки выявить закономерности, связанные с когнитивными функциями.

«Я хочу понять, как ваш мозг одновременно сжимает и обрабатывает множество источников информации, — говорит Абделалим. — Можем ли мы разработать метод, который позволит нам увидеть сходства между моделью машинного обучения и человеческим мозгом? Это может помочь нам лучше понять обе системы».