Радикально новый метод позволяет ИИ обучаться практически без данных

Канадские исследователи из Университета Ватерлоо предложили новый способ обучения алгоритмов искусственного интеллекта «менее чем за один снимок» (less than one-shot, LO-shot). Такая модель может распознавать больше объектов, чем количество примеров, которые она выучила.

Машинное обучение обычно требует множества примеров. Чтобы заставить модель ИИ распознавать лошадь, вам нужно показать ей тысячи изображений лошадей. Это то, что делает эту технологию дорогостоящей с точки зрения вычислений, и это сильно отличается от человеческого обучения. Ребенку же часто нужно увидеть всего несколько примеров объекта или даже один, прежде чем он научится распознавать его. Детям иногда вообще не нужны никакие примеры, чтобы что-то идентифицировать. Показав фотографию лошади и носорога и сказав, что единорог – это нечто среднее между ними, они могут узнать мифическое существо в книжке с картинками, как только увидят его в первый раз.

Теперь новое исследование, доступное на сервисе пресс-релизов arXiv, показывает, что модели ИИ также могут быть в состоянии делать это менее чем за один снимок. Другими словами, эта модель ИИ может довольно точно распознавать больше объектов, чем количество примеров, на которых она была обучена. Это может иметь огромное значение для области, которая становится все более дорогой и недоступной, поскольку используемые наборы данных становятся все больше.

Как работает обучение по методу «менее чем за один снимок»

Исследователи впервые продемонстрировали эту идею, экспериментируя с популярным набором данных компьютерного зрения, известным как MNIST. MNIST, который содержит 60 000 обучающих изображений рукописных цифр от 0 до 9, часто используется для проверки новых идей в этой области.

В предыдущей статье исследователи из Массачусетского технологического института представили метод «дистилляции» гигантских наборов данных на крошечные, и в качестве доказательства концепции они сжали MNIST до 10 изображений. Изображения не были выбраны из исходного набора данных, а были тщательно спроектированы и оптимизированы, чтобы содержать эквивалентный объем информации для полного набора. В результате при обучении исключительно на 10 изображениях модель ИИ может достичь почти такой же точности, как модель, обученная на всех изображениях MNIST.

Исследователи из Университета Ватерлоо хотели продолжить процесс дистилляции. Если можно уменьшить 60 000 изображений до 10, почему бы не сжать их до пяти? Уловка, как они поняли, заключалась в том, чтобы создавать изображения, в которых смешаны несколько цифр, а затем передавать их в модель ИИ с гибридными, или «мягкими», метками. 

«Если вы думаете о цифре 3, она тоже выглядит как цифра 8, но не как цифра 7», – говорит Илья Сухолицкий, аспирант Ватерлоо и ведущий автор статьи. «Мягкие этикетки пытаются уловить эти общие функции. Поэтому вместо того, чтобы сказать машине: “Это изображение – цифра 3”, мы говорим: “Это изображение – 60% цифра 3, 30% цифра 8 и 10% цифра 0″».

Пределы обучения по методу

После того, как исследователи успешно использовали программные метки для достижения обучения LO-shot на MNIST, они начали задаваться вопросом, насколько далеко может зайти эта идея. Есть ли ограничение на количество категорий, которые вы можете научить модель искусственного интеллекта определять на крошечном количестве примеров? Удивительно, но ответ, похоже, отрицательный. С помощью тщательно разработанных программных меток даже два примера теоретически могут кодировать любое количество категорий. 

«С двумя метками можно разделить на тысячу классов, или на 10 000 классов, или на миллион классов», – говорит Сухолуцкий.

Это то, что исследователи демонстрируют в своей последней статье с помощью чисто математического исследования. Они реализуют эту концепцию с помощью одного из простейших алгоритмов машинного обучения, известного как метод k-ближайших соседей (k-nearest neighbors algorithm, kNN), который классифицирует объекты с использованием графического подхода.

Чтобы понять, как работает kNN, в качестве примера рассмотрим задачу классификации фруктов. Если вы хотите обучить модель kNN понимать разницу между яблоками и апельсинами, вы должны сначала выбрать функции, которые вы хотите использовать для представления каждого фрукта. Возможно, вы выбираете цвет и вес, поэтому для каждого яблока и апельсина вы вводите в kNN одну точку данных с цветом плода в качестве значения x и весом в качестве значения y. Затем алгоритм kNN отображает все точки данных на двухмерной диаграмме и проводит линию границы прямо посередине между яблоками и апельсинами. На этом этапе график аккуратно разделен на два класса, и теперь алгоритм может решить, представляют ли новые точки данных одну или другую, в зависимости от того, на какую сторону линии они попадают.

Чтобы изучить обучение LO-shot с помощью алгоритма kNN, исследователи создали серию крошечных наборов синтетических данных и тщательно разработали их программные метки. Затем они позволили kNN построить границы, которые он видел, и обнаружили, что успешно разбили график на большее количество классов, чем на точки данных. У исследователей также была высокая степень контроля над тем, где проходили границы. Используя различные настройки мягких этикеток, они могли заставить алгоритм kNN рисовать точные узоры в форме цветов.

Конечно, у этих теоретических изысканий есть определенные ограничения. Метод LO-shot должен быть перенесен на более сложные алгоритмы, поэтому задача разработки примеров с мягкой меткой становится значительно сложнее. Алгоритм kNN является интерпретируемым и визуальным, что позволяет людям создавать этикетки; искусственные нейронные сети сложны и непроницаемы, а это значит, что это может быть неверно. Удаление данных, которое работает для разработки примеров с мягкой меткой для нейронных сетей, также имеет серьезный недостаток: он требует, чтобы вы начали с гигантского набора данных, чтобы сократить его до чего-то более эффективного.

Сухолуцкий говорит, что сейчас он работает над поиском других способов создания этих крошечных синтетических наборов данных. Однако, несмотря на эти дополнительные исследовательские проблемы, в статье представлены теоретические основы обучения по методу LO-shot. 

«Вывод состоит в том, что в зависимости от того, какие наборы данных у вас есть, вы, вероятно, сможете добиться значительного повышения эффективности», – говорит он.

Это то, что больше всего интересует Тунчжоу Ван, аспиранта Массачусетского технологического института, который руководил более ранним исследованием дистилляции данных. 

«Статья строится на действительно новой и важной цели: изучении мощных моделей из небольших наборов данных», – говорит он о вкладе Сухолуцкого.

Райан Хурана, исследователь из Монреальского института этики искусственного интеллекта, разделяет это мнение:

«Наиболее важно то, что обучение “менее чем за один снимок” радикально снизит требования к данным для построения функционирующей модели». 

Это могло бы сделать ИИ более доступным для компаний и отраслей, которым до сих пор мешали требования к данным в этой области. Это также может улучшить конфиденциальность данных, поскольку для обучения полезных моделей нужно будет получать меньше информации от отдельных лиц.

Источник: MIT Technology Review

Поддержать 4everScience 💸