Относительные Атрибуты

Марр приз (приз) победителю, ICCV 2011

Деви Парих и Кристен Граумана

“Кто в радугу можно нарисовать линию, где заканчивается фиолетовым оттенком и оранжевым оттенком начинается? Отчетливо мы видим различие цветов, но где конкретно тот первый blendingly войти в другой? Так что со здравомыслием и безумием.”

—Герман Мелвилл Билли Бадд


Реферат

Человека-визуальный называемые «атрибуты» могут воспользоваться различных задач распознавания. Однако, существующие методы ограничения этих свойств категориальных ярлыков (например, человек ‘улыбчивые’ или нет, сцена действует «сухой закон» или нет), и тем самым не в состоянии охватить более общие семантические отношения. Мы предлагаем модели относительной атрибуты. Учитывая подготовку данных о том, насколько объект/сцена категории относятся согласно различным атрибутам, мы узнаем функция ранжирования каждого атрибута. Выученные функции ранжирования предсказать относительную силу каждого свойства в роман образы. Затем мы построим модель генеративной за совместное пространство атрибутов ранжирования выходов, и предлагаем новой формы нулевого выстрела обучения, при которой руководитель относит невидимый объект категории в ранее виденных объектов через атрибуты (например, ‘медведи скорняжная, чем жирафы’). Далее мы покажем, как предложенные относительные атрибуты включить богаче текстовых описаний для новых изображений, которые на практике являются более точными для интерпретации человеком. Мы продемонстрируем этот подход на наборы граней и естественных сцен, и показывают ее явные преимущества по сравнению с традиционными бинарными атрибут предсказания для этих новых задач.

Мотивация

Двоичные атрибуты носят ограничительный характер и может быть неестественным. В приведенных выше примерах, хотя можно характеризовать изображение на верхнем левом и верхнем правом, как природные и техногенные соответственно, что бы вы описать изображение в верхней-центр? Единственный значимый способ характеризуют его в отношении других образов: он менее натуральный, чем изображение слева, но больше, чем изображение справа. 

Предложение

В данной работе мы предлагаем модель относительных атрибутов. В отличие прогнозирования присутствие атрибута, относительный атрибут указывает на силу атрибута в изображении по отношению к другим изображениям. В дополнение к тому, чтобы быть более естественной, относительной атрибутами предлагаем богаче режим связи, тем самым обеспечивая доступ к более подробной присмотра человека (и поэтому потенциально более высокой точности распознавания), а также возможность создания более информативных описаний образов романа.

Мы разрабатываем подход, который изучает функции ранжирования для каждого атрибута, учитывая относительную схожесть ограничений на пары примерах (или более, как правило, частичный заказ на некоторые примеры). Выученные функции ранжирования могут оценить вещественных рейтинг для изображения, указывающие на относительный атрибут присутствия в них.

Мы вводим новые формы ноль-выстрел изучение и описание изображений, которые используют относительный атрибут прогнозы.

Подход

Изучение относительных атрибутов: каждый атрибут относительного знания с помощью обучения для ранжирования разработки, дается сравнительный надзор, как показано ниже:


Различие между обучением широкий-маржа функция ранжирования (право), которое обеспечивает необходимый заказ на подготовку точек (1-6), и широкий-маржа бинарного классификатора (слева), что только разделяет два класса (+ и -), и не обязательно сохранять желаемый заказ на очки приведена ниже:

Роман ноль-расстреляли обучения: Мы будем изучать следующие настройки

  • N Итого категориях: ы видел категорий (связанные изображения доступны) + ед невидимые категории (нет изображения доступны для этих категорий)
  • Ы видел категорий описаны относительно друг друга через атрибуты (не все пары категории должны быть связаны для всех атрибутов)
  • Ед невидимое categorires описаны относительно (подмножество) видел категорий в плане (подмножество) атрибутами.

Мы первый поезд набор относительных атрибутов с помощью надзора, предусмотренные на видел категорий. Эти атрибуты могут также быть предварительно обучены от внешних данных. Затем мы построим модель генеративной (Гаусса) для каждого рассматриватькатегорию с помощью реакций, относительной атрибуты к изображениям из видел категорий. Затем мы делаем вывод параметров генеративной модели невидимого caregories, используя их относительные описания по отношению к видел категорий. Визуализация простой подход, который мы используем для этого показан ниже:

Тест изображения присваивается Категория с максимального правдоподобия.

Автоматически генерировать относительно текстовых описаний изображений: Учитывая образ я должен быть описан, мы оцениваем все узнали ранжирование функций на I. для каждого атрибута, мы отождествляем два опорных образов, лежащих по обе стороны от меня, и не слишком далеко или слишком близко к И. изображения я потом описали относительно этих двух эталонных изображений, как показано ниже:

Как видно из вышеизложенного, в дополнение к описанию изображения по отношению к другим изображениям, наш подход также может описывать изображение относительно других категорий, в результате чего чисто текстовое описание. Очевидно, что относительная описания являются более точными и информативными, чем обычные бинарные описание.

Эксперименты и результаты

Мы проводим эксперименты с использованием двух баз данных:

(1) Открытый сцены признания (ЛРН), содержащий 2688 образы из 8 категорий: побережье Ар, Ф лес, шоссе сек, внутри-город я, горы м, открытой страной О’, улица Ы и высотных зданий в т. мы используем гист функции для представления изображений.

(2) подмножество общественные деятели сталкиваются базы данных (PubFig), содержащий 772 образы из 8 категорий: Алекс Родригес В, С Клайв Оуэн, Хью Лори сек, Джаред лето Джей, Майли Сайрус М, Скарлетт Йоханссон ы, Вигго Мортенсен V и Зак Эфрон З. мы используем сцепленные суть и цвет и особенности представления изображений.

Перечень используемых атрибутов для каждого набора данных, наряду с бинарными и относительного атрибута аннотации приведены ниже:

Ноль-расстреляли обучения:

Мы сравниваем наши предлагаемого подхода для двух исходных условий. Первый-это оценка на основе относительных атрибутов (СРА). В этом случае базис-это то же, что наш подход, за исключением он использует баллы бинарного классификатора (бинарные атрибуты) вместо десятки ранжирующей функции. Это базовые помогает оценить потребность в ранжирующей функции для лучшей модели относительно атрибутов. Второй наш базис-это прямой атрибут предсказание (ДАФ) модель введены Ламперт и соавт. в CVPR 2009. Это базовые помогает оценить преимущества относительно обращения с атрибутами в противовес категоричным. Мы оцениваем эти подходы для разного количества невидимых категорий, различающихся объемами данных, используемый для обучения атрибутами, варьируя количество attribtues используется для описания невидимых категорий, и разной степени неплотности в описание невиданных категорий. Детали экспериментальной установки можно найти в нашей газете. Результаты показаны ниже:

Автоматически сгенерированные описания изображений:

Для того чтобы оценить качество нашего родственника описания изображения в двоичную форму, мы провели исследование с участием людей. Мы сгенерировали описание изображения, используя наш подход, а также базовые бинарные атрибуты. Мы представили субъекты с этим описанием, наряду с тремя изображениями. Один из трех образов был образ бытия описано. Задача испытуемых заключалась в ранг трех изображений, основанный на которые они считали наиболее вероятными одно существо описано. Чем точнее описание, тем больше шансов предметам выявления правильного изображения. Иллюстрация задачи представлены предметы показано ниже:

Результаты исследования приведены ниже. Мы видим, что испытуемые могут самостоятельно определить правильную изображения более точно, используя предложенные нами относительные атрибуты, по сравнению с бинарными атрибутами.

Пример описания бинарных изображений, а также описания по отношению к категориям приведены ниже:

Изображения Бинарные описания Относительно описания
не естественные
не открыть
перспектива
более естественным, чем tallbuilding, менее естественный, чем лес
более открытым, чем tallbuilding, менее открытые, чем побережье
более перспективным, чем tallbuilding
не естественные
не открыть
перспектива
более естественным, чем insidecity, менее естественный, чем шоссе
более открытым, чем стрит, менее открытые, чем побережье
более перспективным, чем шоссе, менее перспективный, чем insidecity
натуральный
открыть
перспектива
более естественным, чем tallbuilding, менее естественный, чем горы
более открытым, чем горы
менее перспективным, чем opencountry
Белый
не улыбается
VisibleForehead
более Белый, чем AlexRodriguez
больше улыбается, чем JaredLeto, менее улыбчивые, чем ZacEfron
более VisibleForehead чем JaredLeto, VisibleForehead меньше, чемMileyCyrus
Белый
не улыбается
не VisibleForehead
более Белый, чем AlexRodriguez, менее Белый, чем MileyCyrus
менее улыбчивые, чем HughLaurie
более VisibleForehead чем ZacEfron, VisibleForehead меньше, чемMileyCyrus
не молодой
BushyEyebrows
RoundFace
более молодой, чем CliveOwen, менее молодой, чем ScarlettJohansson
более BushyEyebrows чем ZacEfron, BushyEyebrows меньше, чемAlexRodriguez
более RoundFace чем CliveOwen, RoundFace меньше, чем ZacEfron

Данные

Мы предоставляем тон узнал относительных атрибутов и их предсказания для двух наборов данных, используемые в работе:Открытый сцены признания (ЛРН) и подмножество общественные деятели сталкиваются базы данных (PubFig).

Ридми

Скачать (версия v2)

Относительная Лица Атрибутов Набора Данных. Она содержит аннотации для 29 относительные атрибуты на 60 категорий изобщественных деятелей лице базе (PubFig).

Код

Мы модифицировали Оливье Чаппелла по RankSVM реализации на поезд относительные атрибуты сходство с ограничениями. Наш измененный код может быть найден здесь.

Если вы используете наш код, пожалуйста, привожу следующий документ:

Д. Парих и К. Граумана

Относительные Атрибуты

Международная конференция по компьютерного зрения (ICCV), 2011.

Демы

Демо-версии различных приложений относительной атрибуты могут быть найдены здесь. Описание этих приложений можно найти в газетах здесь.

Публикации

Д. Парих и К. Граумана

Относительные Атрибуты

Международная конференция по компьютерного зрения (ICCV), 2011. (Устно)

Марр Приз (Приз) Победитель

[слайды] [поговорить (видео)] [постер] [демо]

Ниже приведены наши другие документы, которые используют относительные атрибуты:

Бисвас А. и Д. Парих

Одновременное активное обучение классификаторов и атрибутов через относительную отзывы

Конференции IEEE по компьютерному видению и распознаванию образов (CVPR), 2013

[страница проекта и данных] [постер] [демо]

 

А. Parkash и Д. Парих
Атрибуты для классификатора отзывы
Европейская конференция по компьютерному зрению (ECCV), 2012 (устный)

                        [слайды] [соединиться (видео)] [страница проекта и данных] [демо]
А. Kovashka, Д’. Парих и К. Граумана
WhittleSearch: поиск изображения с относительной атрибут обратной связи
Конференции IEEE по компьютерному видению и распознаванию образов (CVPR), 2012
[страница проекта] [постер] [демо]

 

Д’. Парих, Есть. Kovashka, А. Parkash и К. Граумана
Относительные атрибуты для усиленной человеко-машинного общения (Приглашенный доклад)
Как aaai конференции по искусственного интеллекта (aaai), 2012 (устный)

Ссылка на оригинал статьи: https://filebox.ece.vt.edu/~parikh/relative.html

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>