EasyPortrait — портретная сегментация и анализ лиц

Да, в планах разметить волосы, нос, бороду и разделить губы на верхнюю и нижнюю. Разметка очков, кажется, имеет меньше актуальности, хотя стоит подумать и разметить отдельно тогда все окклюзии. Будем думать :)

Переход от классической сегментации к матингу не так-то прост:

• Задача матирования в принципе сложнее обычной сегментации,

• Разметить качественно данные под задачу матинга нетривиально, а обучить толокеров рисовать маски намного проще. Мы пробовали получать pixel-perfect, но это все равно не матинг,

• Сетки для сегментации проще и быстрее, их можно вытащить в реал-тайм, а с матингом такого сходу не получится (несмотря на готовые решения типа RVM).

• Сегментация позволяет сразу решать несколько задач - вырезание фона, бьютификация и т.п., через матирование придется декомпозировать обработку (что опять же усложнит и замедлит финальное решение).

Тут стоит отталкиваться от цели: если очень важно настолько неявную задачу сделать максимально точно, как, например, у нас (область с едва заметной щетиной нужно было разметить именно как кожу, иначе этот кусок выделялся бы при сглаживании кожи) - без эксперта, который сможет все провалидировать будет сложно добиться хорошего качества. Если высокая точность не так важна, то тут можно обойтись менее строгой валидацией или только агрегацией разметки. Однако, все это работать не будет без объемной инструкции с большим количеством различных примеров, помимо которых все же стоит написать и наводящий вопрос - например "Если Вам (разметчику) кажется, что часть кожи с щетиной при сглаживании будет выглядеть естественно - можно оставить ее как <кожу>".

Хорошее замечание! Тут все упирается в специфику сбора данных на Толоке - разметчиков не особо интересуют ньюансы в инструкциях к заданию. Планируем вернуться к этой проблеме и все же дособрать данные с горизонтальной ориентацией.

Тут дело в том, что сначала думали всю разметку организовать в Толоке, где найти сильно мотивированного модератора сложно. После, когда почти все было размечено на Толоке, попробовали размечать на Элементари с участием модератора и решили смержить 2 варианта в один: от 3 до 5 разметки с Толоки с весом X + 1 разметка с Элементари с весом Y (Y > X).

Сейчас уже выбрали бы вариант с одной краудсорсинг платформой на разметке: Элементари с перекрытием 1 и модератором, но там это все, конечно, занимает больше времени, так как намного меньше разметчиков.

Пробовали Segment Anything, не получилось (пример). В планах попробовать дообучить SA на EasyPortrait.