что такое фейс трекинг

Представьте, что вы продаёте музыкальные диски. К вам в магазин заходит посетитель. Хотите обратиться к нему по имени и сказать, что у его любимой группы Depeche Mode вышел новый альбом? Новый инструмент от Битрикса, Face-tracker, позволяет это сделать. Он использует новейшие технологии нейронных сетей для распознавания лиц и поиска клиентов в сети интернет. Мы протестировали эту передовую технологию и расскажем кому будет полезен Face-tracker Битрикс24.

Что такое face-tracker и нейронные сети:

В двух словах нейронная сеть это специальный алгоритм построенный по принципу функционирования нервной системы человека. Одним из главных преимуществ нейронных сетей перед традиционными алгоритмами является возможность обучения (машинное обучение). Даже простые нейронные сети могут решать сложные прикладные задачи. В том числе распознавать лица.

Face-tracker Битрикс24 использует нейронные сетей и машинное обучение для распознавания лиц через веб-камеру, подключенную к компьютеру. Алгоритм работы следующий:

Как использовать

Все очень просто, никаких настроек не требуется. Идем в раздел CRM, там находим Face-tracker.

В открывшемся окне вы увидите вид с камеры, если она подключена. Камера автоматически будет искать лица и фиксировать их, если не убрать соответствующую галочку.

После того как лицо человека будет распознано, можно найти его в vk или добавить в CRM.

Если нажать на ссылку Найти профиль Вконтакте, откроется окно с результатами поиска. Они отсортированы по проценту попадания. По результатам поиска нужно выбрать конкретный профиль. Руководствоваться при выборе можно процентом попадания, фото, именем или городом, указанным в профиле.

Из 10 сфотографированных коллег, трекер смог найти только четырех. Интересно, что поиск осуществляется очень быстро и по всем фотографиям пользователя, а не только по аватарке. При автоматическом фотографировании трекер не всегда точно “узнаёт” пользователя, которого уже видел, т.к. фотография не всегда получается в нужном ракурсе.

Face-tracker Битрикс24 — пять примеров реального применения

Подсчет посетителей магазина

Хотите посчитать сколько новых посетителей к вам приходит ежедневно? Разместите веб-камеру перед входом в ваш магазин и настройте face-tracker Битрикс24. В конце дня вы сможете посмотреть, сколько людей зашло в магазин. И даже найти Вконтакте ту милую брюнетку.:)

Идентификация повторных посетителей

Хотите распознать повторного посетителя, чтобы улучшить качество обслуживания? Face-tracker сделает это за вас. Вы будете знать сколько раз этот клиент был у вас и когда он был в последний раз.

Хотите улучшить качество обслуживания и сделать его более персонифицированным? Установите веб-камеру и найдите своих клиентов в социальных сетях с помощью Face-tracker. Узнайте когда у ваших клиентов день рождения или какую музыку они любят слушать. Эта информация поможет вам стать еще ближе к своим клиентам, повысив эффективность бизнеса.

Автоматизация заполнения CRM на массовых мероприятиях

Проводите специальную акцию, семинар или двусторонние встречи? Каждый посетитель это потенциальный клиент и вы знаете, как важно занести информацию о его участии в CRM. Теперь не нужно записывать вручную всю сотню лидов. Установите камеру в удобном месте и ваша CRM будет знать кто и когда посетил мероприятие.

Быстрое создание лидов при приеме посетителей

У вас частная клиника или салон красоты и вы хотите быстро создавать лиды при приеме посетителей? Создавайте лиды прямо со страницы Face-tracker’а на основе информации о распознанных посетителях. Дополните лид информацией, полученной из социальных сетей и лично от потенциального клиента.

Идентификация проблемных клиентов

Допустим, в один из офисов вашей компании обращался клиент, посещение которого вызвало определенные проблемы (клиент не заплатил за заказ, хамил и грубил сотрудникам). Об этом были сделаны комментарии в CRM. Если он обратится в другой офис вашей компании, то трекер его распознает. И тогда сотрудники будут заранее уведомлены, что с клиентом могут быть проблемы.

Заключение

Битрикс24 не стоит на месте и все время развивается. Постоянно появляются новые инструменты для автоматизации бизнеса. Не у всех есть время и возможность в них разобраться, но вы всегда можете обратиться к нашей компании, как к опытному веб-интегратору. Мы регулярно применяем все новейшие инструменты и техники на практике. Позвоните — обсудим ваши задачи, предложим интересные и эффективные решения.

Источник

Отслеживание лиц в реальном времени в браузере с использованием TensorFlow.js. Часть 1

Такие приложения, как Snapchat, предлагают удивительное разнообразие фильтров для лиц и объективов, которые позволяют накладывать интересные эффекты на фотографии и видео. Если вы когда-либо дарили себе виртуальные собачьи уши или праздничную шляпу, вы знаете, насколько это может быть весело!

Задумывались ли вы о возможности создания таких фильтров с нуля? Что ж, теперь у вас есть возможность научиться всему, используя только веб-браузер! В этой серии статей мы узнаем, как создавать в браузере фильтры в стиле Snapchat, обучать модель искусственного интеллекта (ИИ) понимать выражения лиц и добиваться ещё большего, используя библиотеку Tensorflow.js и отслеживание лиц.

Вы можете загрузить демоверсию этого проекта. Для обеспечения необходимой производительности может потребоваться включить в веб-браузере поддержку интерфейса WebGL. Вы также можете загрузить код и файлы для этой серии. Предполагается, что вы знакомы с JavaScript и HTML и имеете хотя бы базовое представление о нейронных сетях.

Первый шаг к созданию фильтра для лиц с нуля – это обнаружение и локализация лиц на изображениях. Поэтому мы можем начать отсюда.

Лица можно отслеживать с помощью библиотеки TensorFlow.js и модели обнаружения ориентиров лиц, которая за пару миллисекунд может дать нам 486 различных ключевых точек в пространстве для каждого лица на изображении или в видеокадре. Особенно замечательно то, что эта модель может работать в рамках веб-страницы, поэтому вы также сможете отслеживать лица на мобильных устройствах, используя тот же код.

Давайте настроим проект, чтобы загрузить модель и запустить отслеживание лиц в видеопотоке с веб-камеры.

Отправная точка

Вот начальный шаблон веб-страницы, который мы будем использовать для отслеживания лиц.

Этот шаблон содержит:

библиотеки TensorFlow.js, необходимые для этого проекта;

индекс эталонной сетки для лица, заданный в файле triangles.js (включён в код проекта);

элемент canvas для визуализированных выходных данных;

скрытый элемент video для веб-камеры;

текстовый элемент статуса и служебная функция setText ;

служебные функции drawLine и drawTriangle для элементов canvas.

Использование API веб-камеры в HTML5 с TensorFlow.js

В JavaScript довольно просто запустить веб-камеру, если у вас есть для неё фрагмент кода. Вот служебная функция запуска веб-камеры и запроса доступа у пользователя:

Мы можем вызвать функцию setupWebcam в блоке async в нижней части нашего кода и заставить её воспроизводить видео веб-камеры после загрузки.

Затем давайте настроим выходной элемент canvas и подготовимся к рисованию линий и треугольников для ограничивающего прямоугольника и каркаса лица.

Контекст canvas будет использоваться для вывода результатов отслеживания лиц, поэтому мы можем сохранить их глобально за пределами блока async. Обратите внимание, что мы зеркально отразили изображение веб-камеры по горизонтали, чтобы поведение было более естественным, как в настоящем зеркале.

Давайте отследим некоторые лица

Теперь мы готовы! Всё, что нам нужно, – это загрузить модель обнаружения ориентиров лица TensorFlow и применить её к кадрам нашей веб-камеры, чтобы показать результаты.

Во-первых, нам нужна глобальная переменная model для сохранения загруженной модели:

Затем мы можем загрузить модель в конец блока async и задать текст статуса, чтобы указать на готовность нашего приложения для отслеживания лиц:

Наконец, мы можем запустить первый кадр для отслеживания, вызвав эту функцию в конце нашего блока async:

Финишная прямая

Полный код должен выглядеть так:

Можно ли с помощью отслеживания лиц добиться большего?

Объединив модель обнаружения ориентиров лица TensorFlow с видео с веб-камеры, мы смогли отслеживать лица в режиме реального времени прямо в браузере. Наш код отслеживания лиц также работает с изображениями, а ключевые моменты могли бы сказать нам больше, чем мы могли бы ожидать. Может быть, нам следует попробовать применить этот код к набору данных лиц, например FER+ Facial Expression Recognition (распознавание выражений лиц)?

В следующей статье этой серии мы используем глубокое обучение на отслеженных лицах из набора данных FER+ и попытаемся точно определить эмоции человека по точкам лица в браузере с помощью TensorFlow.js. До встречи завтра, в это же время.

Узнайте подробности, как получить Level Up по навыкам и зарплате или востребованную профессию с нуля, пройдя онлайн-курсы SkillFactory со скидкой 40% и промокодом HABR, который даст еще +10% скидки на обучение.

Источник

Что такое Face-tracker в Битрикс24

Для того, чтобы нагляднее объяснить, что такое face-tracker представьте ситуацию – вы заходите в магазин свежей выпечки, а продавец говорит вам – Алексей, а ваших круассанов с карамелью еще нет. Приходите через пару часов. Готовим.

Только вместо Алексея впишите свое имя, а вместо круассанов любимое блюдо, машину, телефон или любую услугу.

Нейронные сети

Нейронные сети так называются, потому что их алгоритм похож на функционирование нервной системы человека. Их главной особенностью является возможность обучения. А потому, даже самая простая нейронная сеть может выполнять сложные задачи. В том числе, распознавание лица.

Face-tracker Битрикс24 использует эти возможности по следующему алгоритму:

Как включить?

Все уже работает. Не придется ничего настраивать.

В разделе CRM есть пункт «Еще» в котором выбираем Face-tracker. В открывшемся окне отображается камера и поле настроек. Устройство само будет фиксировать лица.

После того, как лицо человека будет распознано его можно добавить в CRM

Как использовать?

Вот лишь несколько сценариев, как можно использовать face-tracker в повседневной деятельности компании:

1. Подсчет количества посетителей

Разместите камеру у входа и настройте face-tracker в вашем Битрикс24. К концу дня вы получите точное число посетителей вашей торговой точки.

2. Идентификация повторных посетителей

Face-tracker позволит вам улучшить сервис в компании благодаря идентификации повторных покупок. Программа покажет, как часто человек пользуется вашими услугами. Чему отдает предпочтения и какие суммы тратит. Храните всю эту информацию в его карточке CRM и программа выдаст эти данные, когда распознает посетителя.

3. Персонификация обслуживания

Face-tracker может найти человека в социальных сетях. Благодаря анализа параметрических данных, программа анализирует фотографии во всех соц.сетях и находит человека. Происходит это быстро. Сделайте индивидуальный сервис для каждого: поздравляйте с днем рождения, узнавайте о музыкальных предпочтениях, любимых фильмах и о чем угодно. Это повысит эффективность бизнеса и лояльность покупателей

4. Автоматическое заполнение CRM на мероприятиях

Теперь не нужно делать это вручную. Система сама запомнит кто был на вашем мероприятии, в независимости от того, какого оно масштаба – деловая встреча, семинар или акция.

5. Быстрое создание лидов

Создавайте лиды прямо в Face-tracker. Дополняйте их информацией от клиента или с его страницы в соц.сети.

6. Распознавание конфликтных посетителей

Не важно в какой филиал вашей компании обратится клиент. Вся информация о нем хранится независимо и каждый сотрудник, который получил от вас доступ к ней, сможет узнать о клиенте информацию где пожелает. А потому, если клиент не заплатил за заказ в одном месте и пришел в другое ваше кафе, вы будете знать об этом.

Заключение

В итоге мы имеем отличное решение для автоматизации бизнеса. Битрикс24 является первопроходцем в применении этой технологии на рынке в таком масштабе. Применение системы возможны в сфере общественного питания, страхования, банковской сфере, индустрии красоты и медицины. Методы и правила ограничены лишь вашим воображением.

Попробуйте сами, чтобы убедиться, что это действительно работает и помогает работать вам.

Источник

Отслеживание лиц

Обзор функции отслеживания лиц

Функция отслеживания лиц позволяет точно распознавать и отслеживать лица людей. Легкость отслеживания масок позволяет быстро применять к лицам такие эффекты, как выборочная коррекция цвета, размытие черт лица и многие другие, не затрагивая при этом другие участки изображения.

Функция отслеживания лиц же дает возможность выделить определенные фрагменты лица (такие, как зрачки, рот или нос), изолировать их и обработать более тщательно. Например, можно изменить цвет глаз или подчеркнуть движения губ без покадровой корректировки.

After Effects также позволяет измерить черты лица. Отслеживание параметров черт лица позволяет выразить такие нюансы, как ширина раскрытия губ и каждого глаза, в числах. Получив численное выражение всех особенностей лица, можно проработать содержимое в мельчайших деталях. Более того, можно экспортировать подробную информацию отслеживания в Adobe Character Animator для анимации персонажей на основе ваших движений.

Как правило, функция отслеживания лиц работает в автоматическом режиме, но результаты можно улучшить, запуская анализ кадров, в которых лицо находится во фронтальной проекции с вертикальной ориентацией. Хорошая освещенность лица повышает точность распознавания.

На панели «Инспектор» доступны два параметра отслеживания лиц.

При использовании детальной трассировки лица к слою применяется эффект «Точки трассировки лица». Эффект содержит несколько точек управления 2D-эффектами с ключевыми кадрами, каждая из которых привязана к определенным чертам лица (например, углы глаз и губ, расположение зрачков, кончик носа).

Источник

Обзор технологий трекинга: AR Маски

Всем привет. Меня зовут Дядиченко Григорий, и я люблю трекинг. За последние годы технологии трекинга развивались семимильными шагами и становились всё более и более демократичными. Появилось много технологий самого разного плана. Мне повезло поработать с огромным количеством технологий разного рода, поэтому данные знания хочется несколько структурировать. По большей части мы будем разбирать технологии трекинга совместимые с Unity или Web. Так что, если эта тема вам интересна. Добро пожаловать под кат!

Трекинг в общем — это очень объёмная тема. Существует множество технологий трекинга, про которые хочется рассказать в этой серии статей. Но сегодня хочется поговорить про Face Landmark Recognition. В целом в плане распознавания лица существует множество других прикольных технологий и задач, которые они решают, типа того же Face Recognition в FaceID и подобных кейсах безопасности, но в контексте работы с графикой и интерактивных визуализаций самой интересной, пожалуй, является именно технология определения ключевых точек на лице.

Применение AR масок

AR маски наверное самый распространённый вид применения дополненной реальности. Иногда даже складывается впечатление, что многие не воспринимают его, как AR. Первое же что приходит в голову — это социальные сети. Маски с дополненной реальностью уже неотъемлемая часть того же Instagram и TikTok. Но это далеко не единственное использование технологии. Приведу ещё немного примеров.

Face Tracking в продакшене

В 2020 году у нас состоялась интересная сделка. В статье, конечно, говорится о том, что могут использовать для реалтайм эмоций игроков в фортнайт. Это возможно, но есть и другая сторона вопроса. В игровой разработке и в видео продакшене многие пытаются перейти от дорогостоящего производства лицевых анимаций с помощью Motion Capture технологий, таких как Faceware, к более простым инструментам. FaceRig используется VTuber’ами. Да и во многих случаях не нужна точность, которую предоставляют дорогостоящие технологии захвата движений. Даже в проектах, которые мне когда-то нужно было разработать встречался такой подход, что часть лицевых анимаций записывались с помощью трекинга ARKit. Поэтому одно из применений это упрощённый демократичный путь производства, который подходит тем же инди студиям, у которых нет бюджета на закупку оборудования за несколько тысяч долларов. Хотя сравнительно недавно у Faceware появилось предложение для инди.

AR Маски в рекламе

Реализация довольно похожа на то, что мы видим в социальных сетях. Макси используются для продвижения какого-либо продукта или привлечения аудитории. Так же для создания аудиторией собственного контента. Ещё несколько примеров:

Помимо данных примеров эту технологию можно использовать в AR стойках в торговых центрах и подобных проектах. И в целом этим применение технологии не ограничивается, но тогда статья получится про применение, а мы же пришли поговорить про реализации технологии.

Технологии

Большая часть разбираемых технологий будет совместима с Unity, но кроме того я встречал интересные решения для веба, да и некоторые нельзя просто обойти стороной. Отфильтрованы были те, у которых нельзя скачать SDK для того, чтобы самостоятельно проверить работу SDK или же которые не совсем понятно, каким образом можно купить (если технология платная).

SparkAR

Поддерживаемые платформы: Android/IOS

Совместимость с Unity: Нет, но можно сделать ссылку в приложении

Поддержка устройств: Большое количество устройств

Говоря про маски, нельзя не упомянуть Spark. Спарк — это прекрасная технология, которая позволяет создавать свои Instagram маски. Если вас устраивают ограничения политик фейсбука и маски ориентированы в первую очередь на шейринг — это отличный выбор, так как в вашем приложении можно разместить ссылку на маску и дать её пользователям. В любом случае пользователи будут делиться вашей маской в инстаграм, фейсбук и т.п. Широкая поддержка устройств является основным плюсом. Кроме того, большое количество обучающих материалов по сбору масок.

ARFoundation (ARKit/ARCore)

Поддерживаемые платформы: Android/IOS

Совместимость с Unity: Есть

Вес SDK в билде: Около 2МБ

Поддержка устройств: Маленькое количество устройств

В версии ARFoundation 4.1 Face tracking поддерживается уже и ARCore и ARKit (Достаточно долгое время ARFoundation поддерживал только ARKit). Отдельно на самих технологиях останавливаться не хочется, так как они имеют не так много различий и, по сути, объединены общим API в AR Foundation. Из плюсов встраиваемость в Unity приложение, стабильная работа, относительная простота интеграции и бесплатность. Основным же минусом является небольшое количество поддерживаемых устройств.

В целом крутое SDK, если проект делается для заготовленного списка устройств, которые покупаются под определённые цели и так же для прототипирования лицевых анимаций, чтобы быстро разработать для себя подобный инструмент. Работает хорошо, правда только на очень ограниченном числе флагманских устройств.

OpenCV + Dlib

Поддерживаемые платформы: Android/IOS/WebGL/Win/Mac/Linux/Hololens/MagicLeap

Совместимость с Unity: Есть

Вес SDK в билде: около 9МБ (без классификаторов, но их можно скачать по сети)

Поддержка устройств: Зависит от требуемого функционала

XZIMG

Поддерживаемые платформы: Android/IOS/WebGL/Win

Вес SDK в билде: около 2МБ

Совместимость с Unity: Есть

Поддержка устройств: Большое количество устройств

ARGear

Цена: Бесплатно/от 25$ в месяц

Поддерживаемые платформы: Android/IOS

Совместимость с Unity: Есть

Вес SDK в билде: около 9МБ

Поддержка устройств: Большое количество устройств

BRFv5

Поддерживаемые платформы: Web/Android(Chrome)/IOS(Safari)

Совместимость с Unity: Нет

Единственное целиком и полностью веб SDK с непонятным ценообразованием, которое в первую очередь понравилось мне своим качеством. Пример его работы можно посмотреть тут. Но как же оно хорошо работает. Я протестировал его и на своих тест устройствах на смартфонах (важно: на андроид работает именно в хроме) и на пк погонял, и для 68 лендмарок — это прям круто. В плюс к тому это веб. Прям даже интригующе. Качество трекинга в разы лучше, чем у того же Media Pipe графа для построения меша лица.

В заключении

Из не вошедших, пожалуй, стоит упомянуть Banuba и Deepar. Бануба не вошла, так как у неё непонятное ценообразование и как бы там ни было сложная схема получения триала. А Deepar так как у него отсутствует SDK для Unity, и при этом он мне не показался особо интересным.

В целом существует достаточно много самых разных технологий, которые можно использовать в своих проектах. На разный кошелёк и с разными подходами по отношению к лицензиям. Со своими плюсами и минусами. Но тем не менее сам принцип технологии очень крутой и имеет много любопытных применений. Конечно, я большой фанат OpenCV и более менее хардкорных технологий компьютерного зрения, но к сожалению, в плане юнити, благодаря платности плагина, особо репозитории с примерами не поделаешь. Может потом придумаю, как это красиво оформить, чтобы не нарушать ни чью лицензию.

Всем спасибо за внимание, поддержите если материал был интересен и стоит продолжать эту серию. Пока в планах стоит ещё маркерный трекинг, SLAM, системы оптического трекинга и т.п.

Источник