Как работает распознавание лиц в мобильных устройствах

Зачем мы останавливаемся на разблокировку по фейсу

В недавние годы определение лиц стало одной из самых распространённых опций для разблокировки смартфонов. Еще пару лет тому назад основная масса пользователей довольствовались PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, например Вулкан Платинум, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект делает данную функцию очень нужной? Во-первых, это практично: не нужно удерживать в памяти замысловатые пароли или искать верный палец в мраке. Кроме того, это оперативно: современные алгоритмы распознают лицо практически за мгновения ока. В-третьем пункте, это впечатление футуристичности — как будто в кинофильмах про казино Вулкан шпионов.

Однако за такой кажущейся простотой таится целый универсум комплексных техник и инженерных разработок. Позвольте нам понять, как именно работает фейсканирование в актуальных гаджетах, какие существуют способы, насколько они безопасны и что нас ждёт впереди.

Сжатая хроника эволюции техники

Идентификация лиц как методика присутствует уже более 50 лет. Изначальные пробы автоматизированного анализа лиц были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины способны были лишь определять контуры головы и измерять расстояния между глазами и губами на ахроматических изображениях.

Первые бизнес системы появились в 90-х, но они были далеки от совершенства: функционировали медленно и часто давали сбои. Только с эволюцией искусственных сетей и таких платформ, как Vulkan Platinum, мощных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали интегрировать личные разработки.

Основные шаги работы системы определения

Процесс идентификации лица можно примерно сегментировать на несколько основных этапов:

Распознавание лиц — устройство определяет существование человеческого лица в изображении.
Извлечение особенностей — механизм изучает особенности облика: конфигурацию глаз, носа, губ, расположение надбровных дуг.
Построение модели — создаётся неповторимый электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с образцом — сформированный образец сверяется со зафиксированной при учёте биометрической сведениями владельца.
Принятие определения — если соответствие достаточно высокое, смартфон разблокируется.

Всякий из этих этапов запрашивает индивидуальных алгоритмов и улучшений для скорой работы непосредственно на девайсе.

Железные компоненты: что находится в их недрах

Стандартная передняя камера.

Самый легкий метод идентификации лица использует только фронтальную камеру смартфона мобильного устройства. Подобный подход внедрён во многочисленных доступных моделях Android-устройств.

Плюсы:

Не требует дополнительные сенсоров.
Быстро работает при хорошем освещённости.

Минусы:

Несложно одурачить фотографией или видео.
Плохо действует при низком освещении или непривычных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс лежит в основе Face ID от Apple.

Как это действует:

Точечный проекционный прибор проецирует на физиономию юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
Инфракрасная устройство записывает изменение формы этой решетки по плоскости физиономии.
Получается 3D карта глубины глубинности, которая практически неподвластна для подделки обычной снимком или маской.

Плюсы

Надёжная работа даже в полной темноте.
Высокая сопротивляемость к фальсификациям.
Точность распознавания свыше 99%.

Добавочные сенсоры

В отдельных девайсах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют период прохождения луча до объекта и обратно; Цветные-датчики дальности; специальные лазерные лидары для формирования более детализированной 3D-модели лица.

Эти технологии встречаются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искусственный разум в исполнении

Текущие механизмы идентификации лиц немыслимы без применения artificial intelligence и машинного обучения. Именно благодаря таким технологиям, как Vulkan Platinum, устройство в состоянии распознавать владельца даже при трансформациях внешности: новая стрижка, борода, оптика или макияж не становятся помехой для деблокировки.

Детектирование лица

На стартовом стадии программа должна мгновенно найти образ лица внутри целого снимка камеры. Для данной цели применяются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN может распознавать физиономию даже при частичном перекрытии (например, шарфом или рукой).

Выделение ключевых моментов

После идентификации лица механизм, такая как Vulkan Platinum, вычисляет местоположение основных точек: уголки глаз, кончик носа, края губ и так далее. Как правило задействуется от 68 до 128 основных маркеров на лице.

Данное необходимо для выравнивания визуала: если пользователь находится с смартфон под наклоненным, или наклонил головку, программа исправляет изображение до нормального состояния для дальнейшего анализа.

Построение биометрии шаблона

Далее искусственная сеть строит уплотненное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Данный шаблон весьма затруднительно сфальсифицировать: он не сохраняет непосредственно картинку юзера, а лишь уникальные характеристики его облика, что делает его совершенным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и принятие решения

В случае, когда юзер хочет разлочить телефон глазами, программа осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный уровень (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ запрещается.

Приспособление к метаморфозам внешности

Занимательная характеристика современных системы — возможность самообучения. Если ты регулярно доступаете к мобильное устройство с свежей прической или очками, система постепенно освежает эталонный модель вашего облика для увеличения точности действия без снижения уровня безопасности.

Защита биометрии данных.

Множество юзеры боятся хранить свои био-идентификационные данные на телефоне из-за вероятности потери данных или хакерской атаки. Некоторые компании, такие как Вулкан Казино Платинум, предоставляют решения для улучшения защиты данных юзеров.

Локальное сбережение: Большинство аппаратов хранит био-идентификационные модели лишь в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из устройство и не доступны даже производителю.
Шифрование: Все сведения сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Необходимо упомянуть существенную подробность: в случае, если какой-то человек получит доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании осуществляют меры безопасности от “слепого” разблокирования — в частности, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды распознавания лиц на изображениях?

В настоящее время можно определить определить 3 главных метода к реализации этой функции:

Софтверное 2D определение

Используется только фронтальная видеокамера без дополнительных сенсоров глубины. Подобный подход наблюдается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; минимальная цена; быстрая работа при достаточном освещении.
Минусы: просто одурачить снимком; ненадежная функционирование ночью; низкая безопасность.

Техническое трёхмерное оцифровка

Применяет инфракрасную видеокамеру + проектор точек + датчики глубины (Face ID от Apple; подобные технологии у Huawei Mate).
Плюсы: большая достоверность; невозможно подделать изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с дополнением ИИ

Используют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например Vulkan Platinum и Google Pixel Face Unlock новейших версий, комбинируют фронтальную камеру c ИК сенсором мобильности Soli Radar для защиты от подделок руками/масками/видеоэкранами посторонних устройств.

Иллюстрации применения различных методов

iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые предложил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 обеспечивают как софтверное плоское идентификацию по снимку селфи-камерой, так и сенсор глазного ириса.
Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-датчик

Трудности защиты и неверные сигналы

Несмотря на замечательный прогресс инноваций за последние лет, идеальных механизмов пока не наблюдается:

Вероятность мошенничества: Недорогие мобильники легко “разблокируются” четкой снимком хозяина или роликом с экрана другого устройства.
Идентичные близняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
Изменения внешнего вида: Стремительное похудение/набор веса, косметические процедуры или травмы иногда необходимы для повторной регистрации биометрии.
Условия съёмки: Яркая засветка солнечным светом или глубокая темнота могут понизить точность определения признаков.

Вот несколько рекомендаций по надёжному эксплуатации:

Для важных операций всегда применяйте двухэтапную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
Систематически обновляйте ПО мобильного устройства для обеспечения безопасности от современных угроз;
Включайте настройку “Требовать распахнутых глаз” везде, где она есть.

Где дополнительно находится применение технологии кроме смартфонов?

Пускай основная мысль нашей работы посвящена именно мобильным устройствам, необходимо сказать о других сферах применения технологии:

Контроль прохода в деловых центрах и многоквартирных зданиях;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Цифровые паспорта последнего типа;
Комплексы видеоконтроля муниципальных подразделений;
Механизация учёта явки образовательных учреждений/вузов;
Авторизация участников компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом меняется техпроцесс в наше время?

Всякий год возникают новые концепции для повышения уровня функционирования систем идентификации лиц:

Увеличивается разрешение сенсоров — чем больше информации фиксируется камерой/датчиками глубины, тем меньше вероятность неточности;
Совершенствуются нейронные сети — современные конструкции вида MobileNetV3 дают возможность оперативно осваивать дополнительным чертам внешности владельца непосредственно на девайсе без отправки данных в облако.
Развиваются методы антиспуфинга — теперь мобильные устройства умеют отличать подлинные движущиеся облики от фиксированных снимков/масок по мельчайшим микродвижениям.
Интеграция со умными устройствами — интеллектуальные часы могут автоматически заблокировать мобильный телефон, если обладатель ушёл далеко.
Проявляются гибридные механизмы — к примеру совмещающие аудио аутентификацию + облик + дактилоскопический след.

Итак, какие направления очень актуальны в данный момент:

1) Сокращение компонентов

Изготовители пытаются минимизировать величину прорези (“чёлки”) для сенсоры на экране за счёт внедрения миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на устройстве

Для повышения личной безопасности всё больше вычислений происходит локально без пересылки информации во дополнительный облачный сервис.

3) Стандартизация регламентов

Google энергично продвигает эталон BiometricPrompt API, чтобы такие площадки, как Вулкан Платинум, и все Android-приложения могли работать с любыми видами биометрии единообразно.

Какое решить на сегодня?

В случае если вам всем необходима максимальная защита информации, выбирайте топовые аппараты с интегрированным ИК-излучателем либо ToF-датчиком глубины.

iPhone каждого последних версий
Huawei Companion/P серии
Xiaomi Pro
Vivo X модели
Oppo Find Х линейки.

Если бюджет ограничен – лучше предпочесть традиционным способам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как второстепенную опцию комфорта.

Как улучшить практичность работы функции?

Есть некоторые лайфхаков для тех, кто уже применяет разблокировку по лицу:

Часто обновляйте свою изображение-шаблон, если сильно меняется внешность.
Не упускайте из виду очищать объектив фронтальной камеры – разводы могут понизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает фотоаппарат как только вы поднимаете его.
Во время регистрации пытайтесь сохранять лицевую часть прямо напротив объектива исключая резкого наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отворачиваетесь от экрана.

Будущее эволюции техники

В ближайшие периоды можно предполагать появления полностью безконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + голос + манера ходьбы + движения рук!

Также возможно появление свежих подходов обеспечения приватности – к примеру, изменяющееся изменение цифрового образца после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых захватывающих техник нашего периода! Она обеспечивает интеракцию со смартфоном проще чем когда-либо прежде, и такие программы, как Вулкан Казино Платинум, могут значительно повысить ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как устроена эта технология в деталях, – сумеете осознаннее выбирать свой следующий устройство!