Каким способом функционирует распознавание лиц в смартфонах

Для чего мы выбираем разблокирование по фейсу

В недавние годы идентификация лиц стало одной из самых распространённых возможностей для деблокировки смартфонов. Еще пару лет ранее большинство пользователей удовлетворялись пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь обуславливает эту функцию настолько популярной? Прежде всего, это комфортно: не нужно запоминать замысловатые пароли или искать правильный палец в темноте. Кроме того, это мгновенно: современные системы распознают лицо фактически за мгновение. В-третьем пункте, это чувство будущего — будто в кинолентах про адмирал х агентов.

Однако за такой видимой простотой скрывается весь мир комплексных технологий и инженерных концепций. Позвольте нам разобраться, как именно работает идентификация по лицу в современных мобильных телефонах, какие существуют способы, насколько они безопасны и что нас предстоит.

Краткая история развития технологии

Идентификация лиц как техника существует уже более 50 лет. Первые попытки автоматического исследования лиц были предприняты еще в 1960-х годы в лабораториях США. Тогда компьютеры могли лишь определять контуры лица и вычислять дистанции между глазами и губами на монохромных изображениях.

Начальные коммерческие системы появились в 90-х, но они были несовершенны: действовали неспешно и часто давали сбои. Только с прогрессом искусственных сетей и таких систем, как адмирал х, сильных мобильных микросхем распознавание лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные решения.

Основные этапы функционирования устройства определения

Процесс идентификации лица можно примерно сегментировать на несколько основных этапов:

1. Распознавание лиц — аппарат выявляет наличие людского образа в изображении.
2. Извлечение особенностей — механизм изучает особенности облика: очертания зрительных органов, обонятельного органа, губ, положение бровей.
3. Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с эталоном — созданный шаблон сверяется со записанной при внесении биометрической сведениями владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон разблокируется.

Всякий из данных этапов нуждается в индивидуальных методов и усовершенствований для скорой работы непосредственно на девайсе.

Железные составляющие: что находится внутри

Стандартная фронтальная камера.

Самый простой несложный метод идентификации физиономии применяет лишь лицевую камеру смартфона смартфона. Данный метод реализован во различных бюджетных вариантах Android-девайсов.

Сильные стороны:

• Не нуждается в нуждается в дополнительные датчиков.
• Быстро функционирует при хорошем освещённости.

Слабые стороны:

• Просто ввести в заблуждение изображением или видео.
• Плохо функционирует при слабом освещении или нестандартных точках зрения.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс составляет базу Face ID от Apple.

Как это действует:

• Точечный устройство проекции отображает на физиономию пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 точек).
• ИК устройство регистрирует искривление данной решетки по поверхности физиономии.
• Формируется трехмерная глубинная карта глубинности, что почти что неосуществима для фальсификации стандартной снимком или маскировкой.

Преимущества

• Надёжная работа даже в полной тьме.
• Большая защита к фальсификациям.
• Точность определения более 99%.

Дополнительные сенсорные устройства

В некоторых девайсах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время движения света до цели и обратно; Цветные-датчики дальности; специальные оптические дальномеры для построения более детализированной 3D-модели лица.

Эти инновации применяются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искусственный интеллект на действии

Текущие механизмы идентификации физиономий неосуществимы при отсутствии применения artificial intelligence и machine learning. Именно из-за таким разработкам, как адмирал х, аппарат в состоянии узнавать владельца даже при метаморфозах внешнего вида: новая причёска, борода, линзы или макияж не становятся помехой для деблокировки.

Обнаружение лица

В стартовом этапе система должна мгновенно распознать образ лица в пределах полного кадра камеры. Для этого задействуются каскадные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы распознавать лиц человека среди множества других объектов.

Пример: метод MTCNN может распознавать физиономию даже в случае частичном закрытии (например, шалью или рукой).

Определение важных моментов

После идентификации лица механизм, такая как адмирал х, устанавливает расположение главных точек: уголки глаз, кончик носа, края губ и так далее. Как правило задействуется от 68 до 128 главных маркеров на лицевой области.

Данное необходимо для нормализации картинки: если юзер держит смартфон под наклоном, или склонил головку, программа корректирует картинку до обычного угла для дальнейшего анализа.

Формирование биометрии образца

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный образец очень затруднительно имитировать: он не сохраняет само изображение пользователя, а лишь исключительные особенности его вида, что делает его оптимальным для таких платформ, как admiral-x.

Сравнение и принятие заключения

В случае, когда пользователь желает открыть смартфон взором, система воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Адаптация к трансформациям внешности

Увлекательная черта нынешних системы — способность самостоятельного обучения. Если ты постоянно открываете смартфон с обновленной укладкой или очками, программа постепенно освежает базовый шаблон вашего облика для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических данных информации.

Многие пользователи беспокоятся хранить свои био-идентификационные данные на телефоне из-за вероятности утечки данных или хакерской атаки. Некоторые организации, например admiral-x, предлагают методы для улучшения сохранности информации юзеров.

• Локальное хранение: Большинство девайсов хранит биометрические шаблоны исключительно внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не покидают устройство и не доступны включая изготовителю.

• Шифрование: Все информация сберегаются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы внешних разработчиков не имеют прямого доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Стоит отметить важную деталь: если кто-то достанет доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие изготовители осуществляют систему защиты от автоматического разблокирования — к примеру, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды распознавания лиц?

На сегодняшний день можно определить определить 3 главных подхода к осуществлению этой функции:

Программируемое 2D идентификация

Используется только фронтальная видеокамера без дополнительных датчиков глубины. Этот метод встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; умеренная затраты; быстрая функционирование при качественном свете.
Минусы: легко одурачить снимком; нестабильная деятельность ночью; низкая защищенность.

Техническое 3D сканирование

Использует ИК видеокамеру + проектор пикселей + датчики глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Плюсы: значительная надёжность; нельзя исказить фото/видео; постоянная работа в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с дополнением ИИ

Используют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock современных поколений, объединяют фронталку c инфракрасным датчиком мобильности Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Примеры применения различных методов

• iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 поддерживают как софтверное 2D определение по снимку фронтальной камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Проблемы защиты и ошибочные тревоги

Несмотря на поразительный развитие инноваций за прошедшие лет, безупречных системы пока не имеется:

1. Возможность обмана: Бюджетные телефоны без труда доступны четкой изображением хозяина или же роликом с экрана другого устройства.
2. Идентичные близнецы: Даже самые совершенные системы могут спутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Трансформации внешнего вида: Внезапное снижение веса/набор веса, косметические процедуры либо повреждения в некоторых случаях необходимы для перерегистрации биометрии.
4. Условия съёмки: Сильная подсветка солнечным светом или же интенсивная тень могут уменьшить верность определения признаков.

Вот пара советов для защищённому эксплуатации:

• Для значимых операций всегда используйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Постоянно обновляйте ПО мобильного устройства для предотвращения угроз от современных угроз;
• Включайте функцию “Требовать распахнутых глаз” в тех местах, где она есть.

В каких областях ещё находится применение технология кроме смартфонов?

Несмотря на то, что предмет этой работы касается именно мобильным устройствам, необходимо сказать о альтернативных областях использования технологии:

• Управление доступа в рабочих помещениях и резиденциях;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы современного поколения;
• Комплексы видеонаблюдения муниципальных сервисов;
• Механизация регистрации явки учебных заведений/вузов;
• Аутентификация участников ПК/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Схожие проекты осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом трансформируется техпроцесс в нынешнее время?

Всякий годик проявляются современные концепции для усовершенствования качества работы систем лицевого распознавания:

1. Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше вероятность погрешности;
2. Развиваются нейронные сети — современные конструкции модели MobileNetV3 дают возможность оперативно адаптироваться к свежим особенностям вида пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь мобильные устройства умеют распознавать настоящие анимированные облики от неподвижных фото/маскировок по микроскопическим движениям кожи.
4. Взаимодействие со смарт-гаджетами — интеллектуальные часы могут авто блокировать телефон, если пользователь ушёл далеко.
5. Появляются комбинированные механизмы — например совмещающие речевую аутентификацию + облик + дактилоскопический след.

Итак, те тенденции очень востребованы в данный момент:

1) Миниатюризация компонентов

Изготовители пытаются сократить габариты прорези (“чёлки”) для сенсоры на экране за счёт внедрения компактных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения конфиденциальности всё более вычислений осуществляется на месте без передачи данных во внешний облачный услугу.

3) Унификация регламентов

Google активно пропагандирует эталон BiometricPrompt API, для того чтобы такие системы, как admiral x, и каждые Android-программы могли работать с любыми видами биометрии стандартизированно.

Что выбрать сегодня?

Когда вам важна предельная сохранность данных, остановите выбор на топовые аппараты с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone каждого актуальных поколений
• Huawei Partner/P Series серии
• Mix Expert
• Vivo X линейки
• Оппо Find Икс линейки.

Если средства ограничен – лучше отдавать предпочтение обычным способам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как опциональную возможность удобства.

Каким образом улучшить удобство использования возможности?

Есть некоторые лайфхаков для людей, кто уже использует разблокировку через лицо:

1. Часто меняйте свою изображение-шаблон, если значительно изменяется внешний вид.
2. Не забывайте протирать линзу фронтальной камеры – разводы могут снизить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует фотоаппарат если вы берёте его в руки.
4. Во время регистрационного процесса пытайтесь удерживать лицевую часть неподвижно впереди камеры не допуская значительного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отворачиваетесь от экрана.

Будущее развития техники

В ближайшие времена можно ожидать развития полностью безконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + голос + шаги + жесты рук!

Также предполагается появление новых подходов защиты конфиденциальности – например, динамическое изменение цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных инноваций нашего эпохи! Она обеспечивает интеракцию со телефоном удобнее чем до этого, и такие аппы, как admiral-x, могут существенно повысить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта методика в деталях, – сумеете вдумчиво определять свой будущий гаджет!