Как работает определение лиц в мобильных устройствах

Зачем мы останавливаемся на разблокировку по фейсу

В последние времена идентификация лиц является одной из самых популярных опций для открытия умных телефонов. Еще некоторые годков ранее большинство пользователей удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, например вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Что превращает данную функцию очень нужной? Прежде всего, это комфортно: не нужно запоминать трудные пароли или отыскивать нужный палец в темноте. Во-вторых, это оперативно: современные системы распознают лицо фактически за мгновение. В-третьем пункте, это впечатление будущего — будто в фильмах про вулкан россия шпионов.

Впрочем за данной на первый взгляд несложностью прячется весь мир сложных методов и инженерных решений. Давайте исследовать, как конкретно функционирует распознавание лиц в актуальных гаджетах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Краткая повествование эволюции технологии

Распознавание лиц как техника существует уже более пятидесяти лет. Начальные эксперименты автоматизированного исследования лица были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины способны были лишь определять силуэты головы и определять промежутки между очами и устами на черно-белых фотографиях.

Первые бизнес установки возникли в девяностых годах, но они были далеки от совершенства: действовали неспешно и нередко ошибались. Только с прогрессом синтетических сетей и таких платформ, как вулкан россии, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные разработки.

Ключевые стадии функционирования механизма определения

Процесс определения лица можно примерно разделить на несколько ключевых этапов:

Идентификация лиц — камера определяет существование человеческого образа в снимке.
Определение особенностей — алгоритм изучает особенности лица: конфигурацию глаз, обонятельного органа, уст, позицию надбровных дуг.
Построение шаблона — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со эталоном — сформированный шаблон сопоставляется со записанной при учёте биометрической информацией владельца.
Принятие выбора — если соответствие достаточно высокое, смартфон деблокируется.

Любой из этих шагов нуждается в особых алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Аппаратные элементы: что скрыто в их недрах

Стандартная передняя камера.

Наиболее несложный способ распознавания лица использует только переднюю камеру смартфона. Данный метод осуществлён во многочисленных недорогих вариантах Android-устройств.

Сильные стороны:

Необходимо требует дополнительные датчиков.
Оперативно работает при достаточном освещении.

Недостатки:

Несложно обмануть изображением или видео.
Неправильно действует при слабом свете или непривычных точках зрения.

Инфракрасная камера и пунктирный проекционный аппарат

Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика составляет базу Face ID от Apple.

Каким способом это действует:

Точечный проектор отображает на лицо пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
Инфракрасная устройство регистрирует деформацию данной сетки по плоскости физиономии.
Формируется трёхмерная карта глубины глубинности, которая практически неподвластна для фальсификации стандартной фотографией или маской.

Преимущества

Надёжная функционирование даже в полной тьме.
Большая защита к фальсификациям.
Точность идентификации свыше 99%.

Добавочные сенсорные устройства

В отдельных аппаратах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют период прохождения света до объекта и обратно; Цветные-датчики дальности; специальные оптические измерители расстояния для формирования более аккуратной 3D-модели лица.

Эти технологии применяются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный ум на работе

Современные механизмы опознания лиц немыслимы в отсутствие применения artificial intelligence и machine learning. Именно благодаря таким инновациям, как вулкан россии, аппарат в состоянии распознавать юзера даже при трансформациях облика: новая стрижка, щетина, очки или косметика не становятся барьером для разблокировки.

Распознавание лиц

В стартовом этапе система должна оперативно обнаружить ликовое изображение в пределах полного снимка камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN способен обнаруживать физиономию даже при частичном закрытии (например, платком или ладонью).

Выделение важных моментов

После идентификации лица механизм, такая как вулкан россии, вычисляет расположение ключевых точек: уголки глаз, кончик носа, границы губ и так далее. Как правило используется от 68 до 128 основных точек на лицевой поверхности.

Это действие требуется для нормализации изображения: если юзер держит телефон под наклоном, или склонил головку, программа «выпрямляет» картинку до стандартного положения для дальнейшего анализа.

Формирование биометрии шаблона

Далее нейронная сеть строит сжатое цифровое представление («эмбеддинг») облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой шаблон весьма трудно сфальсифицировать: он не удерживает непосредственно фото пользователя, а лишь особенные особенности его облика, что делает его оптимальным для таких площадок, как vulkan russia.

Сравнение и осуществление заключения

В случае, когда человек намеревается открыть телефон взором, механизм повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ не предоставляется.

Привыкание к трансформациям внешности

Занимательная черта современных системы — возможность самостоятельного обучения. Если вы регулярно открываете мобильное устройство с обновленной прической или оптикой, алгоритм постепенно обновляет эталонный шаблон вашего облика для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических информации.

Большинство юзеры беспокоятся держать свои био-идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома гаджета. Некоторые организации, вроде vulkan russia, предлагают методы для повышения безопасности сведений юзеров.

Локальное сохранение: Большинство девайсов хранит био-идентификационные шаблоны только в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не оставляют устройство и недоступны включая производителю.
Шифрование: Все сведения хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних девелоперов не имеют прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Стоит подчеркнуть существенную деталь: если кто-то достанет физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании внедряют систему защиты от автоматического разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды определения лиц?

Сегодня можно выделить выделить три главных способа к осуществлению этой операции:

Программируемое двухмерное идентификация

Применяется только передняя камера без экстра сенсоров глубины. Подобный подход встречается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность воплощения; низкая цена; оперативная деятельность при хорошем освещении.
Минусы: легко обмануть снимком; неустойчивая функционирование ночью; низкая защищенность.

Аппаратное трёхмерное сканирование

Использует инфракрасную камеру + проекционный модуль пикселей + сенсоры глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Плюсы: высокая надёжность; не получится подделать фото/видео; постоянная функционирование при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана («чёлка»)

Комбинированные подходы с интеграцией ИИ

Применяют комбинацию софтверных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам («anti-spoofing»). Например, такие продукты, например вулкан россии и Google Pixel Face Unlock новейших версий, сочетают фронталку c ИК сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Иллюстрации применения различных способов

iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID среди Android.
Samsung Galaxy S10 модель/S20 имеют как программное двухмерное распознавание по фото фронталкой, так и сенсор глазного ириса.
Huawei Mate20 Pro использует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Вопросы безопасности и ложные срабатывания

Несмотря на замечательный развитие техники за прошедшие годы, идеальных механизмов пока не существует:

Вероятность обмана: Бюджетные смартфоны легко «разблокируются» качественной снимком владельца или видео с экрана другого устройства.
Идентичные двойняшки: Даже самые идеальные механизмы могут ошибиться между монозиготными близнецами либо родичами с очень аналогичной внешностью.
Изменения внешности: Внезапное похудение/набор веса, хирургические вмешательства или травмы иногда требуют обновления данных биометрических данных.
Условия съёмки: Сильная подсветка солнцем или же глубокая тень могут снизить точность распознавания признаков.

Ниже некоторые подсказок для надёжному применению:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не включайте функцию «Разблокировка по лицу» на дешёвых аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку прошивку мобильного устройства для обеспечения безопасности от современных угроз;
Включайте настройку «Требовать распахнутых глаз» в тех местах, где она доступна.

Где ещё используется технология кроме мобильных телефонов?

Несмотря на то, что основная мысль нашей работы посвящена в частности портативным гаджетам, следует отметить альтернативных областях использования технологии:

Контроль прохода в деловых центрах и многоквартирных зданиях;
Платёжные аппараты финансовых учреждений («Face Pay»);
Электронные идентификационные документы последнего типа;
Системы видеоконтроля городских сервисов;
Автоматизация регистрации посещаемости учебных заведений/вузов;
Аутентификация юзеров ПК/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу («Face Pay») — достаточно пройти через турникет без карты или телефона! Аналогичные программы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как трансформируется технология сегодня?

Каждый годик появляются современные идеи для усовершенствования уровня деятельности систем распознавания лиц:

Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
Улучшаются искусственные интеллекты — современные конструкции модели MobileNetV3 обеспечивают возможность скоростно адаптироваться к новым характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
Развиваются способы антиспуфинга — теперь смартфоны могут различать подлинные движущиеся лица от фиксированных фото/маскировок по микроскопическим микродвижениям.
Синхронизация со умными устройствами — смарт-часы могут автоматически блокировать мобильный телефон, если пользователь удалился на значительное расстояние.
Проявляются гибридные системы — в частности комбинирующие голосовую опознание + физиономию + отпечаток пальца.

Итак, какие тенденции особенно востребованы в данный момент:

1) Сокращение компонентов

Изготовители пытаются сократить величину прорези («чёлки») для датчики на дисплее за счёт интеграции миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для улучшения конфиденциальности всё более вычислений происходит внутри устройства без отправки информации во сторонний облачный услугу.

3) Унификация регламентов

Google энергично продвигает эталон BiometricPrompt API, для того чтобы такие платформы, как вулкан россия, и каждые Android-аппы могли взаимодействовать с любыми видами биометрии унифицированно.

Что выбрать сегодня?

Если тебе необходима предельная сохранность данных, подбирайте флагманские модели со встроенным ИК-проектором либо ToF-датчиком глубины.

iPhone всех новейших моделей
Huawei Mate/Series P линейки
Mix Expert
Vivo X линейки
Оппо Find X серии.

Если средства ограничен – лучше предпочесть традиционным методам защиты (PIN-код/сканер отпечатка), а функцию «разблокировка по лицу», такую как в вулкан россия, задействовать только как опциональную возможность комфорта.

Как улучшить удобство работы опции?

Есть некоторые советов для людей, кто уже пользуется разблокировку через лицо:

Периодически меняйте свою изображение-шаблон, если кардинально изменяется внешний вид.
Не пренебрегайте очищать объектив фронтальной камеры – разводы могут понизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает фотоаппарат когда вы поднимаете его.
В процессе регистрации пытайтесь удерживать голову неподвижно впереди объектива без значительного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от дисплея.

Возможности развития инноваций

В скоро наступающие годы можно ожидать появления полностью бесконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + шаги + движения рук!

Также вероятно развитие новых способов охраны конфиденциальности – к примеру, переменное модификация цифрового паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее захватывающих технологий нашего времени! Она делает интеракцию со смартфоном проще чем раньше, и такие приложения, как vulkan russia, могут существенно повысить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как работает эта технология изнутри, – будете в состоянии вдумчиво определять свой будущий устройство!