Каким способом работает определение лиц в смартфонах

Почему мы выбираем разблокировку по фейсу

В прошлые годы определение лиц является одной из наиболее востребованных возможностей для открытия мобильных телефонов. Лишь некоторые годов ранее основная масса юзеров обходились PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, как Вулкан Платинум, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает эту возможность такой востребованной? Прежде всего, это практично: не нужно запоминать сложные пароли или отыскивать нужный палец в тьме. Кроме того, это быстро: современные алгоритмы узнают лицо практически за мгновения ока. В-третьем пункте, это чувство футуризма — будто в кинолентах про vulkan platinum агентов.

Тем не менее за такой на первый взгляд простотой прячется полный мир трудных техник и инженерных разработок. Давайте разобраться, как именно действует распознавание лиц в современных смартфонах, какие бывают способы, насколько они защищены и что нас предстоит.

Короткая история эволюции техники

Распознавание лиц как техника существует уже более 50 лет. Начальные попытки автоматизированного исследования лиц были осуществлены еще в 1960-х годах в лабораториях США. Тогда вычислительные машины могли лишь определять силуэты головы и измерять промежутки между зрачками и устами на монохромных фотографиях.

Первые торговые системы стали доступны в 90-х, но они были несовершенны: действовали неспешно и часто ошибались. Только с прогрессом синтетических сетей и таких платформ, как Vulkan Platinum, сильных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали интегрировать собственные решения.

Основные шаги работы устройства распознавания

Процесс распознавания лица можно условно разделить на несколько основных этапов:

Обнаружение лиц — устройство распознает существование людского лица в снимке.
Выделение характеристик — механизм изучает особенности лица: конфигурацию зрительных органов, обонятельного органа, губ, расположение бровей.
Построение структуры — создаётся особенный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение со образцом — созданный шаблон сравнивается с зафиксированной при учёте биометрической информацией владельца.
Принятие определения — если совпадение достаточно высокое, смартфон открывается.

Всякий из этих этапов запрашивает индивидуальных алгоритмов и улучшений для быстрой работы непосредственно на девайсе.

Технические составляющие: что прячется внутри них

Обычная передняя камера.

Наиболее несложный способ распознавания лица задействует исключительно переднюю камеру смартфона мобильного устройства. Данный метод осуществлён во многих доступных вариантах Android-устройств.

Положительные стороны:

Необходимо потребляет дополнительных сенсоров.
Шустро функционирует при хорошем освещённости.

Отрицательные стороны:

Просто одурачить фотографией или видео.
Неправильно функционирует при слабом освещённости или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Каким образом это действует:

Точечный проекционный прибор проецирует на физиономию пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
Инфракрасная камера записывает искривление данной сетки по плоскости физиономии.
Формируется 3D карта глубинности, что практически невозможна для подделки типичной фотографией или маскировкой.

Плюсы

Надёжная функционирование даже в полной тьме.
Большая устойчивость к фальсификациям.
Точность определения более 99%.

Добавочные сенсоры

В некоторых аппаратах применяются также экстра сенсоры: ToF (Time-of-Flight), которые определяют период распространения луча до цели и обратно; RGB-датчики глубины; специальные оптические лидары для построения более аккуратной 3D-модели лица.

Эти инновации используются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: синтетический разум на действии

Нынешние устройства опознания лиц невозможны в отсутствие использования artificial intelligence и машинного обучения. Именно из-за таким инновациям, как Vulkan Platinum, аппарат в состоянии идентифицировать владельца даже при изменениях внешности: новая причёска, растительность на лице, линзы или грим не становятся барьером для разблокировки.

Обнаружение лиц

При первом шаге алгоритм обязана быстро найти ликовое изображение в пределах полного снимка камеры. Для этой задачи задействуются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: метод MTCNN может находить лицо даже при неполном перекрытии (например, платком или ладонью).

Выделение основных точек

После обнаружения лица механизм, такая как Vulkan Platinum, вычисляет местоположение основных точек: кончики глаз, верхушка носа, контуры губ и так далее. Как правило применяется от 68 до 128 ключевых меток на лицевой поверхности.

Это действие необходимо для стабилизации картинки: если пользователь держит смартфон под углом, или наклонил голову, программа исправляет картинку до обычного угла для последующего изучения.

Создание биометрического идентификатора образца

Далее нейросеть строит компактное цифровое представление («эмбеддинг») лица пользователя — своеобразный цифровой «отпечаток» внешности длиной от 128 до 512 флоатов.

Данный шаблон весьма сложно подделать: он не хранит непосредственно фото юзера, а лишь особенные черты его вида, что делает его оптимальным для таких площадок, как Вулкан Казино Платинум.

Сравнение и принятие заключения

В случае, когда юзер желает разлочить смартфон глазами, система воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный границу (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ запрещается.

Привыкание к трансформациям внешнего вида

Увлекательная черта актуальных системы — способность самостоятельного обучения. Если ты часто доступаете к смартфон с свежей прической или очками, алгоритм постепенно модернизирует основной образец вашего лица для повышения точности работы без ухудшения безопасности.

Безопасность биометрических данных.

Большинство пользователи беспокоятся сохранять свои биометрические данные на телефоне из-за вероятности утечки данных или хакерской атаки. Определенные фирмы, такие как Вулкан Казино Платинум, предоставляют методы для улучшения сохранности информации клиентов.

Локальное сбережение: Большинство девайсов сохраняет биометрические модели исключительно внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют аппарат и закрыты включая производителю.
Шифрование: Все информация сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих девелоперов не обладают прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Стоит упомянуть существенную особенность: если кто-либо получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании осуществляют систему защиты от неосознанного разблокирования — к примеру, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды распознавания лиц?

На сегодняшний день можно выделить выделить 3 основных подхода к осуществлению этой функции:

Софтверное плоское идентификация

Применяется только передняя камера без экстра сенсоров глубины. Такой метод наблюдается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; умеренная цена; скоростная деятельность при хорошем свете.
Минусы: просто ввести в заблуждение фотографией; ненадежная работа ночью; слабая защищенность.

Техническое объёмное оцифровка

Использует инфракрасную видеокамеру + проекционный модуль точек + датчики глубины (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: большая надежность; невозможно обмануть изображение/видеозапись; устойчивая деятельность при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана («чёлка»)

Смешанные подходы с ИИ-дополнением

Используют комбинацию софтверных методов + техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам («anti-spoofing»). Например, такие продукты, например Vulkan Platinum и Google Pixel Face Unlock новейших версий, сочетают фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Примеры применения разных техник

iPhone линейки X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз представил эквивалент Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как софтверное двухмерное распознавание по снимку фронталкой, так и датчик глазного ириса.
Huawei Mate20 Pro использует набор из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности безопасности и ложные тревоги

Несмотря на поразительный развитие техники за прошедшие лет, совершенных механизмов пока не наблюдается:

Вероятность подвоха: Доступные смартфоны легко «разблокируются» четкой изображением владельца или же роликом с экрана другого устройства.
Идентичные близняшки: Даже самые идеальные устройства могут спутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
Изменения внешнего вида: Резкое похудение/набор веса, хирургические вмешательства или травмы иногда необходимы для повторной регистрации биометрии.
Условия записи: Интенсивная подсветка солнцем или же интенсивная темнота могут понизить верность определения признаков.

Вот несколько рекомендаций для безопасному использованию:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не активируйте опцию «Разблокировка по лицу» на недорогих устройствах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение мобильного устройства для предотвращения угроз от новых видов атак;
Включайте опцию «Требовать распахнутых глаз» в тех местах, где она доступна.

Где дополнительно находится применение технологии помимо смартфонов?

Несмотря на то, что тема данной публикации сосредоточена на в частности портативным гаджетам, следует отметить альтернативных областях использования технологии:

Мониторинг входа в рабочих помещениях и резиденциях;
Платёжные устройства банков («Face Pay»);
Электронные идентификационные документы последнего образца;
Установки видеоконтроля городских служб;
Автоматизация регистрации посещаемости учебных заведений/университетов;
Вход участников ПК/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу («Face Pay») — достаточно пройти через барьер без карты или телефона! Схожие проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом трансформируется техпроцесс в наше время?

Любой год проявляются новые мысли для усовершенствования качества деятельности систем распознавания лиц:

Увеличивается разрешение датчиков — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше шанс ошибки;
Совершенствуются нейросети — новейшие конструкции модели MobileNetV3 обеспечивают возможность быстро адаптироваться к дополнительным характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
Совершенствуются технологии антиспуфинга — теперь мобильные устройства умеют отличать настоящие анимированные лица от статичных снимков/маскировок по мельчайшим движениям кожи.
Синхронизация со умными устройствами — интеллектуальные часы могут авто блокировать мобильный телефон, если пользователь удалился на значительное расстояние.
Появляются смешанные устройства — в частности совмещающие речевую идентификацию + физиономию + пальцевой отпечаток.

Итак, те тенденции особенно популярны в данный момент:

1) Сокращение компонентов

Компании пытаются уменьшить размер отверстия («чёлки») для сенсоры на экране за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для увеличения личной безопасности всё более расчётов происходит локально без пересылки данных во внешний облачный сервис.

3) Упорядочивание регламентов

Гугл энергично пропагандирует эталон BiometricPrompt API, с целью чтобы такие площадки, как Вулкан Платинум, и все Android-программы могли работать с всеми формами биометрии унифицированно.

Что решить сегодня?

Когда вам нужна предельная сохранность данных, подбирайте передовые модели с интегрированным ИК-проектором либо ToF-датчиком глубины.

iPhone всех актуальных моделей
Huawei Partner/Series P серии
Xiaomi Expert
Vivo X модели
Oppo Find Х линейки.

Если финансы невелик – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер отпечатка), а возможность «разблокировка по лицу», такую как в Вулкан Платинум, задействовать только как второстепенную возможность удобства.

Каким образом повысить комфорт использования функции?

Есть пара хитростей для людей, кто уже использует функцию распознавания лица:

Регулярно обновляйте свою фото-шаблон, если кардинально изменяется внешний вид.
Не пренебрегайте чистить линзу фронтальной камеры – разводы могут снизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает фотоаппарат когда вы берёте его в руки.
При регистрации пытайтесь сохранять голову неподвижно напротив видеоустройства не допуская резкого наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от экрана.

Возможности развития технологии

В предстоящие времена можно ожидать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим данным параметрам одновременно: облик + голос + манера ходьбы + жесты рук!

Также возможно возникновение свежих подходов охраны конфиденциальности – например, изменяющееся корректировка цифрового образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из очень увлекательных технологий нашего периода! Она делает общение со мобильным устройством комфортнее чем до этого, и такие аппы, как Вулкан Казино Платинум, могут существенно оптимизировать ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как функционирует эта система изнутри, – сумеете вдумчиво выбирать свой следующий гаджет!