Каким способом функционирует идентификация лиц в смартфонах

Почему мы останавливаемся на разлочивание по лицу

В прошлые годы идентификация лиц превратилось в одной из самых популярных опций для разблокировки умных телефонов. Всего некоторые годков тому назад большинство пользователей обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, например On X, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную особенность настолько популярной? Во-первых, это комфортно: не нужно помнить сложные пароли или отыскивать правильный палец в темноте. Кроме того, это мгновенно: современные алгоритмы узнают лицо фактически за доли секунды. В-третьем пункте, это чувство футуристичности — будто в фильмах про onx агентов.

Тем не менее за такой видимой простотой прячется целый вселенная комплексных методов и инженерных концепций. Позвольте нам понять, как конкретно функционирует фейсканирование в современных гаджетах, какие существуют технологии, насколько они безопасны и что нас ожидает в будущем.

Краткая хроника развития инноваций

Распознавание лиц как методика имеется уже более пятидесяти годов. Изначальные пробы машинного изучения лица были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ способны были лишь определять очертания черепа и вычислять промежутки между глазами и ртом на ахроматических фотографиях.

Первые торговые установки появились в девяностых годах, но они были далеки от совершенства: функционировали медленно и часто ошибались. Только с эволюцией нейронных сетей и таких площадок, как On-X, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные разработки.

Ключевые шаги функционирования механизма идентификации

Процесс распознавания лица можно условно поделить на несколько важных этапов:

Идентификация лица — аппарат распознает наличие людского образа в изображении.
Выделение особенностей — система анализирует особенности физиономии: форму глаз, носа, уст, расположение бровей.
Построение шаблона — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с эталоном — полученный образец сравнивается с зафиксированной при учёте биометрической информацией владельца.
Принятие выбора — если совпадение достаточно существенное, смартфон разблокируется.

Каждый из этих этапов требует особых методов и усовершенствований для быстрой работы прямо на устройстве.

Технические составляющие: что находится в их недрах

Стандартная селфи камера.

Самый простой несложный метод распознавания лица применяет только лицевую видеокамеру мобильного устройства. Подобный подход реализован во многих бюджетных моделях Android-устройств.

Положительные стороны:

Не нуждается в требует дополнительных сенсоров.
Оперативно действует при хорошем освещении.

Недостатки:

Просто одурачить изображением или видеозаписью.
Неправильно функционирует при плохом свете или необычных точках зрения.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как On-X, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Каким образом это действует:

Точечный проектор показывает на лицо пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
ИК камера регистрирует искривление этой сетки по поверхности лица.
Получается трехмерная карта глубинности, которая почти что неподвластна для имитации обычной фото или маской.

Плюсы

Надёжная деятельность даже в полной неосвещённости.
Большая устойчивость к имитациям.
Точность идентификации свыше 99%.

Добавочные сенсоры

В некоторых устройствах задействуются также экстра сенсорные устройства: ToF (Time-of-Flight), которые определяют время распространения света до цели и обратно; Цветные-датчики дальности; специальные оптические лидары для построения более точной 3D-модели физиономии.

Эти инновации используются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный ум в работе

Нынешние системы опознания лиц неосуществимы без использования artificial intelligence и machine learning. Именно вследствие таким разработкам, как On-X, устройство способно распознавать юзера даже при изменениях внешнего вида: новая причёска, щетина, линзы или макияж не становятся барьером для разблокировки.

Детектирование лиц

При стартовом стадии система должна мгновенно найти ликовое изображение внутри полного изображения с камеры. Для данной цели применяются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые натренированы распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN способен распознавать физиономию даже с неполном перекрытии (например, шарфом или ладонью).

Идентификация основных аспектов

После распознавания лица система, такая как On-X, устанавливает местоположение главных точек: уголки глаз, верхушка носа, границы губ и так далее. Часто применяется от 68 до 128 главных маркеров на лицевой области.

Это требуется для нормализации картинки: если юзер находится с смартфон под углом, или склонил головку, программа корректирует изображение до нормального состояния для последующего изучения.

Создание биометрического образца

Далее нейронная сеть строит компактное математическое представление („эмбеддинг“) лица пользователя — своеобразный цифровой „отпечаток“ внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный образец весьма трудно имитировать: он не удерживает непосредственно фото пользователя, а лишь уникальные черты его вида, что делает его идеальным для таких систем, как Он Икс Казино.

Сравнительный анализ и вынесение заключения

Если пользователь намеревается разблокировать мобильник взором, механизм осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно выше 99%), телефон, как и платформа Он Икс Казино, разблокируется; если нет — доступ запрещается.

Приспособление к метаморфозам облика

Увлекательная характеристика современных системы — способность самообучения. Если вы часто открываете смартфон с свежей стрижкой или очками, система постепенно модернизирует основной модель вашего облика для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических информации.

Множество клиенты беспокоятся хранить свои биометрические идентификационные данные на смартфоне из-за угрозы утечки информации или хакерской атаки. Определенные фирмы, например Он Икс Казино, предлагают варианты для увеличения защиты сведений юзеров.

Локальное сохранение: Большинство девайсов сохраняет био-идентификационные модели лишь в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют гаджет и закрыты даже изготовителю.
Шифрование: Все информация сберегаются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Программы сторонних девелоперов не имеют прямого доступа к биометрическим; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Необходимо подчеркнуть существенную деталь: если кто-либо достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании реализуют защиту от „слепого“ разблокирования — к примеру, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы распознавания лиц на изображениях?

На сегодняшний день можно выделить выделить 3 ключевых способа к выполнению этой операции:

Программное двухмерное идентификация

Используется только лицевая камера без экстра датчиков дистанции. Такой подход используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость реализации; минимальная затраты; быстрая функционирование при качественном освещении.
Минусы: несложно обмануть фотографией; ненадежная деятельность ночью; слабая безопасность.

Аппаратное 3D оцифровка

Задействует ИК видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: значительная надежность; невозможно исказить фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана („чёлка“)

Смешанные способы с ИИ-дополнением

Задействуют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для повышения устойчивости к атакам („anti-spoofing“). Например, подобные изделия, как On-X и Google Pixel Face Unlock современных версий, объединяют фронталку c инфракрасным сенсором движения Soli Radar для защиты от подделок жестами/масками/видеоэкранами посторонних устройств.

Образцы использования разных способов

iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID среди Android.
Samsung Galaxy S10 модель/S20 имеют как программное обеспечение 2D идентификацию по фото фронтальной камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro задействует набор из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Проблемы безопасности и ошибочные сигналы

Несмотря на поразительный прогресс технологий за прошедшие годы, совершенных систем пока не существует:

Вероятность подвоха: Недорогие смартфоны без труда открываются качественной изображением пользователя или же роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые безупречные системы могут ошибиться между однояйцевыми близнецами либо родичами с очень похожей внешностью.
Трансформации внешности: Резкое похудение/увеличение массы тела, пластические операции или повреждения иногда необходимы для обновления данных биометрических данных.
Условия съёмки: Яркая подсветка солнечным светом либо интенсивная темнота могут уменьшить верность определения признаков.

Здесь некоторые подсказок для безопасному эксплуатации:

Для значимых операций всегда применяйте двухэтапную аутентификацию;
Не включайте опцию „Разблокировка по лицу“ на дешёвых аппаратах без ИК-сенсоров;
Систематически апгрейдите программное обеспечение мобильного устройства для защиты от актуальных атак;
Включайте настройку „Требовать открытых глаз“ везде, где она доступна.

В каких местах ещё используется технология за исключением смартфонов?

Хотя основная мысль нашей работы касается именно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Управление доступа в рабочих помещениях и резиденциях;
Платёжные устройства финансовых учреждений („Face Pay“);
Цифровые идентификационные документы нового образца;
Системы видеонаблюдения городских служб;
Автоматизирование регистрации явки образовательных учреждений/вузов;
Авторизация юзеров ПК/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по лицу („Face Pay“) — хватит пройти через барьер без карты или мобильника! Схожие инициативы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется техпроцесс в наше время?

Каждый годик возникают свежие концепции для усовершенствования стандарта функционирования систем идентификации лиц:

Увеличивается разрешение датчиков — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
Совершенствуются нейронные сети — передовые конструкции вида MobileNetV3 обеспечивают возможность оперативно обучаться дополнительным чертам вида пользователя напрямую на гаджете без отправки данных в облако.
Улучшаются технологии антиспуфинга — теперь мобильные устройства могут различать настоящие живые облики от статичных снимков/масок по мельчайшим движениям кожи.
Взаимодействие со умными устройствами — умные часы могут авто закрыть доступ к телефон, если пользователь ушёл далеко.
Возникают гибридные системы — в частности объединяющие голосовую идентификацию + физиономию + дактилоскопический след.

Итак, какие тенденции очень востребованы в данный момент:

1) Уменьшение элементов

Изготовители стараются минимизировать габариты выреза („чёлки“) для датчики на дисплее за счёт встраивания компактных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на аппарате

Для увеличения конфиденциальности всё больше обработки данных осуществляется локально без пересылки информации во дополнительный облачный сервис.

3) Стандартизация норм

Google энергично продвигает стандарт BiometricPrompt API, чтобы такие системы, вроде On X, и все Android-программы могли работать с различными типами биометрии стандартизированно.

Какое решить сегодня?

Когда вам всем необходима наивысшая защита информации, подбирайте передовые устройства со встроенным ИК-излучателем либо ToF-сенсором глубины.

iPhone всех существующих актуальных моделей
Huawei Companion/P серии
Xiaomi Pro
Vivo X модели
Оппо Find Х линейки.

Если бюджет невелик – лучше выбирать классическим способам безопасности (PIN-код/сканер пальца), а функцию „разблокировка по лицу“, такую как в On X, применять только как опциональную возможность комфорта.

Каким образом повысить комфорт функционирования функции?

Есть пара хитростей для пользователей, кто уже использует разблокировку через лицо:

Часто обновляйте свою фотографию-шаблон, если значительно меняется облик.
Не пренебрегайте чистить объектив передней камеры – разводы могут понизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам запускает фотоаппарат если вы поднимаете его.
Во время записи старайтесь держать голову неподвижно впереди объектива без резкого наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от экрана.

Будущее развития технологии

В ближайшие периоды можно предполагать возникновения полностью безконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + шаги + жесты рук!

Также возможно появление свежих методов защиты конфиденциальности – к примеру, переменное модификация диджитал образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из самых захватывающих инноваций нашего периода! Она делает общение со мобильным устройством проще чем когда-либо прежде, и такие аппы, как Он Икс Казино, могут значительно оптимизировать ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как функционирует эта методика внутри, – будете в состоянии более осмысленно выбирать свой очередной девайс!