Как действует идентификация лицевых образов в телефонах

Почему мы выбираем разблокирование по фейсу

В недавние времена распознавание лиц стало одной из самых популярных возможностей для разблокировки умных телефонов. Лишь некоторые годков тому назад основная масса юзеров обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, например Вулкан Платинум, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает эту особенность очень нужной? Прежде всего, это практично: не нужно помнить замысловатые пароли или находить правильный палец в тьме. Также, это оперативно: современные программы узнают лицо буквально за доли секунды. В-третьих, это впечатление футуризма — как будто в кинолентах про вулкан платинум шпионов.

Однако за этой кажущейся легкостью скрывается полный мир комплексных технологий и инженерных решений. Попробуем понять, как именно функционирует фейсканирование в современных смартфонах, какие применяются технологии, насколько они защищены и что нас ждёт впереди.

Краткая повествование эволюции технологии

Распознавание лиц как методика имеется уже более 50 лет. Начальные эксперименты автоматизированного анализа облика были сделаны еще в 1960-х годы в научных учреждениях США. Тогда вычислительные машины способны были лишь выделять очертания головы и определять промежутки между очами и губами на монохромных изображениях.

Начальные торговые установки появились в 1990-х годах, но они были несовершенны: работали медленно и нередко ошибались. Только с эволюцией синтетических сетей и таких платформ, как Vulkan Platinum, мощных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным идентификацией лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные разработки.

Главные шаги работы системы идентификации

Процесс идентификации лица можно условно разделить на несколько ключевых этапов:

Распознавание лиц — устройство выявляет наличие гуманного лица в кадре.
Выделение характеристик — алгоритм анализирует черты лица: конфигурацию глаз, обонятельного органа, губ, расположение надбровных дуг.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с эталоном — полученный шаблон сравнивается с зафиксированной при учёте биометрической информацией владельца.
Принятие решения — если соответствие достаточно существенное, смартфон открывается.

Каждый из указанных шагов требует индивидуальных алгоритмов и усовершенствований для быстрой работы непосредственно на девайсе.

Аппаратные компоненты: что находится внутри них

Обычная селфи камера.

Самый простой простой вариант распознавания физиономии применяет только фронтальную камеру смартфона. Подобный подход реализован во различных доступных вариантах Android-девайсов.

Преимущества:

Необходимо нуждается в дополнительных сенсоров.
Оперативно действует при качественном освещении.

Недостатки:

Легко одурачить фотографией или видео.
Плохо действует при плохом освещении или необычных точках зрения.

ИК камера и точечный проектор

Более усовершенствованные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Каким способом это функционирует:

Точечный проектор отображает на лицо юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
Инфракрасная камера фиксирует изменение формы данной сетки по поверхности физиономии.
Создаётся трёхмерная глубинная карта глубины, которая почти неподвластна для фальсификации обычной снимком или маской.

Преимущества

Надёжная функционирование даже в полной темноте.
Большая устойчивость к имитациям.
Точность распознавания свыше 99%.

Добавочные сенсоры

В некоторых девайсах задействуются также вспомогательные сенсоры: ToF (Time-of-Flight), которые определяют период прохождения луча до цели и обратно; RGB-датчики дальности; специальные оптические дальномеры для формирования более точной 3D-модели лица.

Эти инновации используются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический интеллект в работе

Нынешние устройства опознания лиц невозможны без использования artificial intelligence и машинного обучения. Именно из-за таким инновациям, как Vulkan Platinum, аппарат способно идентифицировать юзера даже при трансформациях облика: новая причёска, щетина, линзы или макияж не становятся барьером для открытия.

Детектирование лица

При начальном шаге программа обязана оперативно найти лицо внутри всего кадра камеры. Для этого используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: алгоритм MTCNN в состоянии обнаруживать облик даже с неполном перекрытии (например, платком или ладонью).

Определение основных точек

После распознавания лица устройство, такая как Vulkan Platinum, определяет местоположение главных точек: края глаз, кончик носа, границы губ и так далее. Обычно задействуется от 68 до 128 основных маркеров на лице.

Это действие нужно для выравнивания визуала: если человек удерживает мобильник под углом, или наклонил головку, программа корректирует изображение до обычного угла для последующего изучения.

Построение биометрического образца

Далее искусственная сеть строит компактное цифровое представление ("эмбеддинг") внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Этот шаблон очень сложно подделать: он не удерживает непосредственно изображение юзера, а лишь особенные характеристики его вида, что делает его оптимальным для таких систем, как Вулкан Казино Платинум.

Сравнение и вынесение решения

Когда юзер желает разблокировать смартфон взором, механизм воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ не предоставляется.

Приспособление к изменениям внешнего вида

Увлекательная черта современных системы — возможность самостоятельного обучения. Если ты регулярно открываете мобильное устройство с свежей укладкой или оптикой, система постепенно обновляет эталонный образец вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрии информации.

Большинство юзеры боятся держать свои биометрические данные на телефоне из-за угрозы утечки информации или хакерской атаки. Иные фирмы, например Вулкан Казино Платинум, предлагают варианты для повышения сохранности данных клиентов.

Локальное хранение: Основная часть устройств сохраняет био-идентификационные модели исключительно в пределах защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают устройство и не доступны включая изготовителю.
Шифрование: Все сведения сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних разработчиков не обладают прямого возможности доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации идентичности через системный API.

Следует упомянуть важную подробность: если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют меры безопасности от неосознанного разблокирования — например, просят открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют виды распознавания лиц на изображениях?

В настоящее время можно выделить три основных способа к реализации этой задачи:

Программируемое плоское распознавание

Применяется только фронтальная видеокамера без экстра сенсоров дистанции. Этот подход наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; умеренная цена; быстрая функционирование при качественном освещении.
Минусы: несложно ввести в заблуждение фотографией; нестабильная деятельность ночью; низкая защищенность.

Техническое 3D сканирование

Задействует ИК камеру + проектор пикселей + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: высокая достоверность; не получится исказить фото/видео; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана ("чёлка")

Смешанные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам ("anti-spoofing"). Например, подобные изделия, например Vulkan Platinum и Google Pixel Face Unlock новейших версий, объединяют фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы применения разнообразных техник

iPhone линейки X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition в первый раз предложил аналог Face ID в ряду Android.
Samsung Galaxy S10/S20 поддерживают как программное обеспечение двухмерное распознавание по фото фронталкой, так и датчик глазного ириса.
Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Трудности безопасности и ошибочные срабатывания

Несмотря на замечательный прогресс технологий за последние лет, идеальных механизмов пока не имеется:

Возможность обмана: Бюджетные телефоны без труда открываются качественной изображением хозяина либо роликом с дисплея иного гаджета.
Идентичные близняшки: Даже самые идеальные механизмы могут перепутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
Изменения облика: Резкое утрата веса/увеличение массы тела, пластические операции либо повреждения порой требуют обновления данных биометрии.
Условия записи: Яркая освещённость солнцем или же интенсивная темнота могут снизить точность определения признаков.

Вот некоторые подсказок по надёжному эксплуатации:

Для значимых операций всегда применяйте дополнительную аутентификацию;
Не запускайте опцию "Разблокировка по лицу" на дешёвых устройствах без ИК-сенсоров;
Постоянно обновляйте ПО смартфона для обеспечения безопасности от современных угроз;
Включайте функцию "Требовать раскрытых глаз" везде, где она доступна.

Где также применяется технология кроме мобильных телефонов?

Несмотря на то, что тема этой работы касается в частности смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

Управление входа в деловых центрах и резиденциях;
Платёжные устройства банков ("Face Pay");
Виртуальные удостоверения личности нового поколения;
Системы видеоконтроля муниципальных подразделений;
Механизация отслеживания присутствия образовательных учреждений/вузов;
Авторизация участников компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу ("Face Pay") — хватит пройти через барьер без пластика или телефона! Похожие программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется техпроцесс сегодня?

Каждый годочек появляются современные концепции для повышения стандарта работы систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность ошибки;
Улучшаются искусственные интеллекты — современные архитектуры вида MobileNetV3 позволяют быстро обучаться новым особенностям внешности обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются способы антиспуфинга — теперь смартфоны умеют распознавать реальные движущиеся лица от статичных снимков/маскировок по микроскопическим движениям кожи.
Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно закрыть доступ к мобильный телефон, если владелец удалился на значительное расстояние.
Появляются гибридные системы — например комбинирующие речевую опознание + облик + пальцевой отпечаток.

Итак, какие тренды очень востребованы сейчас:

1) Уменьшение компонентов

Изготовители пытаются минимизировать размер выреза ("чёлки") под датчики на дисплее за счёт интеграции миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на девайсе

Для увеличения конфиденциальности всё более обработки данных происходит локально без пересылки информации во дополнительный облачный сервис.

3) Стандартизация стандартов

Гугл активно продвигает эталон BiometricPrompt API, с целью чтобы аналогичные площадки, например как Вулкан Платинум, и каждые Android-программы могли взаимодействовать с любыми видами биометрии единообразно.

Что решить на сегодня?

В случае если вам всем важна максимальная безопасность информации, подбирайте флагманские модели с интегрированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех актуальных поколений
Huawei Partner/P линейки
Mi Professional
Vivo X серии
Оппо Обнаружить Икс серии.

Если финансы скромен – лучше отдавать предпочтение традиционным способам безопасности (PIN-код/сканер отпечатка), а опцию "разблокировка по лицу", такую как в Вулкан Платинум, использовать только как второстепенную возможность комфорта.

Как увеличить комфорт использования опции?

Есть несколько лайфхаков для людей, кто уже пользуется разблокировку через лицо:

Регулярно обновляйте свою фотографию-шаблон, если значительно трансформируется внешний вид.
Не пренебрегайте чистить объектив фронтальной камеры – загрязнения могут понизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает камеру когда вы берёте его в руки.
Во время регистрационного процесса постарайтесь держать лицо неподвижно впереди камеры исключая резкого наклона головы.
Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от дисплея.

Перспективы развития технологии

В скоро наступающие годы можно предвкушать возникновения полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + речь + походка + движения рук!

Также возможно появление современных подходов защиты личной информации – скажем, изменяющееся модификация цифрового образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных инноваций нашего периода! Она обеспечивает взаимодействие со телефоном проще чем до этого, и такие программы, как Вулкан Казино Платинум, могут существенно улучшить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как функционирует эта методика изнутри, – будете в состоянии вдумчиво выбирать свой будущий устройство!