Как работает определение лиц в телефонах

Почему мы предпочитаем разлочивание по лицу

В прошлые времена определение физиономий является одной из наиболее востребованных опций для разблокировки смартфонов. Еще пару годков ранее большинство использующих обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь превращает данную возможность такой востребованной? Во-первых, это комфортно: не нужно удерживать в памяти трудные пароли или искать правильный палец в тьме. Также, это быстро: современные программы узнают лицо фактически за мгновения ока. В-третьих, это ощущение будущего — словно в фильмах про вулкан россия шпионов.

Впрочем за такой кажущейся легкостью таится целый универсум сложных технологий и инженерных концепций. Позвольте нам понять, как конкретно работает распознавание лиц в современных гаджетах, какие бывают способы, насколько они безопасны и что нас ждёт впереди.

Краткая хроника прогресса технологии

Распознавание лиц как технология присутствует уже более пятидесяти лет. Начальные эксперименты машинного исследования лиц были осуществлены еще в 1960-х годы в лабораториях США. Тогда вычислительные машины способны были лишь определять силуэты головы и определять дистанции между глазами и ртом на монохромных снимках.

Начальные коммерческие платформы возникли в девяностых годах, но они были далеки от совершенства: функционировали медленно и часто ошибались. Только с эволюцией синтетических сетей и таких площадок, как вулкан россии, мощных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным идентификацией лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать свои разработки.

Основные шаги действия устройства идентификации

Процесс распознавания лица можно условно поделить на несколько важных этапов:

1. Обнаружение лица — камера определяет существование человеческого лица в изображении.
2. Определение характеристик — алгоритм исследует особенности лица: форму зрительных органов, обонятельного органа, губ, расположение бровей.
3. Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — полученный шаблон сопоставляется с записанной при учёте биометрической сведениями владельца.
5. Принятие выбора — если совпадение достаточно значительное, смартфон деблокируется.

Каждый из указанных шагов запрашивает специальных алгоритмов и улучшений для быстрой работы прямо на устройстве.

Железные элементы: что скрыто внутри них

Стандартная передняя камера.

Самый простой легкий вариант идентификации облика применяет лишь переднюю камеру смартфона мобильного устройства. Такой способ внедрён во многочисленных недорогих вариантах Android-девайсов.

Сильные стороны:

• Не требует внешних сенсоров.
• Быстро функционирует при хорошем освещении.

Отрицательные стороны:

• Просто одурачить изображением или видеозаписью.
• Неудачно действует при низком освещённости или непривычных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика составляет базу Face ID от Apple.

Каким способом это функционирует:

• Точечный проекционный прибор показывает на физиономию юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID использует около 30 000 точек).
• Инфракрасная устройство записывает изменение формы этой сетки по поверхности лица.
• Формируется 3D карта глубины глубины, которая почти неосуществима для имитации стандартной фотографией или маской.

Преимущества

• Надёжная работа даже в полной неосвещённости.
• Большая сопротивляемость к имитациям.
• Точность идентификации свыше 99%.

Дополнительные сенсорные устройства

В некоторых девайсах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют время прохождения луча до объекта и обратно; Трехцветные-датчики глубины; специальные световые измерители расстояния для построения более аккуратной 3D-модели физиономии.

Эти разработки встречаются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический ум в работе

Современные устройства распознавания лиц немыслимы без эксплуатации artificial intelligence и machine learning. Именно благодаря таким технологиям, как вулкан россии, устройство может идентифицировать пользователя даже при метаморфозах внешности: новая стрижка, борода, линзы или косметика не становятся барьером для разблокировки.

Обнаружение физиономии

В первом шаге система должна быстро распознать ликовое изображение внутри целого изображения камеры. Для данной цели используются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” находить лица людей среди множества других объектов.

Пример: процесс MTCNN способен распознавать физиономию даже в случае неполном перекрытии (например, шалью или ладонью).

Идентификация ключевых моментов

После идентификации лица система, такая как вулкан россии, вычисляет положение ключевых точек: кончики глаз, кончик носа, границы губ и так далее. Как правило применяется от 68 до 128 главных точек на лицевой области.

Это необходимо для стабилизации визуала: если юзер держит мобильник под углом, или повернул голову, программа “выпрямляет” картинку до обычного угла для последующего изучения.

Формирование биометрического образца

Далее искусственная сеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Данный образец весьма затруднительно имитировать: он не сохраняет само картинку юзера, а лишь исключительные черты его облика, что делает его оптимальным для таких платформ, как vulkan russia.

Сравнительный анализ и принятие решения

Когда человек намеревается разблокировать телефон глазами, система осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный уровень (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Адаптация к метаморфозам внешности

Занимательная черта современных систем — способность самостоятельного обучения. Если ты часто разблокируете мобильное устройство с новой прической или оптикой, алгоритм постепенно освежает базовый шаблон вашего внешности для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных.

Многие юзеры опасаются держать свои биометрические идентификационные данные на смартфоне из-за вероятности утечки данных или взлома устройства. Некоторые организации, такие как vulkan russia, предоставляют варианты для увеличения безопасности данных клиентов.

• Локальное сохранение: Большинство девайсов хранит биометричные модели лишь внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают устройство и не доступны даже производителю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы внешних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Стоит отметить важную деталь: если кто-либо получит физический доступ к вашему телефону (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители реализуют меры безопасности от неосознанного разблокирования — к примеру, заставляют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды определения лиц на изображениях?

На сегодняшний день можно различить три главных подхода к осуществлению этой функции:

Софтверное двухмерное распознавание

Используется только лицевая видеокамера без дополнительных сенсоров глубины. Такой способ используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность воплощения; минимальная затраты; скоростная деятельность при достаточном свете.
Минусы: легко одурачить снимком; неустойчивая функционирование ночью; низкая защищенность.

Аппаратное объёмное сканирование

Применяет ИК камеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: большая надежность; не получится обмануть фото/видео; постоянная деятельность при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с интеграцией ИИ

Применяют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock современных версий, объединяют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Примеры применения разных способов

• iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID в ряду Android.
• Samsung Galaxy S10/S20 поддерживают как софтверное двухмерное распознавание по снимку фронтальной камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro применяет комплекс из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Трудности защиты и неверные сигналы

Несмотря на впечатляющий успехи технологий за прошедшие годы, совершенных механизмов пока не существует:

1. Возможность мошенничества: Бюджетные телефоны просто “разблокируются” качественной фотографией хозяина либо роликом с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
3. Изменения внешности: Стремительное похудение/увеличение массы тела, косметические процедуры либо травмы иногда необходимы для повторной регистрации биометрических данных.
4. Условия съёмки: Интенсивная подсветка солнцем либо глубокая темнота могут уменьшить верность распознавания признаков.

Вот пара советов для надёжному эксплуатации:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Постоянно обновляйте прошивку прошивку смартфона для предотвращения угроз от современных угроз;
• Включайте опцию “Требовать открытых глаз” везде, где она имеется.

Где также применяется технология кроме смартфонов?

Пускай основная мысль нашей публикации посвящена именно портативным гаджетам, следует отметить других сферах применения технологии:

• Мониторинг входа в рабочих помещениях и многоквартирных зданиях;
• Платёжные терминалы банков (“Face Pay”);
• Виртуальные удостоверения личности современного поколения;
• Комплексы видеомониторинга городских сервисов;
• Механизация учёта присутствия школ/университетов;
• Авторизация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без пластика или телефона! Схожие проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом трансформируется техпроцесс сегодня?

Каждый год возникают современные мысли для повышения уровня функционирования систем лицевого распознавания:

1. Увеличивается детализация датчиков — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше шанс ошибки;
2. Совершенствуются искусственные интеллекты — передовые структуры модели MobileNetV3 дают возможность скоростно обучаться свежим особенностям внешности обладателя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь телефоны способны различать подлинные анимированные лица от фиксированных фотографий/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со смарт-гаджетами — умные часы могут самостоятельно закрыть доступ к мобильный телефон, если обладатель отошёл далеко.
5. Проявляются гибридные механизмы — в частности объединяющие речевую опознание + облик + пальцевой отпечаток.

Итак, те тенденции очень востребованы в данный момент:

1) Уменьшение деталей

Компании намереваются уменьшить габариты прорези (“чёлки”) для датчики на дисплее за счёт интеграции миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для увеличения личной безопасности всё более вычислений выполняется внутри устройства без передачи данных во дополнительный облачный сервис.

3) Упорядочивание стандартов

Google интенсивно пропагандирует стандарт BiometricPrompt API, чтобы аналогичные системы, вроде вулкан россия, и любые Android-аппы могли взаимодействовать с различными типами биометрии унифицированно.

Какое подобрать на сегодня?

Когда вам всем необходима наивысшая сохранность данных, остановите выбор на флагманские аппараты с интегрированным ИК-проектором либо ToF-сенсором глубины.

• iPhone каждого последних версий
• Huawei Partner/P Series ряда
• Mix Expert
• Vivo X линейки
• Oppo Найти X серии.

Если бюджет ограничен – лучше предпочесть обычным средствам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, применять только как второстепенную опцию комфорта.

Как улучшить комфорт работы функции?

Есть несколько лайфхаков для тех, кто уже пользуется разблокировку через лицо:

1. Регулярно обновляйте свою изображение-шаблон, если кардинально трансформируется внешний вид.
2. Не забывайте чистить линзу передней камеры – пятна могут уменьшить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает камеру если вы поднимаете его.
4. При регистрационного процесса пытайтесь сохранять лицо неподвижно перед видеоустройства без сильного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвели взгляд от экрана.

Будущее эволюции технологии

В предстоящие периоды можно предполагать развития полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + походка + жесты рук!

Также возможно появление новых способов защиты личной информации – к примеру, изменяющееся корректировка цифрового шаблона после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих технологий нашего эпохи! Она обеспечивает интеракцию со телефоном проще чем до этого, и такие аппы, как vulkan russia, могут существенно оптимизировать ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как работает эта методика изнутри, – сможете осознаннее определять свой следующий девайс!