Algorithms for contactless fingerprint recognition

Der Fingerabdruck ist eine der am weitesten verbreiteten biometrischen Modalitäten und eignet sich hervorragend zur Identitätsüberprüfung, vor allem aufgrund der Einzigartigkeit und Beständigkeit von Papillarleisten und deren Mustern. Fingerabdruckerkennung wird von Strafverfolgung und Grenzkontrolle bis hin zur Absicherung persönlicher Geräte und finanzieller Transaktionen benutzt. Während Fingerabdrücke traditionell durch direkten Kontakt erfasst werden, bieten kontaktlose Methoden Vorteile bezüglich Hygiene, Sicherheit und Benutzerfreundlichkeit. Die praktische Anwendung wird jedoch durch die freie Präsentation der Hand, wechselnden Aufnahmeumgebungen sowie der Notwendigkeit mit bestehenden, kontaktbasierten Fingerabdruckdatenbanken interoperabel zu bleiben, erschwert. Diese Dissertation präsentiert eine Reihe von Algorithmen und Methoden, um diese Probleme entlang der gesamten Erkennungspipeline zu adressieren. Die Beiträge umfassen Lösungen für die Bildnormalisierung, die Qualitätssicherung der Daten, die robuste Validierung und die Privatsphäre schützende Fingerabdrucksvergleiche, wodurch Genauigkeit, Zuverlässigkeit und der Datenschutz von kontaktlosen Fingerabdrucksystemen verbessert werden.

Ein notwendiger Schritt in jedem kontaktlosen Sensorsystem ist die präzise Segmentierung der Fingerspitze vom Hintergrund, welcher komplex und dynamisch sein kann. Diese Arbeit stellt drei neue Deep-Learning-Architekturen für diese Aufgabe vor. Das erste Modell ist eine Variation der U-Net Architektur und wurde für bereits zugeschnittene Einzelfingerbilder entwickelt. Es übertrifft bestehende State-of-the-Art (SOTA) Segmentierungsmodelle in Genauigkeit. Darauf aufbauend wurde FingerUNeSt++ entwickelt, welches einen ResNeSt-Encoder mit einem UNet++-ähnlichen Decoder kombiniert und eine durchschnittliche Intersection-over-Union (mIoU) von 99% erreicht und damit bestehende SOTA Methoden erneut übertrifft. Das dritte Modell, TipSegNet, macht den vorgelagerten Fingerdetektionsschritt überflüssig, indem es alle vier Fingerspitzen direkt aus einem Bild der Hand segmentiert und klassifiziert. Durch die Nutzung eines ResNeXt-101-Backbones mit einem Feature Pyramid Network (FPN) erreicht TipSegNet eine SOTA-Leistung mit einer mIoU von 99% und Genauigkeit von 100%.


Um die Interoperabilität mit kontaktbasierten Systemen zu verbessern, müssen die geometrischen Verzerrungen bei kontaktlosen Aufnahmen korrigiert werden. Im Rahmen dieser Dissertation wurde eine Verarbeitungspipeline entwickelt, welche Rotationen sowohl in der Bildebene (Hand-Drehung) als auch aus der Bildebene heraus (Hand-Kippung) korrigiert und anschließend die Fingeroberflächentextur mittels parametrischer Entzerrungsmodelle ebnet. Dabei kann auf verschiedene parametrische Entzerrungsmodelle zurückgegriffen werden, welche das Abrollen verschiedener Fingerformen auf dem Sensor simulieren. Für die Drehkorrektur wird die im vorherigen Absatz beschriebene Segmentierungsmaske zur Bestimmung der zentralen Fingerachse verwendet. Für die Kippkorrektur kommt die Segmentierungsmaske erneut zum Einsatz um die Querschnittsbreite eines ellipsoiden Fingermodells zu bestimmen und um dann, mithilfe des detektierten Cores als Referenzpunkt, die Kippkorrektur durchzuführen. Bei der Evaluierung reduzierte eine fingerspezifische Anwendung dieser Prozessschritte die Equal-Error-Rate (EER) für den Abgleich von kontaktlosen mit kontaktbasierten Abdrücken um relative 36,9% (von 1,57% auf 0,99% EER). Eine zusätzliche empirische Analyse der Position des Cores von über 40.000 Fingerabdrücken zeigte, dass dessen Position nicht geometrisch zentriert ist und systematische, modalitätsbedingte Abweichungen sowie eine natürliche Variabilität von 6-12% der Fingerbreite aufweist. Diese Studie quantifiziert eine grundlegende Grenze für die Genauigkeit von Präsentationskorrekturmethoden, die ausschließlich auf dem Core als Referenzpunkt basieren, und identifiziert die nicht-zentrale Fischer-(NCF)-Verteilung als passendes statistisches Modell für dessen Position. Eine fingerspezifische Auswertung wurde ebenfalls durchgeführt.

Für die finale Identifikation eines Fingerabdrucks ist dessen Qualität, sowie die Qualität der Referenzaufnahme, entscheidend. Diese Arbeit begegnet dem Mangel an spezifischen Qualitätsmetriken für mobile kontaktlose Fingerabdrücke durch die Evaluierung von MCLFIQ, einer Adaption des etablierten NFIQ 2 Frameworks. Durch das erneute Trainieren des Random-Forest-Klassifikators von NFIQ 2 auf modalitätsspezifischen, synthetischen Daten zeigt MCLFIQ eine verbesserte Leistung bei der Vorhersage der Qualität von kontaktlos aufgenommenen Fingerabdrücke im Vergleich zum ursprünglichen NFIQ 2.2 und anderen Standardmetriken. Das angepasste Modell priorisiert Merkmale, die mit Bildschärfe und lokaler Klarheit der Papillarleisten zusammenhängen, welche die dominanten Qualitätsfaktoren bei mobilen Aufnahmen sind.

Darüber hinaus wird in dieser Dissertation ein neuartiges, self-supervised Framework zur Erkennung von Stücklungs-Artefakten vorgestellt. Diese Artefakte können während des Zusammensetzens von mehreren Finger-Einzelaufnahmen zu einem Master-Fingerabdruck entstehen. Dieses Problem wird von Standard-Qualitätsmetriken, wie zum Beispiel NFIQ und auch von adaptierten Metriken wie MCLFIQ, nicht erfasst. Durch die programmatische Erzeugung von Artefakten wurde ein Deep-Learning-Modell trainiert um diese Defekte zu erkennen, ohne manuelle Annotierungsarbeit zu benötigen. Der resultierende Detektor ist genau (IoU > 90%), robust gegenüber anderen Qualitätsmängeln des Fingerabdrucks und generalisiert gut über verschiedene Fingerabdruckmodalitäten (kontaktlos, gerollt, flach).

Die Validierung dieser komplexen Algorithmen erfordert standardisierte und wiederholbare Testmethoden. Zu diesem Zweck wurde die Herstellung von physikalisch-synthetischen Fingerphantomen untersucht. Verschiedene Herstellungstechniken (direkte Lasergravur, CNC-Fräsen, 3D-Druck von Gussformen) und Materialien (Silikon, Gelatine, Elastomer) wurden getestet. Die Arbeit zeigt, dass hochpräzise, stabile und physikalisch realistische 3D-Phantome erfolgreich hergestellt werden können, insbesondere durch den Guss von Silikon in hochpräzise Gussformen. Diese Phantome replizieren erfolgreich einen Fingerabdruck und dienen als Werkzeuge für die objektive und wiederholbare Evaluierung der Leistungsfähigkeit von Sensoren und Verarbeitungsalgorithmen, ohne den Einsatz von echten Fingerabdrücken.

Um den Einsatz der Fingerabdruckerkennung in datenschutz-sensitiven Anwendungen wie dem Abgleich von Fahndungslisten an Grenzkontrollen zu ermöglichen, demonstriert diese Arbeit eine praktische, die Privatsphäre wahrende Lösung. Ein SOTA Minutien-basierter Vergleichsalgorithmus, SourceAFIS, wurde erfolgreich für die Ausführung in einem Multiparty Computation (MPC) Framework adaptiert. Durch algorithmische Umstrukturierung von Operationen welche im MPC Protokoll stark rechenintensiv sind und die Nutzung von Klartextberechnungen für nicht-sensitive Zwischendaten erreicht die Implementierung eine Abgleichzeit von ungefähr 17 Sekunden. Diese Geschwindigkeit wird unter Beibehaltung einer hohen, mit dem Klartext-Algorithmen vergleichbaren Erkennungsgenauigkeit erzielt, wodurch ein sicherer Fingerabdruckabgleich unter realistischen Bedingungen praktisch umsetzbar wird.

Abschließend zeigt diese Arbeit, dass die Herausforderungen, die mit einer vollständigen End-to-End-Pipeline für die sichere, kontaktlose Fingerabdruckerkennung einhergehen, gelöst werden können. Durch die Integration der entwickelten Lösungen wird der Weg von den erfassten Rohbildern zu standardisierten und interoperablen biometrischen Templates ermöglicht. Die Relevanz dieses integrierten Ansatzes liegt darin, Hochsicherheitsanwendungen auf kontaktlosen Systemen zu ermöglichen, wie beispielsweise den Abgleich mit Fahndungslisten an Grenzkontrollen durch einen Beamten mittels eines Standard-Smartphones.