Fahrerüberwachungssysteme erhöhen die Sicherheit

Die Sicherheitssysteme von Fahrzeugen haben sich in den vergangenen Jahren stark verbessert. Die meisten Fahrer eines neueren Autos werden Ihnen sagen, dass sie sich einen Betrieb ohne Rückfahrkamera, Spurhalteassistent, Totwinkelassistent und automatische Bremsfunktion nicht mehr vorstellen können.

Die für die europäischen Fahrzeugsicherheitsbewertungen und -tests zuständige Stelle (NCAP) hat eine kühne Idee. Im September 2017 stellte sie ihre „Pursuit of Vision Zero“ Roadmap 2025 vor, die darauf abzielt, die Zahl der Autounfälle auf Null zu reduzieren. Stellen Sie sich vor, es gäbe keine Autounfälle mehr. Nach Angaben der Weltgesundheitsorganisation sterben jedes Jahr über 1,3 Millionen Menschen bei Verkehrsunfällen, wobei 94 % dieser tödlichen Unfälle durch menschliches Versagen verursacht werden.

Mit FAS (Fahrerassistenzsystemen) könnte das Ziel von null Unfällen erreicht werden. Die Automobilhersteller sind mit der Automatisierungsstufe 2, die das Spurhalten, die adaptive Geschwindigkeitsregelung und das automatische Bremsen übernehmen kann, bereits auf dem Vormarsch. Sie ermöglicht es dem Fahrer, die Hände kurz vom Lenkrad und die Füße von den Pedalen zu nehmen.

Andererseits werden die Fahrer wohl umso unvorsichtiger, je länger sie die Teilautomatisierung nutzen.

Abbildung 1: Das DMS behält einen schläfrigen Fahrer im Auge. (Bildquelle: Have a nice day/AdobeStock)

Jetzt haben wir DMS

Fahreraufmerksamkeitsmonitore oder Fahrerüberwachungssysteme (DMS) galten früher als ganz nett, aber unwichtig. Inzwischen werden sie als absolute Notwendigkeit für jedes teilautonome Fahrzeug anerkannt. DMS erkennen, wenn der Fahrer seinen Aufgaben nicht nachkommt, und warnen ihn. Sie werden seit Jahren in kommerziellen Lkw- und Transportflotten auf der ganzen Welt eingesetzt, um ablenkungsbedingte Fahrereignisse zu erkennen und abzumildern und Lkw-Fahrer sicher zurück nach Hause zu ihren Familien zu bringen – und Firmenanwälten Arbeit zu ersparen. Die NCAP hat die Fahrerüberwachung als wichtiges Sicherheitsmerkmal eingestuft. Seit 2020 müssen alle neuen Straßenfahrzeuge in Europa eine 5-Sterne-Sicherheitsbewertung erreichen.

Bislang kann keine Technologie feststellen, ob sich jemand auf das Fahren konzentriert. Sie kann jedoch den Blick, die Kopfhaltung oder die Handposition einer Person überwachen, um sicherzustellen, dass sie mit einer aktiv am Straßenverkehr teilnehmenden Person übereinstimmen. Und diese Technologie hat sich zuletzt rasant verbessert. Die Bildsensoren haben eine höhere Empfindlichkeit, die Beleuchtungssteuerung ist kostengünstiger und genauer, und die Verarbeitung erfolgt mithilfe von KI und maschinellen Lerntechniken unter Verwendung der neuesten digitalen Signalverarbeitungschips.

Und wir haben festgestellt, dass es einfacher, schneller und kostengünstiger ist, die Fahrer selbst sicherer zu machen, als sie durch Technologien zu ersetzen. Vom autonomen Fahren nach SAE Level 4 oder 5 sind wir wahrscheinlich noch ein ganzes Stück weit entfernt.

So funktionieren DMS

Fahrerüberwachungssysteme (DMS) verwenden eine CMOS-Kamera mit Filtern, in der Regel mit einer Auflösung von 1 bis 2 Megapixeln, die hinter dem Lenkrad oder oberhalb davon, in der Nähe des Rückspiegels oder darin (bzw. dort, wo sich früher ein Spiegel befand) angebracht ist. Der Bildsensor der Kamera könnte beispielsweise der 8,467-mm-Sensor AR0135CS von onsemi sein, der über einen Global Shutter verfügt, d. h. er kann den gesamten Bildbereich gleichzeitig abtasten. Dieser Global Shutter gewährleistet auch die Synchronisation mit gepulsten Lichtquellen. Der Sensor bietet parallele und serielle Datenschnittstellen, eine überragende Low-Light-Performance mit 10-fach geringerem Dunkelstrom und 4-fach höherer Shutter-Effizienz im Vergleich zu Produkten der vorherigen Generation, sowie HD-720p-Bildqualität. Es gibt ein Evaluierungskit für diesen Sensor.

Ein wesentlicher Bestandteil des Systems ist die Ausleuchtung des Gesichts des Fahrers. Diese erfolgt mit Nahinfrarotlicht, das mit bloßem Auge nicht sichtbar ist. Durch die Verwendung von Infrarot wird der Fahrer nicht mehr abgelenkt, und unvorhersehbare äußere Einflüsse wie Sonnenlicht oder Straßenlaternen werden vermieden. Infrarotlicht wird zudem von Sonnenbrillen relativ wenig behindert.

Die Steuerung der für die Beleuchtung der Szenerie verwendeten LEDs ist für diese Aufgabe von entscheidender Bedeutung. Da Infrarotlicht auch ein Sicherheitsrisiko darstellen kann, müssen die Dauer und die Frequenz des Lichts sorgfältig ausgewählt werden. Der Safety Controller NCV7694 von onsemi kann eine Reihe von Infrarot-LEDs mit einem einzigen externen MOSFET ansteuern. Dieser Chip bietet volle Augenschutz-Funktionalität. Der PWM-Ausgang dieses Treiber-ICs geht an den MOSFET und sorgt für einen konstanten LED-Strom. Das vom Bildsensor eingegebene FLASH-Signal löst die Ausgabe der LED-Ansteuerung aus, und der Controller garantiert die korrekten Zeiten.

Die Sicherheitsfunktion der Chips verhindert, dass die IR-LEDs aufgrund einer unangemessenen Belichtungszeit zu lange laufen oder zu häufig eingeschaltet werden. Der IC verfügt außerdem über eine Schaltkreisfehlererkennung und -abschaltung sowie über einen vollständigen ESD-Schutz. Fehler werden über den DIAG-Pin gemeldet, der den DC/DC-Wandler (Abbildung 2) deaktivieren und dem FAS signalisieren kann.

Abbildung 2: Systemdiagramm für ein typisches Design mit dem Bildsensor und der NCV7694 Nahinfrarot-Sicherheitssteuerung. (Quelle: onsemi)

Für den NCV7694-Chip ist ein Evaluierungs-/Entwicklungstool mit der Bezeichnung NCV7694-GEVB (Abbildung 3) erhältlich, das als 21 mm x 21 mm große Karte geliefert wird und zwei auswählbare LED-Lichtquellen hat: die NIR OSRAM SFH4725S oder die weiße CREE XPGBWT-L1-0000-00G51. Der Standard-LED-Spitzenstrom ist durch einen Shunt-Widerstand auf 3 A eingestellt. Dieses Kit dient nur zur Bewertung der Beleuchtung und enthält keinen Bildsensor.

Abbildung 3: NCV7694-GEVB Evaluierungsboard für die Sicherheitssteuerung der Beleuchtung von onsemi. (Quelle: onsemi)

Die beiden LED-Lichtquellen des Systems müssen den Bereich mit dem richtigen Licht beleuchten. Die Lampen sind in der Regel auf beiden Seiten des Bildsensors angebracht, und die benötigte Lichtmenge wird auf Grundlage des durchschnittlichen Abstands zum Fahrer berechnet.

Die Wellenlänge von Lichtquellen beträgt in der Regel entweder 850 nm oder 940 nm. 850 nm kann einen „roten Glüheffekt“ der Lichtquelle verursachen, den das menschliche Auge als rotes Flackern wahrnimmt. Bei 940 nm gibt es kein rotes Flackern. Allerdings kann das Bild etwas greller sein. Die SFH 4725AS 940 nm NIR LED von OSRAM liefert beispielsweise 1350 mW/sr bei 1,5 A und einer VF von 3,1 V.

Die Kamerabilddaten werden mit einem Visionsprozessor/DSP oder direkt über das Fahrzeug-FAS ausgewertet. Die hervorragenden Leistungen, die ein DMS erbringen kann, erfordern den Einsatz von KI und maschinellem Lernen. Heutzutage verwendet fast jede Branche ein KI-System zur Durchführung von Aufgaben, die die Effizienz verbessern. In unserem Fall wäre das DMS-System ohne KI tatsächlich nicht praktikabel. Künstliche Intelligenz war der Vorläufer des maschinellen Lernens, aber das maschinelle Lernen (oder Deep Learning) setzt noch einen oben drauf.

Abbildung 4: Mit FAS der Stufe 2 kann mich mein Auto fast nach Hause fahren. (Quelle: Have a nice day/Adobe Stock)

Der Imager/Prozessor kann alles im Auge behalten, von der Blinzelfrequenz bis zur Blickrichtung des Fahrers, und sogar erkennen, ob die Augen der Person weit geöffnet sind. Das Prozessorsystem erkennt Ablenkung oder Müdigkeit des Fahrers und kann den Fahrer mit entsprechenden Warnsignalen warnen und eine Pause empfehlen. Einige KI-Prozessoren, die im DMS verwendet werden, sind die verschiedenen Hochleistungs-FPGAs, ein DSP und ein spezieller FAS-Prozessor von verschiedenen Unternehmen.

Überlegungen zur Software

Die Entwicklung eines DMS beinhaltet in der Regel die Integration verschiedener Computer Vision- und Deep Learning-Komponenten. Algorithmen für maschinelles Lernen sind Programme (Mathematik und Logik), die sich selbst anpassen, um ihre Leistung zu verbessern, wenn sie mit mehr Daten gefüttert werden. Viele Unternehmen bieten Software-Entwicklungskits (SDKs) speziell für DMS an, und einige, wie Smart Eye AB (Schweden), werben damit, dass sie hardwareunabhängig sind. Andere, wie PathPartner Technology (Kalifornien), geben an, dass sie auf einer Reihe von Automobilplattformen, einschließlich ARM, Intel, NXP, AMD, Renesas und Broadcom, verfügbar sind.

Driver Sense von Cipia (Israel) ist ein softwarebasiertes Treiber-DMS für OEMs und Tier 1s und soll schlanke Hardwareanforderungen für die Verarbeitung bieten, die auf kostengünstige Low-End-Prozessoren portiert werden können und eine vollständige Konformität ermöglichen. Seeing Machines (Australien) bietet den FOVIO-Chip und die Software für die embedded Fahrerüberwachung (e-DME) an. Das System wird derzeit in der „Super Cruise“-Fahrerassistenzfunktion von General Motors und in den neuen Mercedes-Benz-Limousinen der S-Klasse und des EQS eingesetzt. Es verfügt über einen sehr großen Fahrdatensatz und soll es Entwicklern ermöglichen, DMS nahtlos in ihre FAS- und teilautomatisierten Fahrsysteme zu integrieren.

Auf die Automobilindustrie spezialisierte Mikroprozessorunternehmen bieten auch DMS-Systementwicklungs-Tools mit künstlicher Intelligenz (KI), automatischen Deep-Learning-Funktionen und Softwareentwicklungs-Toolkits an. Diese wollen oft Teil eines größeren Ganzen sein – des kompletten FAS des Fahrzeugs. Fahrzeugtaugliche Pakete für bestimmte Prozessoren ermöglichen es Entwicklern, ihre verschiedenen Algorithmen nahtlos von der Entwicklungsumgebung in die vollständige Implementierung zu überführen.

Der „lernende“ Teil des maschinellen Lernens bedeutet, dass diese Programme die Art und Weise, wie sie Daten verarbeiten, mit der Zeit verändern. Die Implementierung von maschinellem Lernen beginnt in der Regel mit einem Framework. Es gibt viele Standard-Frameworks, zum Beispiel: TensorFlow von Google, PyTorch von der Universität Montreal, das NVIDA CUDA verwendet, Caffe vom Berkeley AI Lab, Chainer, das ausschließlich in Python geschrieben ist, und Microsoft CNTK. Die meisten von ihnen unterstützen die Programmiersprachen Python und C++.

Nahezu alle Entwicklungen von Fahrerüberwachungssystemen erfordern eine Sicherheitsüberprüfung auf ASIL-A-Niveau. ASIL steht für „Automotive Safety Integrity Level“. Es handelt sich um ein Risikoklassifizierungssystem, das in der Norm ISO 26262 für die funktionale Sicherheit von Straßenfahrzeugen definiert ist. Die ISO 26262 kennt vier ASILs: A, B, C und D. ASIL A ist die niedrigste Stufe. ASIL ist eine Sicherheitsanforderung auf Systemebene, die sowohl Software als auch Hardware umfasst.