• rFpro integriert die SXIVE-Technologie von Solectrix in AV elevate und ermöglicht so die Entwicklung einer vollständig virtuellen Kamerapipeline.
• Hilft Tier-1-Zulieferern, die wachsende Nachfrage der OEMs nach präzisen digitalen Zwillingen von Kamerasystemen zu erfüllen, noch bevor die Hardware existiert.
• Unterstützt eine frühere, schnellere und kostengünstigere Entwicklung von ADAS- und AD-Systemen.

Der britische Softwarespezialist rFpro hat seine AV elevate™-Plattform um die Bildverarbeitungstechnologie SXIVE (Simplified eXtensive Image and Video Engine) von Solectrix ergänzt. Damit können Entwickler die gesamte Kamerapipeline in der Simulation entwerfen, modellieren und optimieren. Da die Entwicklung bereits vor der Verfügbarkeit physischer Prototypen möglich ist, können die Sensoroptimierung und die Erstellung von Trainingsdatensätzen innerhalb des Entwicklungszyklus früher vorgenommen werden, was zu einer erheblichen Kostensenkung führt.

Die Integration wird die Feinabstimmung der Bildsignalverarbeitung (ISP) und der Kameraparameter bei Edge Cases, das Training von Wahrnehmungsmodellen mit von SXIVE verarbeiteten synthetischen Daten sowie das Testen kompletter Bildverarbeitungs-Pipelines unter stark wandelbaren Bedingungen unterstützen.

Das Update integriert die softwarebasierte ISP von Solectrix in das Kameramodell von rFpro und ermöglicht es Entwicklern, wichtige Verarbeitungsschritte wie Debayering, Farbkorrektur, Tone Mapping, Rauschunterdrückung sowie die Korrektur von Linsenverzerrung und Vignettierung direkt in der Simulation zu optimieren.

„Die kamerabasierte Wahrnehmung ist für die Leistung der meisten ADAS-Systeme und autonomen Fahrzeuge von zentraler Bedeutung, und so stellt die ISP-Optimierung ein entscheidendes Wettbewerbsmerkmal dar“, sagte Matt Daley, Technischer Direktor bei rFpro. „Vorteile lassen sich erzielen, indem die Bilder für das maschinelle Sehen statt für das menschliche Sehen optimiert werden, was letztlich die Leistung des Wahrnehmungsmodells und die Gesamtsicherheit des Systems verbessert. Unsere kombinierte Simulationsumgebung und unser ISP-Modell bieten Ingenieuren eine weit schnellere und sicherere Möglichkeit, verschiedene Einstellungsoptionen unter dynamischen Fahrbedingungen zu testen, anstatt auf öffentlichen Straßen nach solchen Edge Cases suchen zu müssen.“

„Das Bereitstellen ausreichender Mengen an hochwertigen Videodaten ist eine echte Herausforderung für die Entwicklung jedes modernen AD- oder ADAS-Systems“, sagte Dr. Roman Tzschoppe, R&D-Manager bei Solectrix. „Unsere Zusammenarbeit mit rFpro ermöglicht es Entwicklern, Hunderttausende von Testszenarien zu entwerfen und durchzuführen sowie eine breite Palette hochspezifischer Trainingsdaten für kamerabasierte Wahrnehmungsmodelle zu generieren. Dadurch lassen sich wichtige ISP-Parameter für die Bildqualität bei der Erstellung der Datensätze variieren – das ist schlichtweg unmöglich, wenn man Bilddaten ausschließlich über physische Hardware erfasst.“

Abgesehen von Fahrerassistenzsystemen und automatisiertem Fahren gibt es zudem eine Vielzahl kamerabasierter Human-Vision-Anwendungen, da digitale Rückspiegel und Rundumsichtsysteme in vielen Personenkraftwagen, Bussen und Lastkraftwagen rasch Verbreitung finden. Kritische Lichtverhältnisse wie tief stehende Sonne, stark reflektierende Straßen, grelle Fahrzeugscheinwerfer oder überdachte sowie unterirdische Parkplätze stellen bei der Feinabstimmung dieser Systeme große Herausforderungen für die ISP-Optimierung dar.

AV elevate ist eine vollständig integrierte Simulationslösung, die die Entwicklung von ADAS- und AD-Systemen beschleunigt. Sie ermöglicht die Sensoroptimierung, das Training von Wahrnehmungs- und Steuerungssystemen sowie das Testen des gesamten AV-Technologie-Stacks in einer einzigen Umgebung. Die Plattform unterstützt sowohl Wahrnehmungstests im geschlossenen Regelkreis als auch das Erstellen synthetischer Trainingsdaten in einer entwicklungstauglichen Qualität.

SXIVE ist ein umfassendes Bildverarbeitungs-Ökosystem, das aus der eigentlichen Bildverarbeitungssoftware, Hardware-Beschleunigern sowie einer Vielzahl von Apps und Plugins besteht. Es ermöglicht Fachleuten aus dem Bereich der Bildverarbeitung sowohl Rapid Prototyping als auch die Echtzeitverarbeitung und -analyse von Bildern und Videostreams. Dank seiner flexiblen Architektur lässt sich SXIVE an die Anforderungen jedes Bildverarbeitungsprojekts anpassen, beispielsweise an ADAS-/AD-Kamerasysteme, Fahrerüberwachungssysteme oder sogar an die Videoübertragung für die Remote-Steuerung des Fahrzeugs.

Die Integration von AV elevate und SXIVE bietet Anwendern Flexibilität sowohl auf der Eingangs- als auch auf der Ausgangsseite der Kameraentwicklung. Fahrszenarien, Wetterbedingungen und Standorte lassen sich problemlos variieren, um kontinuierlich neue Testdaten zu generieren, und die Bildverarbeitungsmodule oder Apps können angepasst bzw. Sensorversionen in Echtzeit per Knopfdruck ausgetauscht werden. So können Entwickler beispielsweise beurteilen, wie sich Entscheidungen zur Farbbalance auf die Fußgängererkennung in einer dunklen, nassen Stadt-Umgebung im Vergleich zu einem sonnigen Tag auswirken.

„OEMs erwarten mittlerweile zunehmend von Tier-1-Zulieferern, dass diese zu einem neuen Produkt auch einen hochpräzisen digitalen Zwilling ihres Sensorsystems liefern – und zwar schon lange bevor die Hardware verfügbar ist“, sagte Matt Daley, Technischer Direktor bei rFpro. „Die Erstellung eines hochwertigen Kameramodells ist nicht nur ein Vorteil für die Entwicklung, sondern wird mittlerweile zu einer wirtschaftlichen Notwendigkeit. Durch die Integration von SXIVE in AV elevate bieten wir der Branche eine umfassende Umgebung, um das gesamte Kamerasystem zu optimieren, zu trainieren und zu testen.“