Untersuchung der Leistungsgrenzen von kopfgetragenen Mikrofon-Arrays für Deep Learning-basierte dynamische akustische Szenenanalyse

Dieses Forschungsprojekt erforscht die Verwendung von am Kopf montierten MEMS-Mikrofonarrays für die Schätzung der Ankunftsrichtung (DOA) mithilfe von Deep-Learning-Modellen. Fortschritte in der MEMS-Technologie, insbesondere in Bezug auf Größe und Klangqualität, ermöglichen es, diese Mikrofone in Geräte wie Augmented/Mixed/Virtual Reality (XR)-Brillen zu integrieren und Anwendungen wie Hörgeräte, Gehörschutz und Unterhaltung zu verbessern.

Die primären Ziele sind die Bewertung der Leistung von kopfgetragenen Arrays im Vergleich zu modernen Schalllokalisierungsmethoden, z.B. basierend auf sphärischen Mikrofonarrays oder binauralen Signalen von einem Kunstkopf, und die Bestimmung der Mikrofonmengen, die erforderlich sind, um eine vergleichbare Leistung zu erzielen. Ein weiterer Schwerpunkt ist die Frage, wie die Kopfbewegung, insbesondere die Variation der head-above-torso orientation (HATO), die Genauigkeit der Schallquellenlokalisierung beeinflusst. Um einen Einblick in die Entscheidungsfindung von Deep-Learning-Modellen zu erhalten, werden Interpretationsverfahren wie die layer-wise relevance propagation (LRP) auf die trainierten Modelle angewendet. Diese Analyse umfasst sowohl die Erstellung und Auswertung synthetischer Datensätze als auch das Testen in realen Szenarien.