Bei der Untersuchung von Produktqualität ist es häufig nicht ausreichend Stimuli in lediglich einer Modalität darzubieten. Beim Nutzungsszenario nimmt der Anwender das Produkt stets mit allen Sinnesmodalitäten wahr.  Die Professur Akustik und Haptik bietet mit dem Multimodalen Messlabor die Möglichkeit solche multimodalen Szenen auditiv, taktil und visuell darzubieten. Darüber hinaus kann eine haptische Darbietung über spezielle Force-Feedback-Wiedergabesysteme wie bspw. Cybergrasp Handschuhe realisiert werden. Mit solchen multimodalen Szenen sind die Voraussetzung für die Darstellung virtueller Umgebungen geschaffen.

Immersion in virtuelle Realitäten

Die sensorische Wahrnehmung, Multimodale Interaktionseffekte,  Synchroniziätsschwellen zwischen den Modalitäten aber auch Erfahrungen und Erwartungen des Nutzers müssen jedoch beim Design von virtuellen Umgebungen beachtet werden. Das Ziel jeder virtuellen Umgebung ist eine möglichst stimmige Darstellung der Umgebung, so dass Nutzer wie im Alltag auf die Umgebung reagieren bzw. mit dieser Umgebung interagieren. Es gibt zwei Faktoren, die die Wahrnehmung bzw. das Verhalten des Nutzers beeinflussen: die "Ortsillusion" sowie die "Plausibilitätsillusion". Die Ortsillusion beschreibt den Eindruck in eine Umgebung hineinversetzt zu sein und die Plausibilitätsillusion bezieht sich auf den Inhalt der dargestellten Umgebung und wird dann beim Nutzer hervorgerufen, wenn die Szene seinen Erwartungen entspricht.

Gestaltung Multimodaler Szenen

Es gibt im Wesentlichen zwei Methoden, wie man Szenen gestalten kann: der "authentische Ansatz" bzw. der "plausible Ansatz." Der authentische Ansatz versucht die Perzepte, die in der realen Situation hervorgerufen werden auch in der virtuellen Umgebung hervorzurufen. Dazu muss die konkrete Szene mit hoher Genauigkeit in der virtuellen Umgebung reproduziert werden. Dieser Ansatz ist sehr komplex und stellt hohe Anforderung an Aufnahme und Wiedergabe der Szenen. Das wesentliche Problem dieses Ansatzes ist jedoch, dass die Erfahrungen des Nutzers nicht berücksichtigt werden. Um zu entscheiden ob eine virtuelle Umgebung stimmig ist, vergleicht der Nutzer die dargestellte Szene mit seinen Vorerfahrungen bzgl. ähnlicher Szenen. Daraus folgt, dass eine physikalisch korrekte Darbietung nicht zwangsweise plausibel wirken muss. Wenn mit widersprüchlichen Signalen unterschiedliche Sinnesmodalitäten angesprochen werden, dann kann das hervorgerufene Wahrnehmungsereignis durch eine Modalität dominiert werden. Da die in einer Szene auftretenden Wahrnehmungsereignisse im engen Bezug zu den Erfahrungen bzgl. dieses Szenenkontexts stehen, könnten beispielsweise die Erwartungen an einen taktilen Stimulus durch die visuelle Modalität geprägt sein. Es ist sogar möglich dass die Erwartungen an ein Wahrnehmungsereignis im Kontext einer bestimmten Situation durch die mediale Vorerfahrung und damit unabhängig von der Erfahrung mit der realen Situation geprägt werden. Die Verfolgung des plausiblen Ansatzes zur Gestaltung von Szenen ermöglicht es daher sogar Szenen zu generieren, die keine Entsprechung in einer real existierenden Szene haben. Der Ansatz erlaubt weiterhin eine potentielle Reduktion der zur Generierung der Szene benötigen Datenmenge, da die Szene nicht physikalisch korrekt sondern lediglich plausibel dargeboten werden muss. Ansätze für die Szenengestaltung, die sich an der Wahrnehmung des Menschen orientieren, scheinen für die plausible Wiedergabe in virtuellen Umgebungen also besonders geeignet zu sein

Erstellung eines Synthesemodells zur plausiblen Szenendarbietung

Da das Konzept der Plausibilität eng mit den Erwartungen verbunden ist, werden an der Professur Methoden entwickelt, diese Erwartungen zu quantifizieren, indem sie durch Wahrnehmungsmerkmale charakterisiert werden. Die Beziehung zwischen dargebotenen Stimuli und den durch sie hervorgerufenen Wahrnehmungsmerkmalen können durch ein Modell abgebildet werden. Dadurch soll es möglich werden, gezielt Stimuli zu erzeugen, welche die Erwartungen des Nutzers erfüllen und damit bei ihm die Plausibilitätsillusion hervorrufen.

Multimodale Szenen als Inhalt virtueller Realitäten

Virtuellen Umgebungen bieten für viele Einsatzgebiete Vorteile. Ein Nutzer kann in beliebige Umgebungen hineinversetzt werden, mit denen er gefahrlos interagieren kann. Durch kontrollierte Veränderung von bestimmten Aspekten kann deren Einfluss auf die Wahrnehmung bzw. das Verhalten des Nutzers untersucht werden. Diese Vorteile werden in einer Vielzahl von Anwendungsfeldern genutzt, wie Training in Form von Fahr- oder Flugsimulatoren, Therapie zur Behandlung von Angststörungen, Entertainment sowie Forschung und Entwicklung.