Multimedia ist mehr als nur eine Technologie: Durch den Zusatz «Interaktivität» kann sie als ergiebiges Kommunikationsmittel eingesetzt werden. In den nachfolgenden Projekten wird Multimedia als computergestützte Umgebung für Modellbildung und Wissensvermittlung sowohl aus Benutzer- als auch aus Entwicklersicht untersucht.
VON BERNHARD WAGNER
Will der Entwickler einer Theorie seine Modelle computertauglich gestalten, so ist er meist gezwungen, die Modellbeschreibung auf eine Ebene herunterzubrechen, in der das Modell strukturell und algorithmisch in einer formalen Programmiersprache ausgedrückt werden kann. Derart formalisierte Modelle können ausgeführt und damit interaktiv getestet werden.
Die oft abstrakten Aspekte eines Modells kann man mittels multimedialer Benutzerschnittstellen in wahrnehmbare Artefakte transformieren, das heisst durch textuelle, ikonische, graphische und akustische Symbole darstellen. Einsicht und Verständnis werden nicht nur durch Ziehen logischer Schlüsse, sondern auch durch Untersuchung von Beziehungen und Erkennen von Analogien erlangt. Multimediale Benutzerschnittstellen erlauben multisensorisches Feedback und immersive Interaktion mittels analoger und dynamischer Repräsentationen, die Ähnlichkeiten in Form, Topologie und Verhalten der modellierten Phänomene beibehalten.
Diese Überlegungen motivieren unser Forschungsinteresse, das in der Operationalisierung von Medien mit Informatikmitteln liegt, und zwar aus der Sicht des Benutzers wie auch aus der Sicht des Entwicklers. Aus der Benutzersicht beinhaltet es unter anderem folgende Fragen:
Basierend auf einem objektorientierten Multimedia Application Framework wurden verschiedene Anwendungen entwickelt, die einige Möglichkeiten demonstrieren, Modelle mittels multimedialer Artefakte verständlicher zu vermitteln. Bei diesen Beispielen wird der Betrachter immer aktiv einbezogen; er hat die Möglichkeit, mit den Parametern des Modells zu spielen und so eine tiefere Einsicht zu erlangen, als wenn er nur passiver Betrachter einer Präsentation ist.
Sichten auf ein Musikstück
In Abbildung 1 sind verschiedene Sichten auf ein Musikstück realisiert: Oben rechts befindet sich die Notendarstellung. Das Musikstück wurde in Audio umgewandelt. Die Darstellung in der Mitte zeigt den zeitlichen Verlauf der Schallwellen. Unten wurde die Audiodarstellung mittels der Fouriertransformation in den Frequenzraum bewegt und graphisch dargestellt.
 |
Abb. 1: Verschiedene Repräsentationen des gleichen Musikstücks: Noten, Audio, Frequenzspektrum. |
Jede dieser Repräsentationen ist nicht auf reine Darstellung beschränkt, sondern unterstützt auch Interaktionen: Die Noten können zeitlich verschoben, ihre Dauer verlängert, die Tonhöhe verändert werden. In der Audiodarstellung lassen sich Lautstärkehüllkurven definieren, um so die Dynamik anzupassen. Im Frequenzbereich kann das Spektrum durch eine Filterkurve bearbeitet werden. Veränderungen der graphischen Darstellungen sind jederzeit akustisch erfahrbar. Die multimediale Präsentation ermöglicht das ständige Wechseln der Perspektive sowie die interaktive Bearbeitung und verhilft zu einer intensiven Auseinandersetzung mit dem präsentierten Material.
Schiefer Wurf
 |
Abb. 2: Visuell programmiertes Didaktik-Beispiel: Der schiefe Wurf. |
Abbildung 2 zeigt ein didaktisches Beispiel aus der Physik: der schiefe Wurf. Die Kanone unten links im Bild kann ausgerichtet, die Austrittsgeschwindigkeit der Kugel variiert, die Position des Ziels verändert werden. Bei einem Treffer zersplittert das Zielobjekt, und ein akustisches Signal ertönt. Es handelt sich also nicht um eine reine Animation, sondern um ein physikalisches Modell, dessen Parameter für den Benutzer zugänglich und manipulierbar sind. Der Benutzer kann so verschiedene Szenarien durchspielen und einen höheren didaktischen Nutzen aus dem Modell ziehen, als wenn er nur passiver Zuschauer einer Animation wäre.
Musiker und Toningenieur
 |
Abb. 3: Konventionelles Mischpult (Vordergrund) versus 3-D-Mischpult (Hintergrund). |
Abbildung 3 zeigt ein Modell als Kommunikationsbasis zwischen Musiker und Toningenieur. Statt für jede Audiospur eine Reihe von Schiebe- und Drehreglern einzusetzen, wird das entsprechende Instrument ikonisch als 3-D-Modell repräsentiert. Die Position des 3-D-Instruments wird nun durch das dahinterliegende Programm auf das Stereoklangbild abgebildet, um damit Lautstärke, Hallanteile und Stereopanorama am realen Mischpult via MIDI-Verbindung zu steuern. Je näher ein Instrument beim Betrachter ist, desto lauter ist es, je entfernter es sich befindet, desto leiser wird es und desto mehr Hall wird dazugemischt. Zusätzlich kann es links/rechts direkt im Klangbild verschoben werden.
Dieses 3-D-Mischpult stellt eine für den Musiker wesentlich intuitivere Kommunikationsbasis dar, als eine Reihe von Reglern auf einem Audiomischpult. Er kann selber eingreifen und die Instrumente im Raum seinen Vorstellungen gemäss positionieren, statt dem Tontechniker seine Wünsche auszudrücken und von diesem in Parameteränderungen am Audiomischpult übersetzen und ausführen zu lassen.
Multimedia ist mehr als nur farbige Bilder
Multimedia bedeutet also mehr als nur farbige Bilder auf dem WWW, animierte Logos und «point and click». Dem für Autoren von interaktiven Multimedia-Präsentationen entstehenden Zusatzaufwand begegnen wir mit Laufzeitsystemen, welche einerseits die Komplexität der benötigten Technologie in Komponenten kapseln und andererseits benutzerfreundliche Editoren zur Verfügung stellen, um diese Komponenten komfortabler manipulieren zu können.
Bernhard Wagner (bwagner@ifi.unizh.ch) ist Doktorand am Institut für Informatik der Universität Zürich.
unipressedienst – Pressestelle der
Universität Zürich
Nicolas Jene (upd@zuv.unizh.ch)
http://www.unizh.ch/upd/magazin/2-97/
Last update: 20.07.97