Archive

Posts Tagged ‘cool stuff’

Medien: Ist der interaktive Film schon tot?

December 8th, 2008 9 comments

storytronstart mixed reality storyengine videotracetrack

Bekanntlich Leben Totgesagte länger und so wie es aussieht geht es dem Medium interaktiver Film ähnlich. Die Idee des interaktiven Films gibt es schon seit einigen Jahren und dank des Rückkanals, welcher das Internet bietet, konnte dieses Medium Ende der neunziger Jahre einem breiterem Publikum zur Verfügung gestellt werden. Aber der wirkliche Durchbruch blieb bis heute aus, man könnte den interaktiven Film eigentlich auch als Totgeburt bezeichnen, obwohl das doch meiner Meinung zu hart klingt. Hauptsächlich lag es bestimmt an der Lean-Back Mentalität der Zuschauer, welche noch heute eine Hauptcharakteristik im Medium Film und Fernseh ist. Durch die immer stärker werdende Macht der interaktiven Medien (Internet und Games) wird sich dies Userverhalten auf die Dauer sicherlich mehr zu Gunsten der Interaktion verändern, und vielleicht gibt genau diese neue Entwicklung in der Mediennutzung dem interaktiven Film wieder ein Aufwind. Einen ersten Anfang hat YouTube mit der Einführung des Vermerk-Features (Video Annotation Feature) gemacht, welches von einigen Interactive Media Designer schon sehr schön für interaktive Filme eingesetzt wurde. Dennoch denke ich das diese Entwicklung noch nicht ausreicht, denn dem User muss selbst überlassen werden, wie sehr er sich interaktiv am Film beteiligt, so dass kein Überforderungs und auch kein Unterforderungsgefühl beim User auftritt. Aus diesem Grund haben wir (das erste Team am Klickfilm Projekt) versucht eine Story Engine zu entwickeln, die eine logische, sinnvolle und dramaturgische korrekte Erzählstruktur simuliert. Die ersten zwei Punkte konnten wir anhand von Tagging Techniken relativ gut umsetzen, nur die dramaturgischen Simulation ist um einiges komplexer und wurde am Ende von uns aussen vorgelassen. Dennoch war ich mit den Ergebnissen sehr zufrieden, weil mir dieses Projekt gezeigt hat, dass man einen interaktiven Film mit einem dynamischen Interaktionsgrad realisieren kann.

Mittlerweile ist seitdem einige Zeit (ca. 2-3 Jahre) vergangen. Aber nun gibt es einige wirklich hilfreiche Entwicklungen, die meiner Meinung nach den interaktiven Film zum neuen Auferstehen helfen können. Dazu gehören die positive Weiterentwicklung von StoryEngines, die zum Teil von der Game Industrie erstellt werden, die andere Entwicklung kommt aus der immer weiter voranschreitenen Disziplin der Bildverarbeitung (Image Processing).

Die Story Engine kümmert sich bei dem interaktiven Film fortgehend um eine logische und dramaturgische Narration (Erzählstruktur). Sie muss auf User Interaktionen reagieren können und eine passende Antwort bzw. eine passende Fortführung der Geschichte geben. Wenn keine Interaktion von Userseite geschieht oder wenn der User eine nicht passenden Befehl gibt, darf die Narration (bzw. der Geschichtsfluss) nicht unterbrochen werden. Die StoryEngine muss einen passenden weg dazu finden die Geschichte weiter fort zuführen. Einige interessante Informationen zu solchen Story Engines kann man hier finden:

Von Seiten der Bildverarbeitung werden immer besser werdende Objekterkennungs- und Trackingverfahren für Videobilder entwickelt. Diese Algorithmen könnte man sehr gut für die Verlinkung und Visualisierung von Interaktionsmöglickeiten im Videobild nutzen. Denn in unserem Projekt mussten wir einzelne klickbare Bereiche (Hotareas) im Videobild sehr mühevoll maskieren und im nach hinein Tracken. Diese Arbeit stand in keinen sinnvollen Aufwand/Nutzen Verhältnis, jedoch machen mir diese neuen Verfahren sehr gute Hoffnung einem Video leichter interaktive Elemente hinzu zufügen.

Ich hoffe doch sehr, dass sich diese zwei sehr unterschiedlichen Disziplinen zusammefinden und noch ein paar gute Filmleute ins Boot holen, und schon könnte aus dieser Mischung ein richtig guter interaktiver Film entstehen, der dazu nebenher den so sehr herbei gewünschten Traum von der perfekten Medienkonvergenz erreicht 😉

Interessantes Neues für Medieninformatiker

September 27th, 2008 2 comments

sandscape levelhead structuresynth

Vor wenigen Wochen besuchte ich die Ars Electronica in Linz, eins der grössten Medienkunstfestivals in Europa, wo die Symbiose aus Wissenschaft und Kunst Vordergrund steht. Ich bin mit vielen guten Impressionen nach Fribourg zurückgekehrt und werde ein paar für Medieninformatiker interessante Projekte vorstellen. Zudem liegt mein letzter Blogeintrag, wo ich einige interessante Medienprojekte vorgestellt habe relativ lange zurück, so dass sich da auch einige tolle neue Projekte in meiner Linkliste angesammelt haben. Los gehts:

Projects in Interaction

SAMPLINGPLONG
Bei dieser Medieninstallation von Jörg Niehage kann man mit Hand eines projezierten Mauscursors im realen physikalischen Raum Gegenstände ausführen. Sehr nette Idee Mauszeigermetapher raus aus der virtuellen Welt in die physikalische Welt zu holen.

Mehr Infos unter:
Projekthomepage
Video

Sandscape Version 2
Sandscape ist eine haptisches Mensch-Maschine Schnittstelle für ein besseres Verständnis und Design von Landschaften, was mit Hilfe eines Art Sandkasten erreicht wird.

Mehr Infos unter:
Projekthomepage
ACM Artikel

BLUI: Low-cost Localized Blowable User Interfaces
Steuerung eines Mauszeiges per Luft bzw. durch blasen. Eine interessante berührungslose Interaktionsschnittstelle, welche für Menschen mit Behinderungen (z.B. Querschnittslähmung ab Hals) eine alternative Bedienungsmöglichkeit darstellen könnte.

Mehr Infos unter:
cnet Newsmeldung
Paper (PDF)
You Tube Video

Swype (TextInput für Touchscreens)
Der Erfinder Cliff Kushler hat eine neue Eingabemöglichkeit für Touchscreens entwickelt. Man fährt über das Keyboard und das System erkennt aus den dabei getroffenen Buchstaben das richtige Wort.

Mehr Infos unter:
Projekthomepage
Golem Newsmeldung
Informationsquelle

reactable
Sicherlich kennen die Meisten den reactable schon. Meiner Meinung nach ein super Tool für kollaborative elektronische Musik und es hat auf der Ars Electronica einen sehr stabilen Eindruck gemacht.

Mehr Infos unter:
Projekthomepage
You Tube Video
TRACKS Beitrag

Levelhead
Bei Levelhead handelt es sich um ein Augmented-Reality Memory Game. Dieses Game wird mit einen Würfel gesteuert, der an den Seiten mit 2dim Barcodes beklebt ist. Eine Webcam trackt die Bewegung und erstellt den passenden 3D Raum zum jeweiligen BarCode.

Mehr Infos unter:
Projekthomepage
Vimeo Video

interaktives Theater - Tablescape Plus
Tablescape Plus ist ein interaktives Tisch-Video-Theater. Verschiedene Bilder werden auf die winzigen Bildschirmen, die aufrecht auf dem Tisch angebracht sind, projiziert.

Mehr Infos unter:
Projekthomepage
Paper (ACM)
YouTube Video

Phun
Bei Phun handelt es sich um eine kleine feine 2D Physik Engine mit einem sehr netten (Level)Editor

Mehr Infos unter:
Projekthomepage
YouTube Video

generatives Programmieren

Nervous System
Organic and computational designs, which pushes the boundary of computer-based generative Art. The homepage includes some tutorials, too!

Mehr Infos unter:
Projekthomepage
Beispielprojekt
Tutorial

Structure Synth
Structure Synth ist ein Programm für die Erstellung von 3D Strukturen, die sich an ein eingegebenes Regelset vom User bzw. Programmierer orientiert.
Projekthomepage

CityEngine von Procedural
Sehr praktisch für Computer Games und Filmszenen.

Mehr Infos unter:
Firmen Homepage
Videos
Trial Version

Anderes:

Giant video wall
Einfach eine riesige Videowand! Da stellt sich demnächst sicher die Frage, wie sich Motion Design am besten in den urbanen Raum integrieren lässt. Eine Symbiose aus Architektur und (Motion) Graphic Design

Mehr Infos unter:
Informationsquelle
Blogeintrag
YouTube video

Flash Intros bzw. interaktives video
Finde diese beide Beispiele einfach sehr gut gelungen. Super Idee!
de.youtube.com/experiencewii
producten.hema.nl

Weitere interessant Projekte gibts auf dem YouTube Channel iNspIreNewMedia zu sehen. Beispielsweise unter den Playlisten:

Flash sprengt seine (Interaktions-) Grenzen

February 12th, 2007 No comments

makingthings motion capturing wiiflash

Lange Zeit konnte man bei Flash nur auf die Interaktionsmöglichkeiten mit der Maus und der Tastatur zugreifen. Jetzt wo Flash bzw. ActionScript immer erwachsener wird, kommen ganz neue Interaktionsmöglichkeiten dazu, die dem Flashentwickler in Hinsicht auf das Interaction Design ganz neue Möglichkeiten bieten.

So kann man z.B. über ActionScript einige Sensoren (für Bewegung, Wärme usw.) ansprechen und auf deren gelieferten Werte reagieren. Makingthings.com und arduino.cc bieten diese Sensoren Baukästen mit dazugehörigen Treibern/APIs an. Beide Anwender benutzen das gleiche Hardwareprinzip. Es gibt eine Hauptplatine - ähnlich einem Motherboard - auf der dann die diversen Sensoren drauf gesteckt werden können. Die Daten werden dann von der Hauptplatine per USB an den Rechner geliefert. Durch die mitgelieferten APIs und Treiber können die Daten relativ einfach abgefangen und verarbeitet werden. Damit der Einstieg dann weiterhin so einfach wie möglich ist, bietet makingthings.com einen sehr guten Tutorialbereich an, in dem sicher fast all eure anfänglichen Fragen beantwortet werden können.

Desweitern hat es Thibault Timbert von bytearray.org geschafft Motion Capture Daten in Flash einzulesen und diese im 3D Raum sinnvoll zu visualisieren. Von dem Ergebnis war ich super überrascht, da ich bisher dachte, das wäre nur mit teuren 3D-Animationsprogrammen (wie z.B. Maya, Softimage usw.) möglich. Ich bin mal gespannt welche neuen Anwendungsgebiete sich daraus ergeben.

Für die bisher vorgestellten Möglichkeiten muss man jedoch ein bissl tiefer in die Tasche greifen und da man das nicht von jedem verlangen kann, kommen wir jetzt zu etwas einfachern und schon bekannten Interaktionstechniken der Spielekonsolen. Flash Spiele können seit jüngster Zeit mit den bekannten Kontroller der Playstation und der Wii-Konsole gesteuert werden. Joa Ebert entwickelte erfolgreich eine Kommunikation zwischen Flash und dem Wii-Controller mit Hilfe eines Socket Servers. In seinem Blog könnt ihr mehr über sein Vorgehen lesen. Auch Thibault Timbert war in dieser Richtung aktiv und entwickelte in ActionScript 3 eine Kommunikation zwischen einem analogen Gamecontroller und der Flash Technologie. Mit welchen Mitteln er diese Kommunikation erfolgreich entwickelte, könnt ihr auch in diese Fall wieder in seinem Blog nachlesen.

Zum Ende dieses Blogeintrages möchte ich euch noch auf die bildbasierte Interaktion per Webcam aufmerksam machen. In meinem Blog habe ich über dieses Thema schon einige Einträge verfasst. Deshalb hier nur 2 Verweise auf die wichtigsten Blogeinträgen:
Grundsätzliches zu Webcam Games und die kleine Linksammlung zur Webcam Interaktion.

-- UPDATE 21.03.2007 --
Die Seite wiiflash.org widmet sich ganz dem Thema des Wii Controllers in Kombination mit der Flash Technologie

-- UPDATE 16.02.2008 --
Für die Entwicklung von hardware- bzw. sensorenbasierten Interaktion hat der O Reilly Verlag ein interessantes Buch mit dem Titel Making Things Talk: Practical Methods for Connecting Physical Objects herausgebracht. Ich denke das könnte für angehende Interface und Interaction Designer ein sehr interessantes Buch sein...

-- UPDATE 31.03.2008 --
Bin letztens auf die Homepage von Phidgets gestossen. Phidgets bietet Lösungen für USB Sensing und Controlling an, die kompatibel mit ActionScript 3 sind. So kann man jetzt dank Phidget mit RFID-Sensoren arbeiten. ein Blick auf deren Homepage lohnt sich daher auf jeden Fall.

Links: Die Zukunft der Medieninformatik?!

December 3rd, 2006 No comments

timoreilly rotoscoping flashstreaming

Allgemein:
Ein äusserst interessantes Interview mit Tim O Reilly über Web 2.0 und die Integration von Informatik in unserer täglichen Umwelt (Stichwort: Ambient Intelligence)
Spiegel Tim O Reilly Interview Teil 1
Spiegel Tim O Reilly Interview Teil 1

Spiegel Interview mit Jaron Lanier über verschobene Realitätswahrnehmumg durch digitale (soziale) Netze. Die Heise News- meldung dazu.

Und zu guter Letzt die Videogallery des Adobe Showdown Events Adobe Max 2006

Videoproduktion:
Das richtige Auswählen von Videoclips ist in der Regel ein sehr zeitaufwändiger Prozess in der Filmproduktion. Diesen Videobrowsing Prozess zu opitmieren versuchen Anat Axelrod, Yaron Caspi, Alon Gamliel und Yasuyuki Matsushita in ihrem Paper zu erklären.

Bisher musste in der Post Produktion für Rotoscoping Aufgaben sehr oft manuell selbst hand angelegt werden. Jue Wang, Pravin Bhat, R. Alex Colburn, Maneesh Agrawala und Michael F. Cohen haben ein automatisiertes Rotoscoping Verfahren entwickelt, welches sehr gute Ergebnisse liefert. Vielleicht gehört das manuelle Rotoscoping bald der Vergangenheit an.
Demovideo (Quicktime Stream)
ACM Artikel
Eine Auflistung aktueller Special FX Entwicklungen von der Washingtoner Uni

Streaming:
Eine dreiteilige Artikelserie beschäftigt sich mit dem Erfolg von Flash Video im Netz, der neue Standard (?!) für Internetvideo.
Teil 1, Teil 2 und Teil 3

Ein weitereren interessanten Artikel gibt es zum Thema Digital Rights Management (DRM) und warum es auch in Zukunft scheitern wird.
The big DRM mistake

--- UPDATE --- 18.12.2006
Wirtschafts Woche Artikel: Total vernetzt: Internet von übermorgen

--- UPDATE --- 22.3.2006
Der Timelabs Blog liefert desöfteren ganz interessante Einträge zum Thema die Zukunft der Medien (unter ökonomischer Sicht)

(Web)Camera Spielchen die Zweite

October 2nd, 2006 No comments

kreis befreiung codeme

Ich hab die Links doch wieder gefunden und noch einige Beispiele mehr. Juhuu 🙂

Buttons drücken
Befreie das Bild

mehr zu der Thematik findet man noch in 2 Threads. Thread 1 und Thread 2 aus dem Flashforum

Desweiteren versorgt Intel die OpenSource Gemeinde mit einer kostenlosen C++ Bibliothek im Bereich Bildverarbeitung mit dem Namen Open CV. Die Bibliothek soll unter anderem Gesichts- und Gestenerkennungen beherrschen und noch einiges mehr. Für die C++ Programmierer auf jeden Fall mal ein Klick wert!

Auch das MIT ist in diesem Bereich akiv. Ziel ist die Erstellung komfortabler Werkzeuge für die Entwicklung interaktive Grafikanwendungen basiert auf visuellen Kamerasignalen.

-- UPDATE 15.11.2006 --
GSkinners Camera Interations

-- UPDATE 19.12.2006 --
Auch meine vorherige Hochschule (FH Wiesbaden) ist in diesem Bereich mittlerweile aktiv geworden. Einige interessante Projekte (AR-Arcanoid, AR-Soccer) unter der Leitung von Prof. Schwanecke. Auf seiner Seite gibt es unter dem Fach Computergrafik Vertiefung noch mehr Infos zum Thema VideoMotionDetection in Kombination mit 3D Umgebungen!

-- UPDATE 12.02.2007 --
Das Projekt EyesWeb Project der Universität Genua beschäftigt sich mit bildbasierter Interaktion und stellt Interessierten in diesem Bereich ein kostenloses Framework zu Verfügung. Desweiteren bietet die Uni Siegen einen Masterstudiengang Bildinformatik an, damit man in diesem Bereich dann ein wirklich wahrer Master wird 😉

-- UPDATE 11.03.2007 --
BodyPong, ein nettes Webcamspiel, das man zu zweit spielen kann. Entstanden mit der Flash Technologie und dem hier bereits erwähnten EyesWeb-Framework

-- UPDATE 17.04.2007 --
Mit Flashfilterlab.com lassen sich ganz ohne Programmierkenntnisse Webcaminteraktion realisieren. Die GUI-Oberfläche von Flashfilterlab ähnelt sehr stark dem Prinzipien von MaxMSP/Jitter. Auf der Inertnetseite kann man das Ganze auch mal testen! Bin überrascht von der Perfomance im Browser.

(Web)Camera Spielchen

September 29th, 2006 No comments

fluid fluidgame motion detection

Jeder hat sie schon mal gesehen. Die neuen kamerabasierten Computerspielen, wo sich Menschen komisch vor den Fernseher bewegen. Die Spiele benötigen keinen Fremdkörper (Controller) mehr zum Steuern, es wird nur noch eine Kamera benötigt und den eigenen Körper zum Steuern. Das Ersetzen des Controllers durch den eigenen Körper erhöht das Gamefeeling merklich und entwickelt sich sogar langsam zu gesellschaftsfähigen Computerspielen (z.B. auf Partys). Solche Spiele sind seit einigen Monaten nicht mehr nur auf Spielkonsolen beschränkt, der neuste Trend sind Webcam Spielchen direkt im Internet. Grant Skinner dreht in dieser Richtung total ab. Seine Fluid Dynamics sehen einfach nur flashig aus. Besonders interessant für Interaktive Medieninstallationen. Bei seinem DrumKit wird der User zum Drummer, bei Fluid Game muss der User leuchtende Strahlen in einen Container lenken. Überhaupt checkt mal seine Gallery Incomplete aus und lasst euch von seinen Webcam Experimenten berauschen. Aber auch andere sind in diesem Bereich sehr aktiv, so habe ich z.B. vor einiger Zeit ein Webcam Mini Piano gefunden, doch leider hab ich den Link zu den Jungs verloren. ARGGHH.

Begeistert von den Möglichkeiten dachte ich mir, hm, sowas wäre doch auch eine nette Navigation für eine Website a la Minority Report. Scheissendreck, so einfach ist das nämlich nicht. Man muss erstmal wissen, wie man die Person und die Bewegung aus dem Bild herausfiltert. In dieser Richtung gibt das Webcam Motion Detection Tutorial von Guy Watson ein sehr gute Einführung. Doch leider reicht die Qualität der Erkennung noch nicht aus um ähnliche Spiele wie von Grant Skinner zu produzieren (es werden nicht wirklich gute Formen erzeugt um eine ordentliche Kollisionserkennung durchführen zu können). Ich denke eine Kombination von Erosionen und Dilatationen (aus dem Bereich Image Processing) könnten evtl. noch bessere Formen erzeugen und so den Menschen aus dem Bild herausextrahieren. Aber sicher bin ich mir da nicht. Das sind aber nicht die einzigsten Probleme, die es zu beachten gibt. Ein wirklich gutes Funktionieren dieser Webcam Spielchen hängt unter anderem massgeblich von der Qualität der Webcam und den Lichtverhältnissen im Raum des Users ab (Grant Skinner hat bei seinen Beispielen immer einen einfarbigen Hintergrund, das erleichtert die Extrahierung des Users merklich). Im Web habe ich bisher leider noch nichts wirklich brauchbares zu diesen Problematiken gefunden und Grant Skinner hält sich auch sehr bedeckt in seinem Blog, wie er bei der Objekterkennung vorgegangen ist. Für Hinweise bin ich euch immer sehr dankbar.