Archive

Posts Tagged ‘image processing’

My most important Twitter Messages #5

March 4th, 2010 No comments

My most important Twitter Messages #3

November 6th, 2009 No comments

Medien: Ist der interaktive Film schon tot?

December 8th, 2008 7 comments

storytronstart mixed reality storyengine videotracetrack

Bekanntlich Leben Totgesagte länger und so wie es aussieht geht es dem Medium interaktiver Film ähnlich. Die Idee des interaktiven Films gibt es schon seit einigen Jahren und dank des Rückkanals, welcher das Internet bietet, konnte dieses Medium Ende der neunziger Jahre einem breiterem Publikum zur Verfügung gestellt werden. Aber der wirkliche Durchbruch blieb bis heute aus, man könnte den interaktiven Film eigentlich auch als Totgeburt bezeichnen, obwohl das doch meiner Meinung zu hart klingt. Hauptsächlich lag es bestimmt an der Lean-Back Mentalität der Zuschauer, welche noch heute eine Hauptcharakteristik im Medium Film und Fernseh ist. Durch die immer stärker werdende Macht der interaktiven Medien (Internet und Games) wird sich dies Userverhalten auf die Dauer sicherlich mehr zu Gunsten der Interaktion verändern, und vielleicht gibt genau diese neue Entwicklung in der Mediennutzung dem interaktiven Film wieder ein Aufwind. Einen ersten Anfang hat YouTube mit der Einführung des Vermerk-Features (Video Annotation Feature) gemacht, welches von einigen Interactive Media Designer schon sehr schön für interaktive Filme eingesetzt wurde. Dennoch denke ich das diese Entwicklung noch nicht ausreicht, denn dem User muss selbst überlassen werden, wie sehr er sich interaktiv am Film beteiligt, so dass kein Überforderungs und auch kein Unterforderungsgefühl beim User auftritt. Aus diesem Grund haben wir (das erste Team am Klickfilm Projekt) versucht eine Story Engine zu entwickeln, die eine logische, sinnvolle und dramaturgische korrekte Erzählstruktur simuliert. Die ersten zwei Punkte konnten wir anhand von Tagging Techniken relativ gut umsetzen, nur die dramaturgischen Simulation ist um einiges komplexer und wurde am Ende von uns aussen vorgelassen. Dennoch war ich mit den Ergebnissen sehr zufrieden, weil mir dieses Projekt gezeigt hat, dass man einen interaktiven Film mit einem dynamischen Interaktionsgrad realisieren kann.

Mittlerweile ist seitdem einige Zeit (ca. 2-3 Jahre) vergangen. Aber nun gibt es einige wirklich hilfreiche Entwicklungen, die meiner Meinung nach den interaktiven Film zum neuen Auferstehen helfen können. Dazu gehören die positive Weiterentwicklung von StoryEngines, die zum Teil von der Game Industrie erstellt werden, die andere Entwicklung kommt aus der immer weiter voranschreitenen Disziplin der Bildverarbeitung (Image Processing).

Die Story Engine kümmert sich bei dem interaktiven Film fortgehend um eine logische und dramaturgische Narration (Erzählstruktur). Sie muss auf User Interaktionen reagieren können und eine passende Antwort bzw. eine passende Fortführung der Geschichte geben. Wenn keine Interaktion von Userseite geschieht oder wenn der User eine nicht passenden Befehl gibt, darf die Narration (bzw. der Geschichtsfluss) nicht unterbrochen werden. Die StoryEngine muss einen passenden weg dazu finden die Geschichte weiter fort zuführen. Einige interessante Informationen zu solchen Story Engines kann man hier finden:

Von Seiten der Bildverarbeitung werden immer besser werdende Objekterkennungs- und Trackingverfahren für Videobilder entwickelt. Diese Algorithmen könnte man sehr gut für die Verlinkung und Visualisierung von Interaktionsmöglickeiten im Videobild nutzen. Denn in unserem Projekt mussten wir einzelne klickbare Bereiche (Hotareas) im Videobild sehr mühevoll maskieren und im nach hinein Tracken. Diese Arbeit stand in keinen sinnvollen Aufwand/Nutzen Verhältnis, jedoch machen mir diese neuen Verfahren sehr gute Hoffnung einem Video leichter interaktive Elemente hinzu zufügen.

Ich hoffe doch sehr, dass sich diese zwei sehr unterschiedlichen Disziplinen zusammefinden und noch ein paar gute Filmleute ins Boot holen, und schon könnte aus dieser Mischung ein richtig guter interaktiver Film entstehen, der dazu nebenher den so sehr herbei gewünschten Traum von der perfekten Medienkonvergenz erreicht 😉

Neues von und für Medieninformatiker

October 25th, 2007 No comments

hdrvideo mrpainter display360
Vor ca. über einem halben Jahr habe ich einen Blogeintrag zum Thema Die Zukunft der Medieninformatik?! verfasst. Damals ging es um Web 3.0 (bzw. das Internet der Dinge) und um ziemlich heftige Bildverarbeitungsprojekte. Auch diesmal ist die Bildverarbeitung wieder ein ein wichtiges Thema, denn sie ist auch aus einigen hier vorgestellten
Human-Computer-Interaction Beispielen nicht mehr wegzudenken (siehe Multi-Touch Bildschirme). Somit werde ich jetzt einige interessante Projekte mit einer kurzen Beschreibung vorstellen und am Ende jeder Vorstellung sind dann noch Links zur weiteren Information beigefügt.

Bildbearbeitung

Microsoft Photosynth
Photos werden inhaltlich passend 3dimensional zueinander ausgerichtet und mit Hyperlinks versehen.

Weitere Infos:
Vortrag auf der TED
Projekt Homepage

Using Photographs to Enhance Videos of a Static Scene
Ein Verfahren, welches Z-Parameter aus einem Videobild heraus extrahiert, und noch zusätzlich Fotos in das Video mappen kann um damit grössere Belichtungsspielräume (siehe HDR) im Video, Objekt- und Kamera-Shakesbearbeitung im Bild zu ermöglichen.

Weitere Infos:
Beispiel Video
Projekt Homepage

HDR Video
Das Max Planck Institut hat sich dem Thema HDR verschrieben. Einige interessante Arbeiten zum Thema HDR Video Encoding und HDR Image Processing sind daraus entstanden.

Weitere Infos:
Beispielvideo
HDR Video
Projekt Homepage

Digitales Schärfeziehen
Mit dieser Kamera kann man ein Bild aufnehmen, bei dem sich in der Post Production die Schärfeebene bearbeiten lässt.

Weitere Infos:
Beispielvideo
Projekt Homepage
netter Blogeintrag dazu

Charakter Motion Tracking Verfahren
Das Motion Trackingverfahren kommt ganz ohne die üblichen TrackingSensoren aus. Als erstes muss der Mensch durch einen 3D Scanner, wo ihm dann die Gelenkpartien zugeordnet werden. Danach kann er sich im Raum frei bewegen und die speziell ausgerichteten Kameras berechnen dann die Bewgung, und erstellen daraus die Bewegungsdaten für 3D PRogramme.

Weitere Infos:
Paper
Entwickler Homepage

Seam Carving for Content-Aware Image Resizing
Eine neue kontextbasierte Skalierung von Bildern. Das Verfahren fand eine grosse Aufmerksamkeit in der Bloggerszene. Nun will es Adobe in Photoshop integrieren.

Weitere Infos:
Paper
Beispielvideo
Umsetzung in Flash

Heliodisplay
Bei diesen Display soll es sich um ein Display aus Luft bzw. um eine Luftprojektion handeln. Mit 20.000 Dollar ist man dabei.

Weitere Infos:
Hersteller Seite
Blogeintrag dazu
Blogeintrag dazu

Mensch-Maschine Interaktion:

Multi-Touch Display
Jef Han verursachte mit seinen Mult-Touch Bildschirm einen riesigen Hype. Der Vorteil von MultiTouch Bildschirmen ist das mehrere Berührungspunkte (multi-touch) erkannt werden können, was widerum eine direkte, umfangreiche und gestenbasierte Steuerung am Display ermöglicht.

Weitere Infos:
Jef Han TED Vortrag
Microsoft Surface
Jens Frankes (Flash) MultiTouch
Tim Roths (Flash) MultiTouch
Blog zu MultiTouchs

360° Holographic Display mit 3D Interface
Ein kugelartiges Display, welches sich komplett mit den Händen steuern lässt. Ähnlich eines MultiTouch Displays.

Weitere Infos:
Paper
Entwickler Homepage
Entwickler Homepage
Entwickler Homepage
Universität
Blogeintrag dazu

DataTiles
Rekimotos hat im Jahre 2001 das grafische Interface mit einem physikalischen Interface verbunden. Eine sehr intuitive Interaktion ist daraus entstanden.

Weitere Infos:
Projekt Homepage

Mixed-Reality Painter
Das MIT hat eine Art Mixed-Reality Painter erstellt mit dem man das Gemalte beliebig im Raum positionieren kann.

Weitere Infos:
Projekt Homepage

Mobile Stadtspiele: REXplorer
Mobile Stadtspiele sind eigentlich nichts Neues, aber die RWTH hat mit ihrem REXplorer (Regensburg Tourismusführer) eine vorbildliche Umsetzung abgeliefert. Ihr System basiert auf Gestenerkennung, GPS und Smartphones.

Weitere Infos:
Projekt Homepage
Entwickler Homepage
Fernseh Beitrag

The Arcade Fire
Ein gut umgesetztes interaktives Musikvideo.

Weitere Infos:
Musikvideo

Drop Spin Fade
Mensch-Maschine Kommunikation über eine Art Fadensystem. Weiss gar nicht wie ich das erklären soll, muss man sich einfach mal anschauen.

Weitere Infos:
Projekt Homepage

Adobe Creativity Conducted
Blitz Agency präsentiert eine grosse HD Flash Interactive Leinwand, gesteuert mit Wii Remotes.

Weitere Infos:
Projekt Blogeintrag

Design

Justice - Dance
Das Musikvideo Dance von Justice ist eine hammerharte Motion Graphics und Tracking Arbeit, kombiniert mit einer geile Idee. Ein absolutes must see!

Weitere Infos:
Musikvideo

Creativity Spark From Masters Of Illustration
Eine sehr umfangreiche Gallery von Illustrationen, die die Zeichnungen wunderbar mit dem Realbild kombiniert.

Weitere Infos:
Gallery

Aukustik Hörspiel
Schon mal einen Stereobasierten Haarschnitt erlebt? Dann jetzt mal schnell die Kopfhörer aufziehen und zurücklehnen.

Weitere Infos:
Hörspiel

Ich hoffe die vorgestellten Projekte konnten euch genauso begeistern und inspierien wie mich. Ich bin immer wieder überrascht was für ein abgefahrenes Zeug von noch abgefahreren Leuten produziert wird. Schade das man im normalen Arbeitsalltag davon kaum etwas erfährt. Die absoluten Klassiker wie z.B. MS Surface sind davon mal ausgenommen. Wer sich jetzt noch ein paar Videos von kreativen Hobbybastlern und Studenten anschauen möchte, der kann gerne Stunden auf der Seite hackedgadgets.com verbringen. 😉

-- UPDATE 1.12.2007 --
Auf slashcam.de ist ein schöner Übersichtsartikel zum Thema Ausblick in der Bildtechnik erschienen. Sehr krass was da alles auf der Siggraph 2007 vorgestellt wurde. Eine noch umfangreichere Auflistung gibt es auf trowley.org.

HDR-Fotografie im Schwarzwald

April 24th, 2007 No comments

wurzel waldweg baumstapel

Das seit Tagen gute Wetter hindert doch sehr am Arbeiten und das häufige Grillen fängt auch schon langsam an zu Nerven (Kann kein Fleisch mehr sehen).Aus diesem Grund müssen Alternativbeschäftigungen her. Eins ist aber im voraus klar, im Haus rumsitzen geht nicht klar bei dem guten Wetter. Deshalb haben wir uns, vier Studenten aus Furtwangen zusammengerafft um mal wieder was Neues auszuprobieren. Die Mission dieses Tages hiess: HDR-Fotografie. Motiviert von den HDR-Artikeln der spiegel-online.de Redaktion wollten wir auch mal unser Glück mit dieser Technik versuchen. Nachdem wir die erste Schwierigkeiten überwunden hatten (Danke Günni und Katrin) einen passenden digitalen Fotoapparat mit manueller Belichtungszeit zu finden, ging es ab in den Wald. Dort fotografierten wir eine Wurzel, einen Waldweg und einen Baumstapel mit jeweils 10 verschiedenen Belichtungszeiten. Die Fototour dauerte den ganzen Nachmittag an, am Abend fielen wir dann bei Jen ein um die Fotos in Photoshop mit der internen Funktion Datei > Automatisiern > Zu HDR zusammenfügen zu einem HDR-Bild umzuwandeln. Dafür benutzen wir die 10 verschiedenen Bildversionen. Das Ergebnis konnte uns nicht wirklich überzeugen. Es waren schon mehr Details zu sehen, aber der wirkliche HDR-Effekt im Bild blieb aus. Wir versuchten es dann nochmals mit nur 4 verschiedenen Belichtungsversionen eines Fotos, aber das Ergebnis wurde nur minimal besser. Ein bissl enttäuscht ging ich mit den Bilder nach Hause. Zu Hause probierte Matze mit Photomatix (ein HDR PlugIn für Photoshop) nochmals sein Glück. Und siehe da, das HDR Bild an sich, sah auch nicht besser aus. Aber die zusätzliche Anwendung des Tone-Mappings brachte das erwünschte HDR-Ergebnis. Generell hatten aber die von uns erzeugten HDR-Bilder an Farbstärke verloren, was ich persönlich ein bissl schade fand. Aber eine zusätzliche Farbkorrektur wird da sicher noch was retten können. Die Detailtreue der Bilder dagegen macht trotzdem was her, so dass ich jedem empfehlen kann, mal mit dem HDR-Fotografie Verfahren herumzuspielen. In Zukunft werde ich auf jeden Fall damit noch ein bissl rumexperementieren. Den spassig und spannend wars 🙂

Die HDR-Bilder:
HDR- urige Wurzel | ein Quellbild dazu
HDR- ein Waldweg | ein Quellbild dazu
HDR Baumstapel | ein Quellbild dazu

-- UPDATE 22.05.2007 --
Vor eins/zwei Wochen war ich nochmal mit Simon und Jen in Furtwangen zum HDR Fotografieren unterwegs. Herausgekommen ist ein Bild mit dem typischen surrealistisches HDR-Look.

Gucklock Kino HDR | Gucklock Kino Quellbild
Gucklock Graben HDR.

Warum gerade diese Bilder von den 5 versuchen am besten geworden sind, keine Ahnung. Bei einem Gespräch mit Philip, empfahl er mir demnächst die Blende zu verändern und nicht die Belichtungszeit. Er hat dadurch bessere Ergebnisse erzielen können. Ich werds mal austesten :-), sowie den aktuellen HDR Fotografie Workshop in der PAGE (Ausgabe 06.2007)

Webcam – Lightwriter Version 1.0

January 30th, 2007 No comments

lightgeste lightconfig lightbitmap

Bei meinem Lightwriter Experiment kann man mit Hilfe einer Taschenlampe in Echtzeit im Webcambild malen. Inspiration fand ich in der Lightgraffiti Szene, besonders der Clip The past of pikapika und der TV-Beitrag zum Thema Lichtgraffiti von Tracks haben mir es sehr angetan. Während der Entwicklung meines Lightwriters schockte mich die neue Apple I-Pod NanoWerbung sehr, denn sie deckt sich fast komplett mit meiner Grundidee. SHIT! Aber ich hab trotzdem weiter gemacht und erzähl euch jetzt was zur Umsetzung in Flash.

Als erstes versuchte ich die hellen Pixel (es gibt einen frei wählbaren Helligkeits Grenzwert) im Videobild herauszufiltern und diese dann in einer übergelagerten Bitmap Instanz genau an der gleichen Stelle zu kopieren. Für das Herausrechnen der Farbinformationen (splitten in den RGB Kanal) aus den jeweiligen Pixel half mir das Tutorial Bitweise Operatoren von Grant Skinner sehr, jedoch waren die 76800 Helligkeitsberechnungen pro Frame (Auflösung von 320x240 px) für jeden Pixel zu viel für Flash. Ich versuchte nun die Helligkeitsfläche der Taschenlampe zu tracken. Um das zu erreichen, versuchte ich das Bild mit Hilfe von Transformation Matrizen so zu verändern, dass es nur noch die hellen Bereiche anzeigt. Ich erreichte nach längeren Probieren ein ausreichendes Ergebnis, jedoch funktionierte dies nur bei mir zuhause, denn bei anderen Webcams mit anderen Lichtverhältnissen und Hintergründen muss der Filter wieder neu justiert werden. Eine dynamische Justierung wäre aber viel zu aufwendig gewesen. Gefrustet von den bisherigen Ergebnissen durchstöberte ich nochmal die ActionScript Doku und stiess auf die Hilfreiche Funktion Bitmap.getColorBoundsRect(). Diese Funktion sucht im Bild nach einem von mir angegebenen Farbwert und liefert mir ein Rechteck mit Positionsangabe zurück. Diese Funktion liess ich nach weissen Pixeln im Bild suchen. Und siehe da, das zurückgelieferte Ergebnis stimmte mit der Position der Taschenlampe im Webcambild überein. Mit diesen Ergebnis konnte ich sehr gut leben. Nun musste ich nur noch dem Rechteck einen Offset zugeben um die runden Ecken der Taschenlampe zu erhalten. Da sich das Licht am Rand der Taschenlampe abschwächt und einen anderen Farbwert bekommt, überprüfte ich wieder die Pixel nach ihrer Helligkeit. Denn der Farbwert am Rand der Taschenlampe macht die Lichtspielerei erst wirklich interessant. Dieses Verfahren funktioniert einwandfrei, wenn man nicht direkt in die Webcam rein leuchtet. Falls das doch passiert, fängt der Flash Player an tierisch zu rechnen, weil das TrackingRechteck massiv grösser wird und dadurch die Anzahl der Pixel im Offsetbereich massiv zunehmen. Da die Helligkeitsberechnungen im Offset Bereich auch noch sehr rechenintensiv sind, habe ich eine weitere Funktion eingebaut. Ich berechne die Mitte des erhaltenen Rechteck und fange an Linien mit der Funktionlineto() zu malen. Die daraus entstandene Ergebnisse brachten mich wieder auf weitere Ideen, wie z.B. das man bestimmte Symbole malt und diese vom Flash Player erkannt werden und dieser führt dann bestimmte Aktionen durch (zum Beispiel Video starten, nächsten Clip laden usw.). Ich finde die Idee sehr praktisch in Hinsicht auf einfache Interaktionen im Wohnzimmer mit dem Fernseher. Beim dynamischen Malen könnte man ein 2 Player PingPong Webcamspiel (spielbar über Internet) entwickeln...

Aber leider muss ich noch gestehen, dass mein Lightwriter bei mehr als zwei Lichtquellen nicht mehr unbedingt stablil läuft. Denn durch die zwei hellen Bereiche im Bild wird das Trackingergebnis stark verfälscht. Bei manchen Webcams findet die Funktion Bitmap.getColorBoundsRect() sogar keine wirklich weissen Bereiche der Taschenlampe und liefert somit kein Trackingergebnis. Um diese Schwächen zu beseitigen, muss ich mir wohl doch noch ein eigenes Trackingverfahren in Flash schreiben. Einen ersten Ansatz hab ich auch schon, aber ich muss ihn erstmal auf seine Tauglichkeit überprüfen.

Aber jetzt genug und testet selbst meine erste Version des Lightwriters

Sourcecode des Lightwriter

-- UPDATE 11.03.2007 --
Eine ähnliche Anwendung, wie mein Lightwriter entwickelten die Jungs vom Graffiti Research Lab. Bei ihrem sogenannten L.A.S.E.R. Tag kann man mit Hilfe eines Laserpointers und einem mega starken Beamer ein Haus mit Licht betaggen. Geile Umsetzung, einfach eine geile Sache! Es lebe der Digital Media Punk!

-- UPDATE 16.04.2007 --
Es gibt eine neue Version des Webcam Lightwriters

Links: Die Zukunft der Medieninformatik?!

December 3rd, 2006 No comments

timoreilly rotoscoping flashstreaming

Allgemein:
Ein äusserst interessantes Interview mit Tim O Reilly über Web 2.0 und die Integration von Informatik in unserer täglichen Umwelt (Stichwort: Ambient Intelligence)
Spiegel Tim O Reilly Interview Teil 1
Spiegel Tim O Reilly Interview Teil 1

Spiegel Interview mit Jaron Lanier über verschobene Realitätswahrnehmumg durch digitale (soziale) Netze. Die Heise News- meldung dazu.

Und zu guter Letzt die Videogallery des Adobe Showdown Events Adobe Max 2006

Videoproduktion:
Das richtige Auswählen von Videoclips ist in der Regel ein sehr zeitaufwändiger Prozess in der Filmproduktion. Diesen Videobrowsing Prozess zu opitmieren versuchen Anat Axelrod, Yaron Caspi, Alon Gamliel und Yasuyuki Matsushita in ihrem Paper zu erklären.

Bisher musste in der Post Produktion für Rotoscoping Aufgaben sehr oft manuell selbst hand angelegt werden. Jue Wang, Pravin Bhat, R. Alex Colburn, Maneesh Agrawala und Michael F. Cohen haben ein automatisiertes Rotoscoping Verfahren entwickelt, welches sehr gute Ergebnisse liefert. Vielleicht gehört das manuelle Rotoscoping bald der Vergangenheit an.
Demovideo (Quicktime Stream)
ACM Artikel
Eine Auflistung aktueller Special FX Entwicklungen von der Washingtoner Uni

Streaming:
Eine dreiteilige Artikelserie beschäftigt sich mit dem Erfolg von Flash Video im Netz, der neue Standard (?!) für Internetvideo.
Teil 1, Teil 2 und Teil 3

Ein weitereren interessanten Artikel gibt es zum Thema Digital Rights Management (DRM) und warum es auch in Zukunft scheitern wird.
The big DRM mistake

--- UPDATE --- 18.12.2006
Wirtschafts Woche Artikel: Total vernetzt: Internet von übermorgen

--- UPDATE --- 22.3.2006
Der Timelabs Blog liefert desöfteren ganz interessante Einträge zum Thema die Zukunft der Medien (unter ökonomischer Sicht)

Literatur für interaktives Video

November 23rd, 2006 No comments

Interaktives Video Flash Video Flash Media Server

Viel Literatur zum interaktiven Video im Web gibt es nicht. Im deutschprachigen Raum ist mir nur ein nennenswertes Buch aufgefallen Interaktives Video im Internet mit Flash von Florian Plag und Roland Riempp. Durchgelesen habe ich das Buch nicht, jedoch hat die Leseprobe mir Lust auf mehr gemacht. Besonders gut finde ich die technologisch unabhängige Betrachtung von Interaktivität im Video und die Begründung warum gerade Flash Video State-of-the-art im Web ist. Desweiteren gibt es eine Website mit einem sehr gutem Blog zu diesem Buch www.video-flash.de.

Im englischsprachigen Raum kann ich das Buch Foundation Flash 8 Video vom Verlag Friends of ED empfehlen. Am Anfang gibt es eine kleine Einführung in die Videoverarbeitung und dann geht es auch schon direkt los, wie z.B. man am schnellsten sein Video in die eigene Website integriert (mit z.B. der FlvPlayback-Komponente). Im Mittelteil beschäftigt sich das Buch mit dem Interaktionsaufbau einer Videogallerie (hierzu sollte man schon ActionScript Kenntnisse besitzen). Aber auch eine kleine Einführung in die Erstellung eigener Videoeffekte fehlt bei diesem Buch nicht. Diese Buch richtet sich hauptsächlich an Anfänger und Fortgeschrittene im Bereich Flash Video, Profis in diesem Bereich werden eher enttäuscht sein.

Da interaktives Video mehr ist als nur die typische Clientanwendung zum Abspielen von Videos beim User, ist auch das Können des Flash Video Developer im Bereich Servertechnologien und Streaming gefragt. Gerade bei den Themen Videochat, Videostreaming usw. hat sich das Buch Programming Flash Communication Server vom Verlag O Reilly als Standardwerk heraus kristallisiert.

Ich denke mit dem Wissen dieser 3 Bücher ist man für fast alle zukünftigen Flash Video Anwendungen gut vorbereitet und braucht keine Angst mehr vor der Video Revolution im Web zu haben 😉

-- UPDATE 13.04.2007 --
Ein nettes Interview mit Bjoern Kowalski zum Thema interaktive Video Flash Site gibt es auf Flashstreamworks.com. Auf jeden Fall super interessant wieviel Technik und Arbeit in sowas drinne steckt!

-- UPDATE 16.05.2007 --
Stefan Richter von FlashComGuru.com bringt ein neues Buch mit dem Titel Hands-On Guide to Flash Video heraus. Wer seinen Blog kennt, weiss das es sich hier um ein sehr gutes Werk handeln muss.

(Web)Camera Spielchen die Zweite

October 2nd, 2006 No comments

kreis befreiung codeme

Ich hab die Links doch wieder gefunden und noch einige Beispiele mehr. Juhuu 🙂

Buttons drücken
Befreie das Bild

mehr zu der Thematik findet man noch in 2 Threads. Thread 1 und Thread 2 aus dem Flashforum

Desweiteren versorgt Intel die OpenSource Gemeinde mit einer kostenlosen C++ Bibliothek im Bereich Bildverarbeitung mit dem Namen Open CV. Die Bibliothek soll unter anderem Gesichts- und Gestenerkennungen beherrschen und noch einiges mehr. Für die C++ Programmierer auf jeden Fall mal ein Klick wert!

Auch das MIT ist in diesem Bereich akiv. Ziel ist die Erstellung komfortabler Werkzeuge für die Entwicklung interaktive Grafikanwendungen basiert auf visuellen Kamerasignalen.

-- UPDATE 15.11.2006 --
GSkinners Camera Interations

-- UPDATE 19.12.2006 --
Auch meine vorherige Hochschule (FH Wiesbaden) ist in diesem Bereich mittlerweile aktiv geworden. Einige interessante Projekte (AR-Arcanoid, AR-Soccer) unter der Leitung von Prof. Schwanecke. Auf seiner Seite gibt es unter dem Fach Computergrafik Vertiefung noch mehr Infos zum Thema VideoMotionDetection in Kombination mit 3D Umgebungen!

-- UPDATE 12.02.2007 --
Das Projekt EyesWeb Project der Universität Genua beschäftigt sich mit bildbasierter Interaktion und stellt Interessierten in diesem Bereich ein kostenloses Framework zu Verfügung. Desweiteren bietet die Uni Siegen einen Masterstudiengang Bildinformatik an, damit man in diesem Bereich dann ein wirklich wahrer Master wird 😉

-- UPDATE 11.03.2007 --
BodyPong, ein nettes Webcamspiel, das man zu zweit spielen kann. Entstanden mit der Flash Technologie und dem hier bereits erwähnten EyesWeb-Framework

-- UPDATE 17.04.2007 --
Mit Flashfilterlab.com lassen sich ganz ohne Programmierkenntnisse Webcaminteraktion realisieren. Die GUI-Oberfläche von Flashfilterlab ähnelt sehr stark dem Prinzipien von MaxMSP/Jitter. Auf der Inertnetseite kann man das Ganze auch mal testen! Bin überrascht von der Perfomance im Browser.

(Web)Camera Spielchen

September 29th, 2006 No comments

fluid fluidgame motion detection

Jeder hat sie schon mal gesehen. Die neuen kamerabasierten Computerspielen, wo sich Menschen komisch vor den Fernseher bewegen. Die Spiele benötigen keinen Fremdkörper (Controller) mehr zum Steuern, es wird nur noch eine Kamera benötigt und den eigenen Körper zum Steuern. Das Ersetzen des Controllers durch den eigenen Körper erhöht das Gamefeeling merklich und entwickelt sich sogar langsam zu gesellschaftsfähigen Computerspielen (z.B. auf Partys). Solche Spiele sind seit einigen Monaten nicht mehr nur auf Spielkonsolen beschränkt, der neuste Trend sind Webcam Spielchen direkt im Internet. Grant Skinner dreht in dieser Richtung total ab. Seine Fluid Dynamics sehen einfach nur flashig aus. Besonders interessant für Interaktive Medieninstallationen. Bei seinem DrumKit wird der User zum Drummer, bei Fluid Game muss der User leuchtende Strahlen in einen Container lenken. Überhaupt checkt mal seine Gallery Incomplete aus und lasst euch von seinen Webcam Experimenten berauschen. Aber auch andere sind in diesem Bereich sehr aktiv, so habe ich z.B. vor einiger Zeit ein Webcam Mini Piano gefunden, doch leider hab ich den Link zu den Jungs verloren. ARGGHH.

Begeistert von den Möglichkeiten dachte ich mir, hm, sowas wäre doch auch eine nette Navigation für eine Website a la Minority Report. Scheissendreck, so einfach ist das nämlich nicht. Man muss erstmal wissen, wie man die Person und die Bewegung aus dem Bild herausfiltert. In dieser Richtung gibt das Webcam Motion Detection Tutorial von Guy Watson ein sehr gute Einführung. Doch leider reicht die Qualität der Erkennung noch nicht aus um ähnliche Spiele wie von Grant Skinner zu produzieren (es werden nicht wirklich gute Formen erzeugt um eine ordentliche Kollisionserkennung durchführen zu können). Ich denke eine Kombination von Erosionen und Dilatationen (aus dem Bereich Image Processing) könnten evtl. noch bessere Formen erzeugen und so den Menschen aus dem Bild herausextrahieren. Aber sicher bin ich mir da nicht. Das sind aber nicht die einzigsten Probleme, die es zu beachten gibt. Ein wirklich gutes Funktionieren dieser Webcam Spielchen hängt unter anderem massgeblich von der Qualität der Webcam und den Lichtverhältnissen im Raum des Users ab (Grant Skinner hat bei seinen Beispielen immer einen einfarbigen Hintergrund, das erleichtert die Extrahierung des Users merklich). Im Web habe ich bisher leider noch nichts wirklich brauchbares zu diesen Problematiken gefunden und Grant Skinner hält sich auch sehr bedeckt in seinem Blog, wie er bei der Objekterkennung vorgegangen ist. Für Hinweise bin ich euch immer sehr dankbar.