der hess » webcam http://blog.derhess.de am medialen werkeln Wed, 01 Feb 2012 12:00:38 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 Processing meets Box2D and blob detection http://blog.derhess.de/2011/06/27/processing-meets-box2d-and-blob-detection/ http://blog.derhess.de/2011/06/27/processing-meets-box2d-and-blob-detection/#comments Mon, 27 Jun 2011 10:55:18 +0000 admin http://blog.derhess.de/?p=1601
For the Programming II Workshop at our Interface Culture department I decided to do an small experiment with Box 2D. For a long time I wanted to play around with Box 2D. Especially merging real world objects with virtual object fascinates me very much. I don't like so much the common Augmented Reality stuff. However, some stuff is really cool and inspires me. Here are some projects I got my inspiration from: EdgeBomber, Laser Sound test, Phun, Crayon Physics, 2d Sketches becomes 3d Reality, ILoveSketch, MotionBeam, Tangible Fire Controlls.

Now talking about the technical stuff. In my experiment I am using the Blobscanner library and the Box2D code of Daniel Shiffman. It is really a small experiment, I just wanted to check out how difficult it is to combine camera data and virtual data. For the first test I am using a easy .jpg file with 3 rectangles. This examples works pretty well. The next map has some diagonal rectangles. The first problems appears. The upper right rectangles are drawn in the wrong direction. This is the reason why the physics simulation fails. At the moment I am using the Surface object of Box2D for drawing more complex objects. For the surface object is the direction of drawing very important. You have to draw counter clockwise. So  that the normal vectors does not point inside the object (check chapter 4.4 Polygon Shapes). Even using a polygon object would make more sense instead of using the surface object...

Another issue I have, is the correct recognition of the shapes. This problem is caused by two challenges. First challenge is to order the edge points array correctly. I get only edge points and I don't know is it the right or the left side of the object. My sorting algoritm is not implemented very well. For this reason some of my recognitions fails. But for doing a fast check on simple objects to get an idea, it was enough. However, this paper about edge detection can solve my problem, or I just have to implement a "find the shortest distance algorithm". If you have some better advices, please leave a comment. Thx! The second challenge is minimizing the size of the edge points array. For this I found a nice article: Line Generalization (Smoothing, Simplifying). I ported the ActionScript code to processing and it seemed to work. Tough a better approach could be to vectorize the camera data. Nicolas Barradeau wrote two nice blog posts about vectorization v0 and vectorization v1. His code I defintely have to check out. I guess there are some  hidden solutions for my problems.

So far about my experiment. My code is online on my google project site or download it. Please consider that my code is far far away from perfect. Big thanks to the great tutorial writers. I shit love the ActionScript community and the processing community ;-) Knowledge sharing, ahoi!!

No related posts.

flattr this!

]]> http://blog.derhess.de/2011/06/27/processing-meets-box2d-and-blob-detection/feed/ 3 " My most important Twitter Messages #5 http://blog.derhess.de/2010/03/04/my-most-important-twitter-messages-5/ http://blog.derhess.de/2010/03/04/my-most-important-twitter-messages-5/#comments Thu, 04 Mar 2010 09:15:37 +0000 admin http://blog.derhess.de/?p=1235
  • My most important Twitter Messages #6
  • My most important Twitter Messages #10
  • My most important Twitter Messages #4
    • ]]>

    Twitter von der hess
    A small summary of my Twitter messages from Januar - February 2010:

    Allgemein (General)

    Generative Art:

    Info Design and Visualization

    UX and Interaction Design:

    Projekte und Experimente (Projects and experiments)

    Neue Technologie (new Technologies)

    Programmierung und Software Design (Programming)

    Game Developing:

    Flash and Flex

    Related posts:

    1. My most important Twitter Messages #6
    2. My most important Twitter Messages #10
    3. My most important Twitter Messages #4

    flattr this!

    ]]>     http://blog.derhess.de/2010/03/04/my-most-important-twitter-messages-5/feed/ 0 "     AS3: Interactive Webcam Package 1.2 http://blog.derhess.de/2007/12/21/as3-interactive-webcam-package-12/ http://blog.derhess.de/2007/12/21/as3-interactive-webcam-package-12/#comments Fri, 21 Dec 2007 15:27:48 +0000 admin http://blog.derhess.de/?p=321
  • AS2: Interactive Webcam Package
  • Webcam User Interface
  • Webcam – Lightwriter Version 2.0
    • ]]>     iacamlogo_web iacamdoku iacamdoku2

    Es ist endlich geschafft und auch noch rechtzeitig zu Weihnachten ;-) wurde die Version 1.2 meines Interactive Webcam Packages fertig gestellt. Viel hat sich in der Funktionalität zur Version 1.0 eigentlich nicht getan, ausser dass das Interactive Webcam Package nun komplett auf ActionScript 3 portiert wurde.
    Aber der damit verbundene erhebliche Perfomancesprung von ActionScript 2 auf ActionScript 3 und die neuen Open-Source Projekte (wie z.B. Papervision 3D) ermöglichen einige neue interessante Anwendungsfelder für das Interactive Webcam Package. Als kleinen Vorgeschmack und für eine bessere Vorstellung wie solch eine Kombination aussehen könnte, habe ich für euch zwei Videos meiner neuen Webcam Experimente mit hochgeladen, die in Kombination mit der Papervision3D Engine entstanden sind.

    Der Sourcecode dieser Experimente liegt in dem zip-File des Interactive Webcam Packages bei, so dass jeder damit ein wenig rumspielen kann. An dieser Stelle möchte ich mich noch bei den Entwickler der Papervision3D Engine,John Grden für das XFighter Modell und Jens Franke für seinen Papervision3D Vortrag und seine Utility Klassen bedanken. Ohne diese hilfreichen Tools hätte ich diese zwei kleinen Experimente auf jeden Fall nicht so schnell realisieren können.

    Nochmal kurz zum Aufbau und zur Struktur des neuen Interactive Webcam Packages. Da sich bekanntlich die Flash API Struktur von ActionScript 2 auf ActionScript 3 schon gut verändert hat, musste ich auch ein bissl an der Struktur des Interactive Webcam Packages rumschrauben. Da die Klassen aber nicht so mega umfangreich sind, hat sich eigentlich nur das Eventhandling nennenswert verändert. So dass jetzt alle Events mit der bekannten ActionScript 3 addEventListener() Funktion abgefangen und bearbeitet werden müssen. Aber über solch eine Änderung lacht ja ein eingefleischter AS3 Coder ;-) . Für alle anderen offenen Punkten soll die beigelegte Dokumentation des Interactive Webcam Packages für Klärung sorgen. Dabei orientiert sich die Dokumentation an der etablierten Flash Hilfe. Aus diesem Grund sind alle möglichen Klassenmethoden und Attribute erklärt und mit Beispielcodes versehen. Sollte es dennoch Fragen oder Probleme geben, scheut euch nicht mich anzuschreiben oder hier zu posten. Ich werde dann mein Bestes geben.

    Nun aber genug von mir, wünsch euch allen frohe Weihnachten und viel Spass beim Flashen im neuen Jahr!


    Related posts:

    1. AS2: Interactive Webcam Package
    2. Webcam User Interface
    3. Webcam – Lightwriter Version 2.0

    flattr this!

    ]]>     http://blog.derhess.de/2007/12/21/as3-interactive-webcam-package-12/feed/ 16 "     AS2: Interactive Webcam Package http://blog.derhess.de/2007/06/14/as2-interactive-webcam-package/ http://blog.derhess.de/2007/06/14/as2-interactive-webcam-package/#comments Thu, 14 Jun 2007 13:47:28 +0000 admin http://blog.derhess.de/?p=251
  • AS3: Interactive Webcam Package 1.2
  • Webcam User Interface
  • Webcam – Lightwriter Version 1.0
    • ]]>     iacamlogo_web singlelighttrack handon

    Seit einiger Zeit spiele ich schon mit bildbasierter Interaktion rum (wie man es im meinen Experimenten Bereich gut sehen kann:-). Leider liesen sich die bisherigen Klassen nicht so einfach ohne Änderung für andere Experimente verwenden. Aus diesem Grund habe ich mich jetzt nochmal hingesetzt und die Klassen richtig aufgeräumt bzw. auch zum Teil verbessert.

    Das Lichter Tracking arbeitet endlich auflösungsunabhängig (funzt somit auch in 640x480px) und wirft schön Events, die ihr mit einem einfachen Listener Objekt abrufen könnt.
    Die CamButton Klasse wurde komplett überarbeitet. Es gibt jetzt eine CamButtonManager Klasse mit der man dann die Cam Buttons erzeugt, ganz nach dem Prinzip des Factory Pattern. Die CamButtonManager Klasse überprüft desweiteren ob der Button aktiv ist oder nicht und führt dementsprechend das Ereignis aus. Was mir aber am besten gefällt ist, dass jetzt in zwei verschiedenen Modi gearbeitet werden kann. Einmal der bisher bekannte Modus mit dem Differenzkey (wo man vorher ein Snapshotbild ohne User erstellen musste) und jetzt gibt es neuerdings noch dazu den Modus Motion Detection, der ganz nach dem Prinzip von Guy Watson arbeitet. Nur dass man bei meiner Version die Menge der Frameüberlagerungen zur Laufzeit einstellen kann. ;-p

    Das wars auch schon im Groben an Neuerungen. Ich hoffe mit den Klassen kann jetzt jeder ein bissl schneller mit bildbasierter Interaktion herumspielen. Die Klassen könnt ihr euch mit Codebeispielen und einer ausführlichen Dokumentation hier runterladen:

    Download: Interactive Webcam Package mit Klassendoku und Beispiel Codes

    Ich würde mich sehr über euer Feedback freuen!

    -- UPDATE 22.12.2007 --
    Es gibt ein neues Update des Interactive Webcam Packages für ActionScript 3. Mehr Infos hier.

    Related posts:

    1. AS3: Interactive Webcam Package 1.2
    2. Webcam User Interface
    3. Webcam – Lightwriter Version 1.0

    flattr this!

    ]]>     http://blog.derhess.de/2007/06/14/as2-interactive-webcam-package/feed/ 2 "     AudioVisuelles Jump and Run Game http://blog.derhess.de/2007/04/27/audiovisuelles-jump-and-run-game/ http://blog.derhess.de/2007/04/27/audiovisuelles-jump-and-run-game/#comments Fri, 27 Apr 2007 13:15:24 +0000 admin http://blog.derhess.de/?p=234
  • AS2: Interactive Webcam Package
  • Flash Game Programmierung
  • Flash Game Frameworks, Classes and Libraries
    • ]]>     avgame avplanung avconfig

    Eigentlich ist ja jedes 0/8/15 Jump and Run Game mit seinen Spielesounds, Musik und der visuellen Darstellung audiovisuell. In meinem Spiele Experiment habe ich dagegen versucht die audiovisuellen Kanäle mit in die Interaktion einzubinden. Die Interaktion des Spiels basiert auf 3 Ebenen:

    • Die tradionelle haptische Eingabe über die die Tastatur (Linke und Rechte Preiltasten) - für das Vor- und Zurücklaufen der Hauptfigur.
    • Mithilfe der audiobasierten Interaktion (lautes Rufen in das Mikro) kann man die Hauptfigur springen lassen.
    • Die visuelle Interaktion wird mit Hilfe der Webcam und einer Lichtquelle umgesetzt. Die Position der Lichtquelle wird getrackt und steuert einen visuellen Schläger im Spiel an. Mithilfe des Schlägers kann man einen Ball so ablenken, dass der Ball einen Gegner treffen kann und diesen dann zerstört.

    Hauptziel in meinem Spiel war es zu schauen wie das Game Play bzw. das Gefühl beim Spielen ist. Ob man vielleicht mit den gleichzeitigen Einsatz der verschiedenen Interaktionsebenen überfordert ist. Ich selber habe ein bissl gebraucht bis ich mich an die Steuerung gewöhnt hatte. Ich muss aber auch zugeben, dass ich überhaupt kein aktiver PC-Gamer bin und mich daher sowieso in solchen Sachen ein bissl schwer tue. Damit Ihr einen besseren Eindruck von dem Spiel bekommen könnt, habe ich ein Beispielvideo mit in das Experiment eingebunden. Dort gibts auch eine genauere Erklärung zur Bedienung des Games, sowie eine spielbare Version. Schaut mal rein und habt Spass. :-) Ich freu mich über jedes Feedback!

    Nun aber zur technischen Umsetzung:
    Der Aufbau und die Logik des Jump and Run Games basiert zum grössten Teil auf das Tile Based Game Tutorial von Tonypa. (Vielen Dank an dieser Stelle f&umlr dieses geniale Tutorial).
    Da ich in Sachen Pixelgrafik nicht gerade gut bewandert bin, habe ich mich den Sprite Grafiken des Spielklassikers Super Mario bedient.
    Für die Lautstärkenmessung benutzte ich die Standard Mikrofon-Klasse von Flash. Diese Klasse lieferte mir immer einen Lautstärkenwert zwischen 0 und 100 zurück. Ab einer Lautstärke von 30 fängt der Charakter an zu springen.
    Die Steuerung des Schläger erfolgt mittels eines Lichttrackings, das aus meinen Webcam Lightwriter Version 2 Experiment stammt. Das Verfahren habe ich in einem älteren Blogeintrag schon näher erläutert, deswegen gibt es hierzu keine näheren Infos.
    Perfomancemässig läuft das Spiel auf meinem 4 Jahren alten Laptop (2,4 GHZ Athlon, 512 MB Arbeitsspeicher) gerade so flüssig. Daher gehe ich davon aus, dass das Spiel leider für ältere bzw. schwächere PCs nicht zu empfehlen ist. Ideen zur Programmiercode Optimierung fallen mir momentan leider keine Guten ein.

    Technische Anforderung:

    • - Flash Player 8 (ActionScript 2)
    • - Headset oder Mikrofon
    • - Webcam
    • - Lichtquelle (Taschenlampe oder Feuerzeug)
    • - PC mit ca. 2,4 GHz und 512 MB Arbeitsspeicher oder höher

    Stärker Interessierte können sich gern den Sourcecode des Spieles runterladen. Aber seit vorab gewahnt. Der Code ist nicht gerade gut zulesen, da er kaum objektorieniert ist (Zum Teil auf Flash 5 besteht) und ich einige Bugs ein bissl dreckig korrigiert habe...

    Download Sourcecode zum Game

    -- UPDATE 22.05.2007 --
    Stefan Gerbeth (ein Studienkollege) hat ein einen interessanten Link zu meinen Game gepostet. Das Interactive Cinema Game! :-) Lustiges Spiel!

    Related posts:

    1. AS2: Interactive Webcam Package
    2. Flash Game Programmierung
    3. Flash Game Frameworks, Classes and Libraries

    flattr this!

    ]]>     http://blog.derhess.de/2007/04/27/audiovisuelles-jump-and-run-game/feed/ 3 "     Webcam – Lightwriter Version 2.0 http://blog.derhess.de/2007/04/16/webcam-lightwriter-version-20/ http://blog.derhess.de/2007/04/16/webcam-lightwriter-version-20/#comments Mon, 16 Apr 2007 13:00:32 +0000 admin http://blog.derhess.de/?p=219
  • Webcam – Lightwriter Version 1.0
  • AS3: Interactive Webcam Package 1.2
  • Webcam User Interface
    • ]]>     singlelighttrack twolighttrack light2config

    Nachdem mein Webcam Lightwriter Version 1.0 leider nicht bei allen Webcams so gut funktioniert hat (wegen Helligkeitsproblem), habe ich ein komplettes neue Trackingverfahren geschrieben. Ich arbeite jetzt nicht mehr mit der Funktion Bitmap.getColorBoundsRect(), sondern analysiere fast jedes Pixel des Webcambildes. Bei der ersten Version hatte ich massive Perfomance-Probleme bei der Helligkeitsüberprüfung. Die konnte ich dank eines Tipps meines WG-Kollegen Matze ziemlich einfach lösen. Ich sollte einfach das Webcam Bild in ein Schwarz/Weiss Bild umwandeln. Mit Hilfe des colorMatrixFilter von Matthias Kannengiesser wandelte ich das Webcambild um und hatte somit eine Art Graustufenbild (Helligkeitsbild). Dieses Graustufenbild wandelte ich wiederum mit Hilfe der Bitmap.threshold() Methode und einen variablen Schwellenwert in ein Binärbild um. So waren die hellen Punkte (Lichter) weiss und der Rest schwarz. Damit die Perfomance noch im Rahmen bleibt, skalierte ich das Bitmap auf 80x60 Pixel herunter. Diese Auflösung reichte in meinen Tests für ein erfolgreiches Tracking aus.

    Nachdem ich das Bild jetzt endlich fertig bearbeitet hatte, ging es an das eigentlich Tracking. Ich suchte im Bild nach einem weissen Pixel, der noch zusätzliche weisse Pixel als Nachbarn hat (mind. 3 bis 4). Ist diese Bedingung erfüllt, ging ich davon aus, dass es sich an dieser Stelle um ein Licht handeln müsse. Um die Grösse des Lichtes zu ermitteln, überprüfte ich die immer aufeinander folgenden horizontalen Nachbarn nach der obigen (weissen Nachbar) Bedingung. Wenn diese Bedingung nicht mehr erfüllt ist, ging ich davon aus, dass ich die Breite des Lichtes grob ermittelt hatte. Nun musste ich die Höhe des Lichtes ermitteln. Die Höhe ermittelte ich genauso wie die Breite des Lichtes nur das ich die vertikal aufeinander folgenden Pixel überprüfte. Dieses gesamte Verfahren lieferte mir schon eine zufriedenstellende Information über die Position des Lichtes, aber nicht über die ungefähre Grösse. Denn bei der Breite war dieses Verfahren noch nicht stabil genug. Dieses Problem konnte ich aber mit einem einfachen Trick lösen. Ich halbierte die ermittelte Höhe des Lichtes und überprüfte dort (y= yWertLinksOben + lichtHöhe/2) nochmals alle horizontalen aufeinander folgenden Pixel nach weissen Nachbarn. Wenn diese ermittelte Breite grösser war (das ist sie in der Regel auch), übernahm ich diese als aktuelle Breite für das Licht. Am Ende dieses Verfahren gebe ich ein Rechteck-Objekt zurück, das genug Informationen zu der EINEN getrackten Lichtquelle beinhaltet.

    Froh darüber, das ich das Tracking erfolgreich geschafft hatte (in Furtwangen), wollte ich es zu Hause bei meinen Eltern (in Ober-Mörlen) weiter verbessern. Und siehe da es funktioniert nicht mehr. Und warum?! Weil eine zweite Lichtquelle im Webcam Bild war. Mein Algortihmus wusste nie welches Licht jetzt getrackt werden sollte. Ein Differenzverfahren wollte ich nicht benutzen, da dadurch die Bildinformation meines Lichtes erheblich verändert werden kann und wegstellen konnte ich das Licht auch nicht, Grr. Da meiner Meinung nach, so etwas aber ein absoluter Standardfall sein könnte, kam mir die Idee mehrere Lichter zu tracken. Also hab ich mich wieder dran gesetzt um das Verfahren auch noch für mehrere Lichter fit zu machen. Lichter zu finden war ja zu diesem Zeitpunkt kein Problem mehr, nur mehrere Lichter zu finden ohne das dabei die Perfomance in die Knie geht, war da schon schwerer umzusetzen. Ich durfte einfach die schon überprüften Pixel nicht nochmals überprüfen - Wer sich den Algortihmus genau anschaut, wie ich die Grösse des Lichtes ermittle wird verstehen was ich meine - Als erstes wollte ich dann die überprüften Pixel mit einer anderen Farbe kennzeichnen, was mir aber das Webcambild im nach hinein verfälscht hätte. Und das fand ich gar nicht gut. Nächster Gedanke war es ein extra 2dim. Array (80x60) anzulegen und dies mit den Stadien 0=noch nicht überprüft und 1=schon überprüft zu belegen. Aber das war mir viel zu umständlich, bis auch hier mir wieder jemand den ultimativen Tipp gab, den nicht genutzten Alpha Kanal für dieses Problem zu nutzen (Dank hier an Helge - Stefan Eckert). Denn wenn der Alpha Kanal den Wert 255 hat, muss ich die Pixel überprüfen, wenn er den Wert 0 hat ist eine Überprüfung nicht mehr nötig. Mit Hilfe dieses Verfahren bekam ich alle Lichtquellen heraus gefiltert. Jetzt musste ich sie nur noch passend sotieren, so dass z.B. Lichtquelle 1 auch immer als Lichtquelle 1 erkannt wird. Das machte ich mit einem Distanzvergleich alter Trackingergbnisse mit den neuen Trackingergebnissen. Dort wo die Distanz zwischen den alten und neuen TrackingRechtecken am Geringsten ist, ist ein Paar gefunden und es musste sich um die gleiche Lichtquelle handeln. Ja und in meinen Tests mit 2-3 Lichtquellen funktioniert das auch ganz gut. Schaut mal rein.


    Sourcecode Webcam Lightwriter Version 2.0

    Webcam Lightwriter Version 1.0 wens dann doch noch interessiert. Die Vorschau der ersten Version gibts noch auf der Flashhilfe.de Seite anzuschauen

    -- UPDATE 18.05.2007 --
    Eine nette passende Interaktion für den Lightwriter. Danke Jonas für den Tipp!

    -- UPDATE 17.06.2007 --
    Die LightTracking Klasse wurde in Sachen Anwenderfreundlichkeit überarbeitet, so dass ihr diese Klasse super einfach für eure eigenen Experimente benutzen könnt. Den Download gibt es unter Interactive Webcam Package mit ausführlicher Doku und Beispielcode zum leichteren Einstieg.

    Related posts:

    1. Webcam – Lightwriter Version 1.0
    2. AS3: Interactive Webcam Package 1.2
    3. Webcam User Interface

    flattr this!

    ]]>     http://blog.derhess.de/2007/04/16/webcam-lightwriter-version-20/feed/ 12 "     Webcam – Lightwriter Version 1.0 http://blog.derhess.de/2007/01/30/webcam-lightwriter-version-10/ http://blog.derhess.de/2007/01/30/webcam-lightwriter-version-10/#comments Tue, 30 Jan 2007 10:41:57 +0000 admin http://blog.derhess.de/?p=149
  • Webcam – Lightwriter Version 2.0
  • Webcam User Interface
  • AS2: Interactive Webcam Package
    • ]]>     lightgeste lightconfig lightbitmap

    Bei meinem Lightwriter Experiment kann man mit Hilfe einer Taschenlampe in Echtzeit im Webcambild malen. Inspiration fand ich in der Lightgraffiti Szene, besonders der Clip The past of pikapika und der TV-Beitrag zum Thema Lichtgraffiti von Tracks haben mir es sehr angetan. Während der Entwicklung meines Lightwriters schockte mich die neue Apple I-Pod NanoWerbung sehr, denn sie deckt sich fast komplett mit meiner Grundidee. SHIT! Aber ich hab trotzdem weiter gemacht und erzähl euch jetzt was zur Umsetzung in Flash.

    Als erstes versuchte ich die hellen Pixel (es gibt einen frei wählbaren Helligkeits Grenzwert) im Videobild herauszufiltern und diese dann in einer übergelagerten Bitmap Instanz genau an der gleichen Stelle zu kopieren. Für das Herausrechnen der Farbinformationen (splitten in den RGB Kanal) aus den jeweiligen Pixel half mir das Tutorial Bitweise Operatoren von Grant Skinner sehr, jedoch waren die 76800 Helligkeitsberechnungen pro Frame (Auflösung von 320x240 px) für jeden Pixel zu viel für Flash. Ich versuchte nun die Helligkeitsfläche der Taschenlampe zu tracken. Um das zu erreichen, versuchte ich das Bild mit Hilfe von Transformation Matrizen so zu verändern, dass es nur noch die hellen Bereiche anzeigt. Ich erreichte nach längeren Probieren ein ausreichendes Ergebnis, jedoch funktionierte dies nur bei mir zuhause, denn bei anderen Webcams mit anderen Lichtverhältnissen und Hintergründen muss der Filter wieder neu justiert werden. Eine dynamische Justierung wäre aber viel zu aufwendig gewesen. Gefrustet von den bisherigen Ergebnissen durchstöberte ich nochmal die ActionScript Doku und stiess auf die Hilfreiche Funktion Bitmap.getColorBoundsRect(). Diese Funktion sucht im Bild nach einem von mir angegebenen Farbwert und liefert mir ein Rechteck mit Positionsangabe zurück. Diese Funktion liess ich nach weissen Pixeln im Bild suchen. Und siehe da, das zurückgelieferte Ergebnis stimmte mit der Position der Taschenlampe im Webcambild überein. Mit diesen Ergebnis konnte ich sehr gut leben. Nun musste ich nur noch dem Rechteck einen Offset zugeben um die runden Ecken der Taschenlampe zu erhalten. Da sich das Licht am Rand der Taschenlampe abschwächt und einen anderen Farbwert bekommt, überprüfte ich wieder die Pixel nach ihrer Helligkeit. Denn der Farbwert am Rand der Taschenlampe macht die Lichtspielerei erst wirklich interessant. Dieses Verfahren funktioniert einwandfrei, wenn man nicht direkt in die Webcam rein leuchtet. Falls das doch passiert, fängt der Flash Player an tierisch zu rechnen, weil das TrackingRechteck massiv grösser wird und dadurch die Anzahl der Pixel im Offsetbereich massiv zunehmen. Da die Helligkeitsberechnungen im Offset Bereich auch noch sehr rechenintensiv sind, habe ich eine weitere Funktion eingebaut. Ich berechne die Mitte des erhaltenen Rechteck und fange an Linien mit der Funktionlineto() zu malen. Die daraus entstandene Ergebnisse brachten mich wieder auf weitere Ideen, wie z.B. das man bestimmte Symbole malt und diese vom Flash Player erkannt werden und dieser führt dann bestimmte Aktionen durch (zum Beispiel Video starten, nächsten Clip laden usw.). Ich finde die Idee sehr praktisch in Hinsicht auf einfache Interaktionen im Wohnzimmer mit dem Fernseher. Beim dynamischen Malen könnte man ein 2 Player PingPong Webcamspiel (spielbar über Internet) entwickeln...

    Aber leider muss ich noch gestehen, dass mein Lightwriter bei mehr als zwei Lichtquellen nicht mehr unbedingt stablil läuft. Denn durch die zwei hellen Bereiche im Bild wird das Trackingergebnis stark verfälscht. Bei manchen Webcams findet die Funktion Bitmap.getColorBoundsRect() sogar keine wirklich weissen Bereiche der Taschenlampe und liefert somit kein Trackingergebnis. Um diese Schwächen zu beseitigen, muss ich mir wohl doch noch ein eigenes Trackingverfahren in Flash schreiben. Einen ersten Ansatz hab ich auch schon, aber ich muss ihn erstmal auf seine Tauglichkeit überprüfen.

    Aber jetzt genug und testet selbst meine erste Version des Lightwriters

    Sourcecode des Lightwriter

    -- UPDATE 11.03.2007 --
    Eine ähnliche Anwendung, wie mein Lightwriter entwickelten die Jungs vom Graffiti Research Lab. Bei ihrem sogenannten L.A.S.E.R. Tag kann man mit Hilfe eines Laserpointers und einem mega starken Beamer ein Haus mit Licht betaggen. Geile Umsetzung, einfach eine geile Sache! Es lebe der Digital Media Punk!

    -- UPDATE 16.04.2007 --
    Es gibt eine neue Version des Webcam Lightwriters

    Related posts:

    1. Webcam – Lightwriter Version 2.0
    2. Webcam User Interface
    3. AS2: Interactive Webcam Package

    flattr this!

    ]]>     http://blog.derhess.de/2007/01/30/webcam-lightwriter-version-10/feed/ 1 "     Die Last meiner Studienarbeiten ;-) http://blog.derhess.de/2007/01/12/die-last-meiner-studienarbeiten/ http://blog.derhess.de/2007/01/12/die-last-meiner-studienarbeiten/#comments Fri, 12 Jan 2007 10:26:49 +0000 admin http://blog.derhess.de/?p=134
  • Webcam User Interface
  • My most important Twitter Messages #5
  • My most important Twitter Messages #6
    • ]]>     Dresdner Bank ampaper Light Hi

    Jetzt ist es mal wieder soweit für einen Blogeintrag, mein Studium beansprucht mich mal wieder sehr, so dass ich mich im Moment nicht so sehr um neue Blogeinträge kümmern kann.
    Nichtsdestotrotz habe ich meine noch verbleibende Zeit für die Contentpflege meiner Site genutzt. Herausgekommen sind einige neue Fotos im Bereich Natur,Mensch und Urban. Sowie einige neue Videos aus älteren Skatezeiten gibt es im Fun und ernsten Videobereich zusehen.

    Im Rahmen der Studium Veranstaltung Ambient Intelligence habe ich mich mit dem Thema Interaction Techniques for Instrumented Environments beschäftigt. Das daraus entstandene Paper liefert einen Überblick über die Thematik und wie es in Zukunft evtl. in diesem Bereich weiter gehen kann. Kleine Anmerkung von mir: das Thema ist auch besonders interessant für den Bereich interaktive Medieninstallationen.

    Aber das war bis jetzt noch nicht alles in Sachen Studium, ich hab jetzt endlich mein Thesisthema (Abschlussarbeit) gefunden. Ich werde mich mit der Analyse zur Preisgestaltung online-basierter Produkte beschäftigen. Hier die genauere Beschreibung von meinem betreuenden Professor Wolfgang Maass:

    Preise für Informationsgüter können nicht mit herkömmlichen Grenzkostenmethoden bestimmt werden, da diese gegen Null tendieren. In dieser Arbeit soll über eine Umfrage bestimmt werden, nach welchen Methoden KMUs und Grossunternehmen die Preise ihrer Online-basierten Produkte bestimmen. Aus den Ergebnissen sollen Handlungsempfehlungen abgeleitet werden. Diese Arbeit ist für Studenten geeignet, die sehr gute analytische Fähigkeiten besitzen, in der Lage sind konzeptionell zu arbeiten, um ein Analysemodell zu entwickeln und selbständig Information zu suchen.

    Zu guter Letzt habe ich schonmal mein neues Webcam Experiment hochgeladen, den Lightwriter. Bei diesem Experiment kann mit Hilfe einer Taschenlampe oder ähnliches auf dem vom Flashplayer erzeugten Webcambild malen. In den nächsten Tagen werde ich noch ein Beispielvideo uploaden und noch bissl später werde ich dazu einen ausführlichen Blogeintrag verfassen, damit man sich besser vorstellen kann wofür das Ding überhaupt gut ist.

    Jetzt muss ich mal wieder an einem Java3D spiel fürs Studium weiterprogrammieren...

    Related posts:

    1. Webcam User Interface
    2. My most important Twitter Messages #5
    3. My most important Twitter Messages #6

    flattr this!

    ]]>     http://blog.derhess.de/2007/01/12/die-last-meiner-studienarbeiten/feed/ 0 "     Literatur für interaktives Video http://blog.derhess.de/2006/11/23/literatur-fur-interaktives-video/ http://blog.derhess.de/2006/11/23/literatur-fur-interaktives-video/#comments Thu, 23 Nov 2006 09:49:52 +0000 admin http://blog.derhess.de/?p=101
  • Literatur: Mobile Application Development
  • Links: Die Zukunft der Medieninformatik?!
  • My most important Twitter Messages #5
    • ]]>     Interaktives Video Flash Video Flash Media Server

    Viel Literatur zum interaktiven Video im Web gibt es nicht. Im deutschprachigen Raum ist mir nur ein nennenswertes Buch aufgefallen Interaktives Video im Internet mit Flash von Florian Plag und Roland Riempp. Durchgelesen habe ich das Buch nicht, jedoch hat die Leseprobe mir Lust auf mehr gemacht. Besonders gut finde ich die technologisch unabhängige Betrachtung von Interaktivität im Video und die Begründung warum gerade Flash Video State-of-the-art im Web ist. Desweiteren gibt es eine Website mit einem sehr gutem Blog zu diesem Buch www.video-flash.de.

    Im englischsprachigen Raum kann ich das Buch Foundation Flash 8 Video vom Verlag Friends of ED empfehlen. Am Anfang gibt es eine kleine Einführung in die Videoverarbeitung und dann geht es auch schon direkt los, wie z.B. man am schnellsten sein Video in die eigene Website integriert (mit z.B. der FlvPlayback-Komponente). Im Mittelteil beschäftigt sich das Buch mit dem Interaktionsaufbau einer Videogallerie (hierzu sollte man schon ActionScript Kenntnisse besitzen). Aber auch eine kleine Einführung in die Erstellung eigener Videoeffekte fehlt bei diesem Buch nicht. Diese Buch richtet sich hauptsächlich an Anfänger und Fortgeschrittene im Bereich Flash Video, Profis in diesem Bereich werden eher enttäuscht sein.

    Da interaktives Video mehr ist als nur die typische Clientanwendung zum Abspielen von Videos beim User, ist auch das Können des Flash Video Developer im Bereich Servertechnologien und Streaming gefragt. Gerade bei den Themen Videochat, Videostreaming usw. hat sich das Buch Programming Flash Communication Server vom Verlag O Reilly als Standardwerk heraus kristallisiert.

    Ich denke mit dem Wissen dieser 3 Bücher ist man für fast alle zukünftigen Flash Video Anwendungen gut vorbereitet und braucht keine Angst mehr vor der Video Revolution im Web zu haben ;-)

    -- UPDATE 13.04.2007 --
    Ein nettes Interview mit Bjoern Kowalski zum Thema interaktive Video Flash Site gibt es auf Flashstreamworks.com. Auf jeden Fall super interessant wieviel Technik und Arbeit in sowas drinne steckt!

    -- UPDATE 16.05.2007 --
    Stefan Richter von FlashComGuru.com bringt ein neues Buch mit dem Titel Hands-On Guide to Flash Video heraus. Wer seinen Blog kennt, weiss das es sich hier um ein sehr gutes Werk handeln muss.

    Related posts:

    1. Literatur: Mobile Application Development
    2. Links: Die Zukunft der Medieninformatik?!
    3. My most important Twitter Messages #5

    flattr this!

    ]]>     http://blog.derhess.de/2006/11/23/literatur-fur-interaktives-video/feed/ 0 "     Webcam User Interface http://blog.derhess.de/2006/10/10/webcam-user-interface/ http://blog.derhess.de/2006/10/10/webcam-user-interface/#comments Tue, 10 Oct 2006 09:21:35 +0000 admin http://blog.derhess.de/?p=73
  • AS2: Interactive Webcam Package
  • AS3: Interactive Webcam Package 1.2
  • Webcam – Lightwriter Version 1.0
    • ]]>     caminterface greenman handon

    Nach einer Woche rumtüffteln mit meiner Webcam, habe ich es endlich geschafft, dass man mittels Webcam durch ein Menü navigieren kann. Die Grundlage der Personenextrahierung aus dem Webcambild stammt von dem Webcam Motion Detection Tutorial von Guy Watson, welches ich auf meine Bedürfnisse umgeschrieben habe. Das heisst der User erstellt ein Webcam Snapshot (er darf sich dabei nicht im Webcam-Bildbereich befinden) von seiner Umgebung. Somit erhalte ich alle Bildinformationen von seinem Hintergrund, die ich dann von dem jeweiligen aktuellen Bild (Frame) subtrahiere. Dieser Vorgang bewirkt, dass alle Pixel, die sich nicht verändern haben ein Ergebnis von Null zurückliefern (einen schwarzen Pixel). Alles was schwarz ist ist somit unaktiv, jedoch wenn ein Bereich zu z.B. 80% aus nicht schwarzen Pixel besteht, kann man davon ausgehen, dass dieser Bereich aktiv ist und eine Aktion kann ausgeführt werden.
    Dieses Verfahren mittels Referenzbilderzeugung und Subtraktion funktioniert bisher ganz gut, jedoch stösst es bei Beleuchtungsänderung und bei Bildänderung durch die Automatik der Webcam an seine Grenzen. Bei solch einer Situation hilft nur noch die Erstellung eines neues Referenzbildes (Bei meinem Experiment durch den restart-Button möglich).

    Probiert es mal selbst aus:

    Source Code dieses Experiments

    -- UPDATE 17.06.2007 --
    Die CamButton Klasse wurde in Sachen Anwenderfreundlichkeit und erweiterte Funktionalität überarbeitet, so dass ihr diese Klasse sehr einfach für eure eigenen Experimente einsetzen könnt. Den Download gibt es unter Interactive Webcam Package mit ausführlicher Doku und Beispielcode zum leichteren Einstieg.

    Related posts:

    1. AS2: Interactive Webcam Package
    2. AS3: Interactive Webcam Package 1.2
    3. Webcam – Lightwriter Version 1.0

    flattr this!

    ]]>     http://blog.derhess.de/2006/10/10/webcam-user-interface/feed/ 3 "