日々の記録
写真を横縞にして、音で動かす。ColorBorders
写真を横縞にする。
っていうスケッチをProcessingで作ってる。ColorBordersって名前です。
写真を上から順に細い横長の区画に分けて、それぞれの区画を、そこから拾った1色で塗りつぶします。
写っているものの形は消えますが、色の並び方は残ります。
カメラを向けると、映っているものが変わるたびに、横縞の色も変わります。
たとえば640×480の映像なら、初期設定では上から2行ずつに分けるので、帯は240本。
2行ぶんを端から端まで見て、似た色をまとめて、どの色が多いかを数える。鮮やかな色にはちょっと重みをつけて、いちばん重みのあるグループから、真ん中に近い色をひとつ拾う。平均色に切り替えて見比べることもできる。
最初の版は、元の画像と、1ピクセルずつ拾った色と、処理した横縞が並んでる。
横縞だけ画面いっぱいに出す版も作った。
で、ここに音を入れてみる。
最初は音の高さを拾って、低い音で太く、高い音で細くしてた。
単音ならそれでいけるんだけど、和音とかドラムが入ると、ひとつの音の高さを拾うのは難しい。
音楽用の ColorBordersMusic では、FFTで音を分けて、低音、中音、高音がそれぞれどれくらいあるかを見るようにした。
低音が強いと帯の本数が減るので、1本ずつが太くなる。高音が強いと細くなる。中音は彩度に使う。
そのあと変化を大きくしたのが ColorBordersMusicStrong。音がグッと大きくなったときにも、一瞬だけ帯が太くなって色が動くようにした。
帯の境目もいじってみた。色を光の強さに直して、上下の帯の色を混ぜる。
同じ幅でぼかしても、細い帯だと上下の色が混ざりやすい。太い帯だと真ん中の色が残るんだよね。
で、この滲む幅も音で変えてみた。それが ColorBordersMusicDynamicBleed。
低音が強いときや音の立ち上がりで滲みが広がって、音が弱まると少しずつ境目が戻る。無音になると滲みは消える。
合成音で試した画像だと、低音のほうは境目が広くぼけて、高音のほうには細い縞が残ってる。
カメラと音声が入るところまでは確認した。実際の曲でどんなふうに動くかとか、カメラの映像から作った横縞がどう見えるかは、まだ確かめてない。
そうそう、奥行きをつけるのもやってみた。
最初のイメージは厚みのある帯。そこから厚みのない面を前後に重ねて、低音で手前に来た面が、正面からだと大きく見えるようにした。Processingでそこまで試作したけど、3D版は取り下げた。こっちは検討に使った生成画像と、合成音で動かしたときのプレビューが残ってる。
そんなこんなで、写真から色を拾うところから始まって、音で境目が滲むところまで。
いま手元には、横縞のスケッチが7本。