日々の記録

写真を横縞にして、音で動かす。ColorBorders

写真を横縞にする。
っていうスケッチをProcessingで作ってる。ColorBordersって名前です。

写真を上から順に細い横長の区画に分けて、それぞれの区画を、そこから拾った1色で塗りつぶします。
写っているものの形は消えますが、色の並び方は残ります。
カメラを向けると、映っているものが変わるたびに、横縞の色も変わります。

たとえば640×480の映像なら、初期設定では上から2行ずつに分けるので、帯は240本。
2行ぶんを端から端まで見て、似た色をまとめて、どの色が多いかを数える。鮮やかな色にはちょっと重みをつけて、いちばん重みのあるグループから、真ん中に近い色をひとつ拾う。平均色に切り替えて見比べることもできる。

最初の版は、元の画像と、1ピクセルずつ拾った色と、処理した横縞が並んでる。
横縞だけ画面いっぱいに出す版も作った。

で、ここに音を入れてみる。

最初は音の高さを拾って、低い音で太く、高い音で細くしてた。
単音ならそれでいけるんだけど、和音とかドラムが入ると、ひとつの音の高さを拾うのは難しい。
音楽用の ColorBordersMusic では、FFTで音を分けて、低音、中音、高音がそれぞれどれくらいあるかを見るようにした。

低音が強いと帯の本数が減るので、1本ずつが太くなる。高音が強いと細くなる。中音は彩度に使う。

そのあと変化を大きくしたのが ColorBordersMusicStrong。音がグッと大きくなったときにも、一瞬だけ帯が太くなって色が動くようにした。

帯の境目もいじってみた。色を光の強さに直して、上下の帯の色を混ぜる。
同じ幅でぼかしても、細い帯だと上下の色が混ざりやすい。太い帯だと真ん中の色が残るんだよね。

で、この滲む幅も音で変えてみた。それが ColorBordersMusicDynamicBleed。
低音が強いときや音の立ち上がりで滲みが広がって、音が弱まると少しずつ境目が戻る。無音になると滲みは消える。
合成音で試した画像だと、低音のほうは境目が広くぼけて、高音のほうには細い縞が残ってる。

カメラと音声が入るところまでは確認した。実際の曲でどんなふうに動くかとか、カメラの映像から作った横縞がどう見えるかは、まだ確かめてない。

そうそう、奥行きをつけるのもやってみた。
最初のイメージは厚みのある帯。そこから厚みのない面を前後に重ねて、低音で手前に来た面が、正面からだと大きく見えるようにした。Processingでそこまで試作したけど、3D版は取り下げた。こっちは検討に使った生成画像と、合成音で動かしたときのプレビューが残ってる。

そんなこんなで、写真から色を拾うところから始まって、音で境目が滲むところまで。
いま手元には、横縞のスケッチが7本。