The synthesizer analyzes an audio input stream and again splits it up into small snippets and calculates their sound signatures. For every input snippet (or actually its sound signature) the best match out of all the snippets in the database is found and each input snippet is continuously replaced by the best matching (most similar-sounding) snippet from the database.
The audio input, which can be other music or as I use it, just human voice, is virtually describing music to be automatically constructed out of samples found in the database.
こ れ は す ご い ！
コンセプトに鳥肌たった。
・映像を自動的にカットアップ（Re-Cycleみたいな機能ね）
・スペクトラム解析したデータと一緒にデータベースに収納
・マイクやライン入力でリズムを刻んだり何かを吹き込む
・入力された音をさらにスペクトラム解析し
・近似した音をデータベースから検索
・データベースから抽出した音のカットアップでマイク入力した音を再現
というように「pre-analyzer」「database」「synthesizer」の３つのモジュールをデータが行き来することで、Akufenみたいな音と、ビデオが自動的に出来上がる。
要するに入力されたサウンドの近似値を過去のアーカイブから抽出したサンプルで再構築することで再現しようというもの。この視点は新しい。
詳しい解説が映像で紹介されてます。必見！
以前ovalがでてきた時に東浩紀さんがデータベース云々といったいたことを見事に思い出した。