Interplay
AIと自然言語で対話しながら
音響 (plugdata) と映像 (p5.js) を
生成・編集できるデスクトップアプリ
AIプロバイダー: Claude Pro（月額 $20〜）または OpenRouter（無料）
自然言語で指示するだけで、音と映像が生成されます
AIコーディングの体験を音響と映像に
「グラニュラー合成のパッチを作って」のように日本語で指示するだけ。plugdataの構文を知らなくても音響パッチを作れます。
生成されたパッチに対して「フィルタを追加して」「もっとシンプルに」と追加指示。会話の流れで音を作り込めます。
手元の.pdファイルを読み込んでAIに修正を依頼。plugdataで手動編集した内容もAIが把握して続きを修正できます。
「明るさセンサの値で周波数を変えるパッチ」のような指示で、micro:bitとの連携パッチも正しく生成します。
パーティクル、ノイズフィールド、3Dなどのジェネラティブビジュアルをp5.jsで生成。アプリ内エディタとプレビューで即確認。
plugdata↔p5.js間のリアルタイム通信をアプリが自動で中継。音と映像の連携パッチを一度に生成します。
AIと対話しながら音と映像を作るワークフロー
チャット画面で作りたい音やエフェクト、ビジュアルを日本語で伝えます。
音響はplugdataパッチ、映像はp5.jsスケッチ、両方必要なら同時に生成。OSC連携も自動構成。
plugdataで音を、アプリ内プレビューまたはブラウザで映像を確認。AIに修正を依頼するか、エディタで直接編集します。
AIとの対話と手動編集を自由に行き来しながら、理想の作品に近づけていきます。
セットアップ手順
Interplay.app をダブルクリックセンサの値でリアルタイムに音を制御する
MakeCodeプロジェクトを開き、micro:bitにダウンロードします。
micro:bitをPCにUSBケーブルで接続します。
アプリのSerial/OSCタブでシリアルポートを選んで接続します。センサ値がOSCに変換されます。
Chatタブで「明るさセンサの値で周波数を変えるパッチを作って」と指示すれば、対応するパッチが生成されます。
/brightness — 明るさセンサ（0〜255）/p0 — P0端子のアナログ値（0〜1023）/accX /accY /accZ — 加速度センサ/sound — 音センサ（0〜255）上記は初期構成の一例です。micro:bitには他にも温度センサ、コンパス、ボタン、タッチ端子（P1, P2）などがあります。MakeCodeプロジェクトを自由に拡張して、使いたいセンサや端子を追加してください。
音と映像をつなぐ構成
チャットUI、Serial/OSC変換、双方向OSCブリッジを提供するデスクトップアプリ。
自然言語を理解し、plugdataパッチとp5.jsスケッチを同時に生成。起動時にプロバイダーを選択。
生成されたパッチを実行する音響エンジン。ELSEライブラリの豊富なオブジェクトを活用します。
生成されたスケッチをブラウザで実行。パーティクル、ノイズ、3Dなどのリアルタイムビジュアル。
オープンソース。plugdataとp5.jsの新しい制作体験を。