音声・動画

裸眼 3D 動画コンバーター

ふつうの 2D 動画を左右並置のステレオペアに変換します。メガネはいっさい要らず、寄り目にするか目の力を抜くだけで奥行きが見えます。深度モデルが 1 フレームずつ手前と奥を読み取り、そこからもう一方の目に映る映像を合成します。処理はすべてブラウザーのタブ内で完結し、ファイルはアップロードされません。

  • フレームごとに深度を推定して第 2 視点を合成するため、平面的な動画ならどれでも素材になります。ステレオ撮影の素材である必要はありません
  • 本番前に 1 フレームだけプレビューでき、モデルが実際に出力した深度マップもそのまま確認できます

ここに動画をドロップ

ファイルは手元に残り、アップロードされません

MP4、MOV、MKV、WebM、AVI、WMV、FLV、MPEG-TS、MPG、3GP など、FFmpeg が扱えるほとんどの形式を読み込めます。

まず動画を追加してくださいふつうの 2D 動画で構いません。奥行きは映像そのものから求めるので、特別なカメラは不要です。

3D

概要

平面的な動画に対して何をしているのか、そしてそれぞれがなぜ必要なのか。

  1. 01

    1 つの視点から奥行きを求める

    ニューラルネットワークの深度モデルが各フレームを見て、画素ごとの遠さを推定します。手がかりは人が写真の遠近を判断するときと同じ、遮蔽関係・遠近法・きめの粗さ・相対的な大きさです。だからこそ 2 台のカメラで撮った素材でなくても、どんな動画でも素材になります。

  2. 02

    合成されたもう一方の目

    深度マップが水平方向のずらし量を決めます。手前の画素ほど大きく動き、遠い画素はあまり動かない。これは現実で両目が受け取る映像の差そのものです。片方を固定してもう片方を全量ずらすのではなく、左右で半分ずつ負担します。こうすると構図が中央に保たれ、それぞれの視点で開く隠れ領域も半分で済みます。

  3. 03

    背景から穴を埋める

    画素を横にずらすと、カメラが記録しなかった領域が必ず手前の物体の縁に現れます。それぞれの穴は、遠いほうの側から埋めます。欠けている部分は本来そちらに属するからです。手前側から埋めると、安価な変換で前景の周りに見えるゴムのようなにじみになります。

  4. 04

    時間方向で深度を安定させる

    深度モデルは 1 フレームを処理するとき、その前のフレームを知りません。カメラが固定されていても出力は揺れます。立体になるとこれは物体が奥行き方向に呼吸しているように見え、変換した動画でいちばん不快な現象です。深度マップ自体と、それを正規化する範囲の両方をフレーム間で平滑化しています。

  5. 05

    平行法と交差法の両方に対応

    同じペアがどちらの見かたにも使えます。違うのは左右の並び順だけです。交差法はどんな大きさでも見られ、平行法は瞳孔間距離に縛られますが、一度できるようになるとこちらのほうが楽です。

  6. 06

    実行前に 1 フレーム確認

    奥行きの強さと画面をどこに置くかは、その映像次第で正解が変わる知覚的な設定です。1 フレームなら深度マップも含めて数秒で処理できるので、スライダーの位置ではなく映像を見て判断できます。

  7. 07

    区間ごとの処理

    クリップは小さく分けて処理し、各区間は抽出・変換・エンコードが終わり次第、次に進む前に破棄されます。そのためメモリーの最大量はフレームの大きさで決まり、動画の長さには依存しません。ブラウザーのタブで長い動画を処理できるのはこの仕組みのおかげです。

  8. 08

    先頭の音声トラックを引き継ぐ

    先頭の音声トラックを、最後に一度だけ完成した映像へ多重化します。区間ごとに切って繋ぎ直すことはしません。コンテナーがそのまま格納できる場合は再エンコードせずコピーし、できない場合のみ AAC に変換します。それ以外の音声トラックと字幕は引き継ぎません。

使い方

平面的なクリップから、立体に見えるものへ。

  1. 01

    動画を追加します。スマートフォンで撮ったもの、画面録画、ダウンロードしたもの、ふつうの 2D 素材なら何でも構いません。ファイルはブラウザーから出ません。

  2. 02

    平行法か交差法かを選びます。裸眼立体視が初めてなら交差法から始めてください。多くの人にとってこちらのほうが簡単で、大きさも選びません。

  3. 03

    片目あたりの大きさを決めます。小さいほど融合しやすく、変換も速く終わります。640px はスマートフォンの画面によく合います。

  4. 04

    プレビューで 1 フレーム生成して確認します。物体の輪郭がにじみ始めない範囲で、奥行きがはっきり読み取れるまで 3D の強さを調整します。

  5. 05

    プレビューを深度マップに切り替えます。明るいほど手前、暗いほど奥です。モデルが場面を読み違えていれば、ステレオペアを見るよりここのほうがはっきり分かります。

  6. 06

    実行内容を確認します。出力サイズ、区間数、フレーム数、必要になるメモリーの最大量です。

  7. 07

    変換を押します。進捗は区間ごとに表示され、残り時間は推測ではなく実測した速度から算出されます。処理中はタブを手前に置いておいてください。

  8. 08

    結果をその場で再生するか、ダウンロードしてスマートフォンで見てください。平行法がいちばん成功しやすいのはスマートフォンの画面です。

詳細

結果が実際に立体として見えるかどうかを左右する部分。

  • フレームごとの単眼深度推定により、平面的な動画ならどれでも素材にできます
  • 左右がずらし量を半分ずつ負担するので、どちらの視点で開く隠れ領域も半分で済みます
  • 深度順に画素を書き込むため、2 つが同じ位置に来たときは手前が優先されます
  • 穴は縁の遠いほうの側から埋めるので、安価な変換にありがちな前景のにじみを避けられます
  • 深度マップと、その正規化に使う範囲の両方をフレーム間で平滑化するため、被写体が出入りしても場面全体が突然沈み込みません
  • 変換時に平行法か交差法かを選択でき、それぞれの見かたの説明も添えられます
  • 1 フレームのプレビューで、ステレオペアとモデルの深度マップの両方を確認できます
  • 奥行きの強さ・画面の位置・深度カーブがいずれも調整可能で、すべて事前にプレビューできます
  • フレームレートの上限により、60fps のスマートフォン素材が必要以上のコストを払わずに済みます
  • 区間ごとの変換により、メモリーはクリップの長さではなくフレームの大きさで決まります
  • 実行前にメモリーの最大量を表示し、フレームが大きすぎて処理できない場合ははっきり拒否します
  • 所要時間の見積もりは予測ではなく実測の処理速度から算出します。GPU と CPU では 1 桁違うためです
  • 先頭の音声トラックを一度だけ多重化。コンテナーが許せばコピーし、区間の境目でずれが生じません
  • 出力はどこでも再生できるふつうの MP4 です。立体の情報は映像の中にあり、特別な形式ではありません
  • すべてブラウザーのタブ内で動作します。アップロードなし、順番待ちなし、アカウントなし、透かしなし

活用シーン

平面的な動画をステレオペアにしたくなる場面。

  1. 古い映像に奥行きを与える

    ホームビデオやアーカイブ映像、ステレオ撮影が一般的になる前に撮られたものは、平面の記録としてしか存在しません。二度と撮り直せない素材にとって、深度推定は第 2 視点を得る唯一の道であり、裸眼で見られるなら結果を確認するのに機材も要りません。

  2. 何も買わずに立体を試す

    ヘッドセットや 3D ディスプレイは、思いつきで買うには相応の出費です。左右並置のペアは自分の目だけで見られるので費用はかからず、しかもデモ映像ではなく自分の素材で「その効果に価値があるか」を確かめられます。

  3. VR ヘッドセット用の素材を用意する

    左右並置は、ほとんどのヘッドセット向け動画プレーヤーが想定している形式です。スマートフォンで裸眼視できるのと同じファイルをそのまま読み込めるので、ふつうの映像をヘッドセットで見られるようにする手段にもなります。

  4. 空撮と風景

    空撮や広い風景は、手前の稜線・中景の谷・遠くの地平線という具合に奥行きの構造がはっきりしていて、深度モデルがもっとも確実に読み取れる種類の場面です。ほかのどんな題材よりもうまく変換できます。

  5. 製品や物体の動画

    無地の背景で 1 つの物体が回転する映像は理想に近い条件です。被写体が明確で輪郭がきれいで、背景が単純なので、裏側に穴が開いても作り出す内容がほとんどありません。

  6. 立体視の仕組みを説明する

    クリップを変換して深度マップを並べて見せられると、図解では届かない形で仕組みが目に見えるようになります。うまくいかない例も、うまくいく例と同じくらい参考になります。

  7. 手元から出せない素材

    家族の映像、クライアントの仕事、契約のかかった素材を、試しに変換してみるためだけに他人のサーバーへ送る理由はありません。ここでの処理はすべてタブ内で完結し、ネットワークパネルを見れば何も出ていないことを確認できます。

関連情報

残すかどうかに関係なく全フレームに深度推定の費用がかかるので、長い録画は変換前に必要な部分だけ切り出しておく価値があります。それを担うのが 動画のトリミングです。ここでの片目あたりの大きさは画質ではなく裸眼視のために決めているので、素材そのものを別のサイズにしたい場合は 動画リサイズ・切り抜きを使ってください。また出力は必ず MP4 で書き出されるため、あとから別の形式にするのは 動画形式変換の仕事です。

裸眼立体視とは何か

メガネなしの立体視の仕組みと、見えるかどうかを決めるただ 1 つの制約。

  1. 2 枚の映像を左右の目に 1 枚ずつ

    立体視の原理はどれも同じで、同じ場面をわずかに違う角度から見た映像を左右の目に別々に見せると、脳がそれを奥行きとして統合します。映画館は偏光メガネで 2 枚を振り分け、ヘッドセットは画面を 2 枚使います。裸眼立体視はハードウェアを使わず、視線の向きを自分で調整して、左右の目がそれぞれ片側の映像に当たるようにします。

  2. 平行法と交差法の違い

    これは視線の向けかたの違いです。平行法では画面の向こうを見るように目を外側へ緩め、左目用の映像は左に置きます。交差法では画面の手前へ内側に寄せるので、左右は入れ替わります。同じファイルで両方をまかなうことはできません。逆の見かたをすると奥行きが反転し、映像が裏返って見えます。

  3. 平行法で大きさが問題になる理由

    平行法で融合するには、目が正面より外へ回らないことが条件になります。人の目は開散できないからです。そのため対応する点どうしの間隔には硬い上限が生まれます。瞳孔間距離、およそ 63 mm です。スマートフォンなら容易ですが、27 インチのモニターで全幅表示すると片側が約 30 cm になり、融合そのものが成立しません。

  4. 交差視差と非交差視差

    点が画面より手前にあるとき、視線はその点に届く前に交わり、左目にはより右に見えます。これが交差視差です。画面より奥ではこれが逆になり、間隔は上で述べた開散の限界に縛られます。画面の位置を初期状態で場面のいちばん奥に置いているのはこのためです。すべてが手前に浮き出るので、目にできない範囲まで押し込まれることがありません。

  5. 粗はどこから来るのか

    深度をもとにした変換には 2 つの限界があります。1 つはモデルが場面を読み違えること。壁のポスターが窓と判断される、映り込みが奥行きと判断される。こうなるとどの設定でも回復できないので、深度マップを見る価値があります。もう 1 つは、画素を横にずらすと撮影されていない背景が露出するため、それを作り出すしかないこと。どちらも強さを上げるほど悪化します。控えめな設定のほうがきれいに見えるのはそのためです。

  6. これは何ではないか

    屋外の湾曲した LED ビジョンで見るアナモルフィックな錯視ではありません。あれは特定の画面形状のために作られたもので、平面的な動画から導くことはできません。ホログラムでもライトフィールドでもありません。そして、第 2 視点を実際に撮影しているステレオ撮影の素材の代わりにもなりません。

使い方のヒント

頭痛ではなく、見られる結果を得るための習慣。

  • 変換前に 1 フレームをプレビューし、しかも最初のフレームではなくクリップの中ほどから選ぶこと。冒頭はフェードやタイトルであることが多いためです
  • 強さは 2% あたりから始め、奥行きがはっきり読み取れるところまでにとどめること。粗は効果より速く増えます
  • 結果が期待外れなら深度マップを見ること。読み違いはどのスライダーでも直せず、素材を変えるべきだと即座に分かります
  • 理由がなければ画面の位置はいちばん奥のままにすること。すべての物体が画面より手前に収まり、目が融合できる範囲に留まります
  • 平行法で見るなら片目あたりを小さくしてスマートフォンで見ること。幅の制約を無理なく満たせる画面はこれだけです
  • 裸眼立体視が初めてならまず交差法を試し、安定して融合できるようになってから平行法へ移ること
  • 手前と背景がはっきりしたクリップを選ぶこと。平坦な場面、寄りすぎた構図、強い被写体ぶれは、いずれもモデルに手がかりを与えません
  • 長い録画は変換前に必要な部分だけ切り出すこと。残すかどうかに関係なく、すべてのフレームに深度推定の費用がかかります
  • 変換中はタブを手前に置いておくこと。ブラウザーは背面のタブを抑制するため、長い処理は大きく延びます
  • 60fps で撮ったスマートフォンの素材はフレームレートを 30 に抑えること。裸眼で見るペアでは誰も解像できない動きのために、処理量が倍になります

制限事項

このツールにできないこと、そして結果が期待外れになる場面。

  • 第 2 視点は推定であって撮影ではありません。奥行きは 1 枚の画像から推定するので、推定が外れればその分だけ形も狂います。2 台のカメラで撮った素材と同等ではありません。
  • モデルが読み違える場面があります。映り込み、ガラス、映像内に写った印刷物、強いきめのある平面、大きな被写体ぶれは、いずれも判断が不安定です。深度マップのプレビューは、それを推測ではなく目で確かめるためにあります。
  • 物体の裏に隠れていた領域は作り出すしかありません。撮影されていないので、埋めるのは隣接する背景の引き伸ばしです。控えめな強さでは目立ちませんが、強くすると明らかになります。細い物体や髪の周りがとくに顕著です。
  • 屋外の湾曲した LED ビジョンで使われるアナモルフィックな効果ではありません。あの錯視は特定の画面形状と視点位置のために構成されたもので、どんな謳い文句があっても平面的な動画から導くことはできません。
  • 裸眼立体視は習得が要ります。最初は見えない人がかなりの割合でいますし、最後まで楽にならない人もいます。多くの人にとって交差法のほうが簡単で、ヘッドセットを使えばこの問題自体がなくなります。
  • 平行法を縛るのは画面上での映像の幅であって、画素数ではありません。スマートフォンで融合できるペアが、モニターの全画面表示では不可能になります。これはこのツールのどの設定でも変えられず、表示する大きさだけが効きます。
  • 時間方向の平滑化はちらつきを減らしますが、なくすことはできません。速い動き、クリップ内部のカット、急な明るさの変化では、奥行きの不安定さが残ります。
  • 素材の中にあるカットは連続した動きとして扱われます。区間の分割は場面の切り替わりではなく時間で行うためです。カットをまたいで深度が短時間混ざります。
  • 映像は必ず再エンコードされます。ここにある切り出しや音声のツールとは違い、すべての画素が変わるためコピーで済む経路がなく、1 世代分の圧縮は避けられません。
  • 出力の幅は元のフレームの 2 倍になり、ファイルもそのぶん大きくなります。
  • 初回はエンジンが約 31 MB、深度モデルがさらに 26〜47 MB です。以降はキャッシュされますが、新しいブラウザープロファイルでは両方をダウンロードします。
  • WebGPU がない場合、深度モデルは CPU に切り替わり、おおよそ 10 倍遅くなります。Safari や古いブラウザーでは長いクリップが現実的ではなくなります。
  • GPU ではおおむね実時間で進むので、10 分の動画には 10 分ほどかかり、その間タブを開いて手前に置いておく必要があります。順番待ちも背面処理もありません。
  • 区間の処理中はフレームがメモリーに載り、WebAssembly は 32 ビットです。フレームが大きすぎる場合は途中で失敗させず最初に拒否しますが、元のファイルが大きいとスマートフォンではやはり危険です。

よくある質問

平面の動画を立体にするときによく出る質問。

2D 動画を 3D に変換するには?

動画を追加し、平行法か交差法かを選び、片目あたりの大きさを決めて変換を押します。深度モデルが全フレームを読んで手前と奥を求め、その深度に比例して画素を横にずらすことで第 2 視点を作ります。結果は 2 枚の映像が左右に並んだふつうの MP4 で、片方ずつが左右の目に対応します。まず 1 フレームだけプレビューしてください。奥行きの強さは映像次第の判断で、静止画なら数秒、全体を流すと数分かかります。

結果を見るのに 3D メガネは必要ですか?

必要ありません。そこが要点です。出力は左右並置のペアで、レンズで振り分けるのではなく視線の向けかたで見ます。軽く寄り目にするか、画面の向こうを見るように力を抜いて、左右が重なって真ん中に 3 つ目の映像ができるまで調整してください。その真ん中に奥行きがあります。手品ではなくコツなので、たいていの人は数分で掴めます。覚えたくなければ、同じファイルを VR ヘッドセットにそのまま読み込ませることもできます。

平行法と交差法はどう違いますか?

視線の向けかたが違い、それぞれ左右の並び順も変わります。平行法は画面の向こうを見るように目を外へ緩め、左目用が左に来ます。交差法は画面の手前へ内側に寄せるので左右が入れ替わります。逆の見かたをすると奥行きが反転し、手前が沈んで背景が浮きます。明らかにおかしいわけではないのに何かが違う、という見え方になるので、変換の前に決めてください。

モニターだと立体に見えないのはなぜ?

ほぼ確実に映像が大きすぎるためで、平行法ではほとんどの人がここでつまずきます。平行法で融合するには目が正面より外へ回らないことが条件で、人の目は開散できません。そのため対応する点どうしの間隔は瞳孔間距離、およそ 63 mm が上限になります。27 インチのモニターで全幅表示すると片側が約 30 cm になり、融合できません。ウィンドウを縮める、離れて見る、あるいはスマートフォンで見てください。交差法にこの制約はなく、どんな大きさでも見られます。

動画はどこかにアップロードされますか?

されません。動画エンジンは WebAssembly にコンパイルされた FFmpeg で、深度モデルは WebGPU か WebAssembly 上で動きます。どちらもブラウザーのタブ内です。ファイルはディスクからタブのメモリーに読み込まれ、完成した動画はダウンロードとして書き出されます。ネットワークから取得するのはエンジンとモデル本体だけで、それも一度きりです。変換中にネットワークパネルを見れば確認できます。

変換にはどのくらいかかりますか?

WebGPU がある環境ではおおむね実時間です。1 分のクリップに約 1 分、10 分なら約 10 分。全フレームで深度を推定する必要があり、そこが全体を支配します。WebGPU がない場合は CPU に切り替わり、およそ 10 倍遅くなります。短いクリップなら現実的ですが、長いものは厳しくなります。進捗バーの残り時間は予測ではなく実測した処理速度から算出するので、開始から数秒で正確になります。

動画の長さに制限はありますか?

ありません。クリップは区間に分けて処理し、各区間は抽出・変換・エンコードが済み次第、次に進む前に破棄されるので、メモリーはフレームの大きさで決まり動画の長さには依存しません。実際に制約になるのは、待てるかどうかとタブを開いておけるかどうかで、ツール側の上限ではありません。フレームが大きすぎる場合は別で、途中で失敗させるのではなく、最初に片目あたりの大きさを下げるよう案内して止めます。

立体感がおかしい動画があるのはなぜ?

たいていは深度モデルが場面を読み違えているためで、深度マップのプレビューがそれをそのまま見せてくれます。映り込み、ガラス、強いきめのある平面、映像内に写った写真、大きな被写体ぶれは判断が不安定で、深度が間違っていれば強さをどう調整しても取り戻せません。手前と背景がはっきりした場面——風景、空撮、部屋の中の人物——のほうが、平坦だったり雑然としていたりする場面よりずっとうまく変換できます。

物体の周りのにじみは何ですか?

第 2 視点を作るために画素を横へずらすと、手前の物体に隠れていた領域が露出します。そこは撮影されたことがないので、作り出すしかありません。それぞれの穴は縁の背景側から埋めていて、欠けている内容が本来属する場所ではありますが、埋めたものは埋めたものです。奥行きの強さとともに大きくなるので、控えめな設定のほうがきれいに見えるいちばんの理由になっています。細い物体と髪がもっとも難しい対象です。

屋外の大型ビジョンのような裸眼 3D は作れますか?

作れませんし、平面的な動画からは誰にも作れません。あの種のビジョンは、特定の湾曲した画面と特定の視点位置に向けて、必要な透視の歪みを与えて場面を描画したものです。錯視は画面の形状と、そこに対する立ち位置との関係の中にあります。その情報はふつうの動画のどこにも存在しないので、復元のしようがありません。このツールが作るのはステレオペアで、別の仕組みによる別の効果です。

スマートフォンの縦向き動画でも使えますか?

使えます。縦の素材は向きを保ったまま扱われ、ファイルに記録された回転も処理されるので、縦に撮ったクリップが横倒しのフレームとして報告されることはありません。できあがるペアは縦のフレームが 2 枚並んだもので、全体としてはかなり横長ですが、片側が細いままである分だけ裸眼視には向いています。

音声はどうなりますか?

先頭の音声トラックが最後に一度だけ多重化されます。区間ごとに切って繋ぎ直さないのは意図的で、境目ごとに音声を切ることこそがずれの入り口だからです。出力コンテナーがそのまま格納できる場合は再エンコードせずコピーし、できない場合のみ AAC になります。引き継がれるのはこの 1 本だけで、他言語の音声トラックや字幕は含まれません。変換はタイミングを一切変えないので音は元どおりの位置に合い、音声のない素材も問題なく扱われます。

関連ツール

ブラウザー内だけで動く、動画まわりのツールをほかにも。