HDR動画 : してログ

HDR動画の作り方
第1回 Magic Lanternを使ったHDR動画素材の撮影


■Magic Lanternのセットアップ


- http://wiki.magiclantern.fm/install

上のインストールガイドに従って作業してください。ダウンロードするファームウェアですが、EOS Kissシリーズの海外名が違うので注意してください。例えば EOS Kiss X4 なら 550D/T2i になります。他の海外名は下記サイトで確認してください。

- http://cweb.canon.jp/e-support/faq/answer/eosd/9259-1.html

なお、いちどMLをインストールしたSDカードなら、ファイルを入れ替えるだけでアップデートできます。


■HDR動画の撮影手順

1. 動画撮影モードにする


2. MENU → 動画2 → 動画撮影モード → マニュアル露出
自動露出だとML設定でShutter(シャッタースピード)とAperture(絞り)が変更できないので注意です。


3. ML設定 → 動画 → HDR video → OFF
露出決定の邪魔になるのでいったんOFFにしてください。


4. ML設定 → Expo → ISO → 100
屋外であればISO値は100で良いと思います。暗すぎる場合は上げても仕方ないですが、(HDR合成するので)できるだけ低くしておきたいところです。ここで決めるのが露出アンダー側になります。


5. ML設定 → Expo → Shutter / Aperture
Shutter(シャッタースピード)とAperture(絞り)の組み合わせを決めます。画面表示が露出アンダー側のプレビューになるので、白飛びが少なくなるよう暗めにしてください。


露出アンダー側は、白飛びが少なくなるように設定する

6. ML設定 → Expo → ISO → 200〜800
露出オーバー側の露出をISO値のみで決めます(Shutter / Apertureはもう変更しません)。もしアンダーを100で合わせた場合は、だいたい400(2EV)を基準に200(1EV)〜800(3EV)の範囲が良いと思います。画面表示が露出オーバー側のプレビューになるので、黒潰れが少なくなるよう調整してください。

露出オーバー側は、黒潰れが少なくなるように設定する

6. ML設定 → 動画 → HDR video → ISO A / ISO B
露出アンダー側のISO値(4で決めた値)をISO Aに、露出オーバー側のISO値(6で決めた値)をISO Bに設定すればOKです。



7. プレビュー画面で確認
明暗が交互に切り替わって表示されるので、露出が適当かどうか最終確認してください。

8. 動画撮影
録画ボタンでHDR動画の録画開始になります。録画中にも明暗が交互に表示されますが、ゆっくり切り替わるとき、激しく切り替わるとき、画面半分ぐらいが点滅するとき、があります(画面のリフレッシュレートとの関係でしょうか)。ただ、何れもちゃんと録画されているようなので、気にしなくて良いようです。


■撮影時の注意点

1. 必ずマニュアル露出にする
自動露出の場合、撮影途中にほぼ間違いなく露出ジャンプ(絞りが切り替わる)が発生します。HDR動画の場合、ISO値を固定してしまうので、絞りなどでの露出調整が滑らかにできないためだと思います。従って、現状では露出が大きく変化するようなシーンは諦めるしかないと思います。

2. 露出を決める前にHDR動画の設定をOFFにする
HDR動画の設定が効いていると、明暗が交互に切り替わってしまい調整し辛くなります。

3. 解像度とフレームレートについて
この記事では、1920x1080(FullHD)/30fpsの動画を想定しています。エントリーモデルでも、1280x720(HD)で60fpsも可能ですが、HDR合成するには解像度が低すぎると思います。最新機種や高級機で、より高解像度で60fpsが可能な場合は、解像度優先で高くしてください。

4. シャッタースピードについて
通常、動画撮影ではシャッタースピードを意識することは無いと思いますが、マニュアルで設定するので、フレームレートとの関係を注意してください。当然ながら、フレームレートよりシャッタースピードを遅く設定することはできません。フレームレートが30fpsならシャッタースピードは1/30以下に、60fpsなら1/60以下に制限されます。このため、シャッタースピードで明るくするのは限界があり、絞りを開いて明るくするか、足りない場合はISO値を上げて調整します。

5. アンダーとオーバーの露出差について
ボディの性能によるところですが、3EVくらいまでに留めておいた方がよいと思います。

6. ピントは置きピンかマニュアルで調整する

EOS Kiss X4 ではオートでピント合わせしてくれません。置きピンで撮れる被写体を選ぶか、マニュアルで頑張るしかないです。

7. 撮影可能時間に注意する
SDカードのファイルフォーマットの関係で4GBしか録画できません。録画時間にすると12分くらい(1920x1080/30fpsの場合)なので、それを頭に入れながら開始のタイミングを決めてください。


■録画される動画について

録画される動画は、明暗のフレームが交互に記録されていますので、再生する場合はポケモンショック的な症状に注意が必要かと思います。


次回は動画のフレーム分解とHDR合成です
※この記事は「Yahoo!ブログ - HDRp」からの転載です

■これから作るHDR動画

Canon製カメラの改造ファームウェア、Magic Lantern(以降ML)を使った動画素材を使用します。MLを使用すると、1フレーム毎に明暗が交互に繰り返される動画を撮影することができます。この素材を使って、当倍速の30fpsで動くHDR動画を作成して行きます。

■注意

説明は思い込みも入っているかも知れません。間違っていたら遠慮せずにご指摘くださいませ。

■まずはHDR動画の分類

1. タイムラプスHDR動画
数秒置きにブラケット撮影もしくはRAW撮影した素材から動画フレームを構成したものです。最も簡単に作成できる代わりに、リアルタイム動画や音声入りはちょっと無理です。普通のカメラならリモートシャッターとRAW撮影で、MLを使えばインターバルと最大9枚ブラケットを組み合わせた撮影が可能です。

2. フェイクHDR動画
普通の動画の全てのフレームに対して、トーンマッピングしたものです。通常の動画素材をいったん静止画にバラして、後はフェイクHDRを作る要領で加工します。Photoshopなら動画のままフレームにフィルタを掛けられるはずですが、TopazAdjustとかだとうまく行った試がありません。あと、HDR動画系のスマホのアプリは、白飛びとか改善されてないので、たぶんこれじゃないかと思います。

3. EOSムービー等のHDR動画
1フレーム毎に明暗が交互に繰り返される倍フレームの動画を、内部で1/2フレーム合成したものです。カメラ内で合成されるので、白飛び、黒潰れの改善が目的なのかな? 合成前の動画を撮り出せれば、この連載と同じ方法でHDR動画が作れると思いますが、たぶん無理じゃないかと思います。
- http://cweb.canon.jp/eos/lineup/8000d/feature-movie.html

4. 1レンズ2カメラのHDR動画
ひとつのレンズで捉えた光を2つに分光し、露出を違えた2台のカメラで同時に撮影し、各フレームを合成したものです。昔、下の作例を見てすげーなと思ってましたが、敷居が高いので追従する者がいなかったかも知れません。
- https://vimeo.com/14821961

5. RAW動画
高級機種ではCinema EOS、もしくはMLのRAW動画(5D3)で撮影できると思います。どういう形式かは分かりませんが、RAW画像の連番という恐ろしいデータかも知れません。いずれにしてもボディが高いので私には無理です。高級機に限定されるのは、SDカードとコンパクトフラッシュカードの転送スピードによるものと思います。

※なお本来、HDR動画は3や5のような白飛び黒潰れを少なくした動画を言うのですが、作りたいのはHDR動画を基に好みのトーンマッピング等を施したものになります。
※個人的には、HDR画像=フルカラーJPG以上のビット深度を持った画像、HDR写真=HDR画像を基にトーンマッピングなどをしてフルカラーJPGに落とし込んだ画像、と区別しております。

■MLを使ったHDR動画は2種類ある

前から知っていたのは、明暗のフレームが交互に記録されている動画の方(分類3の合成前と同じ)で、エントリーモデル用のMLはこっちしかできません。この動画はちゃんと見れるようにするために、1/2フレームに合成してあげる必要があります。しかし、これだと30fpsしか撮れないエントリーモデル(1280x720であれば60fps撮れますが解像度が低すぎて加工に耐えられない)では、15fpsに落ちてしまうことになります。そこで、なんとか30fpsを維持する方法をこの連載で書いて行こうと思っていることです。

他方、最近知った5D3用MLのRAW動画ですが、分類5の通り触ったことが無いので詳細は知りません。連続するRAW画像であれば、それをPhotomatixでHDR画像に変換しトーンマッピング等で仕上がれば良いはずです。ただ、RAW画像は1枚20MBくらいありますので、1秒間で600MB、1分で36GBという恐ろしい容量になっていると想像します。(※解像度を下げてあればそこまでの容量にならないのか…)

■必要なソフトウェア

1. TMPGEnc Video Mastering Works 6
フリーソフトでもできなくは無いですが、作業効率がまったく違うので持っておいて損は無いでしょう。

2. Photomatix
みんな持ってるよね?

3. Excel
大量の画像を効率よくリネームする際に使用します。

4. Photoshop(Elementsじゃないやつ)
私の場合は仕事用のをお借りできるのですが、そういった特権が無い人は諦めるしかないと思います。これを使わない場合は、PhotomatixでHDR写真までフィニッシュしてください。

これの必要性は、バッチ処理が簡単に組めること、16bitTIFFが使えること、この2点になります。バッチ処理については、Topaz Adjustなどのフィルタを含め、各種フィルタを一括適用するためには必須です。16bitTIFFについては、HDR画像のままだと編集できないため、Photomatixの出力を16bitTIFFにすることでデータ損失を最小限にできます。フリーソフトのGIMPだとここら辺がネックになってくると思います。

■連載記事

- 第1回 Magic Lanternを使ったHDR動画素材の撮影


--
10/01 新潟市中央区
Canon EOS Kiss X4 / SIGMA 10-20mm F3.5 EX DC HSM
MOV×1→Photomatix / Topaz Simplify / TMPGEnc VMW6
Tags #HDR動画 #乗り物 #船 #信濃川ウォーターシャトル #アナスタシア号 #朱鷺メッセ
※この記事は「Yahoo!ブログ - HDRp」からの転載です

前出した動画は数年前に作ったものでしたが、これは新撮りからの習作です。

あまり動きが速くない被写体を選んだつもりが、今度は遅すぎて5倍速の動画になってしまいました。なので等倍で撮った意味が無かったのですが、それを活かすモーションブラーのフィルタを掛けてあります。おかげで、船の周りを飛んでいるウミネコがハエに見えて仕方が無いです(笑)。

やはりいくつか問題がありました。まず、ピントの追従ができない(X4の動画性能の問題)ので、置きピンで撮っています。その関係でピントが合っておらず、シャープネスを掛けてごましています。それから、露出ジャンプが1回、明明暗のフレーム飛びが1回発生しました。また、SDカードの関係で4GB以上の撮影ができないため、約10分しか連続撮影ができません。なので、着船までは撮れておりません。

今回も古い Magic Lantern を使用していますが、久しぶりにサイトを確認したところ新バージョンは出ているようです。あと、気になるところでは 5D3 用に RAW で動画を撮れる機能が追加されているみたいです。RAW だと 24bit なのかな、ちょっと分からないけど、その情報量を維持しつつ TIF などにバラせれば前後フレームを合成するより滑らかな動画を作れると思います。その前に 5D3 なんか買えないけどねっ。

新しい X4 用(550D)のも試してみたいです。

09/24 新潟市東区
Canon EOS Kiss X4 / SIGMA 10-20mm F3.5 EX DC HSM
MOV×1→Photomatix / Topaz Adjust / Topaz Simplify / TMPGEnc VMW6
Tags #HDR動画 #乗り物 #船 #新日本海フェリー #しらかば
※この記事は「Yahoo!ブログ - HDRp」からの転載です

ずっと前、フルフレームHDR動画の作り方を解説するよ動画を出したのですが、解説用の素材がうまく撮れなくて、するする詐欺状態になっていました。

結論から言いますと、素材動画の撮影が非常に難しいという問題点に行き付きます。基本的にCanonの改造ファーム(Magic Lantern)を使って、露出明と露出暗のフレームが交互に入った動画を撮るだけなのですが、いくつかの点で安定せず、いつしか諦めてしまっておりました。

今回は、その辺りの謝罪も込めて問題点の洗い出しと、使える部分のみカットした素材を使った解説を行いたいと思います。

なお、改造ファームは当時からアップデートしていないので古いかも知れない点は、ご了承ください。


<改造ファーム(Magic Lantern)の導入>

少し古い記事で色々と変わっているかも知れませんが、こちらの記事を参照して導入してください。なお、この解説ではver2.3.550D.109を使っており、他のバージョンではこの通りに行かないかも知れません。


<素材撮りの方法>

最近やってないので詳しい手順は書けませんが、明暗の露出はISOブラケットになっていたはずです。このため、ExpoでISOがAutoになっていると撮影できませんので、スクリーンショット1のように固定しておきます。なお、ここで固定したISO値は、HDR videoの設定でオーバーライドされるので適当で構わなかったはずです。


スクリーンショット1

次に、MovieでHDR videoの設定を行います。スクリーンショット2のように、明暗それぞれのISO値を決めます。
この例では1段分の光量差をつけていますが、あまり離して設定すると合成が破たんしますので、この位が良いようです。


スクリーンショット2

このように設定すると、画面でゆっくり明−暗を繰り返すようになります。画面上ではゆっくり切り替わる感じですが、この状態で動画撮影をし再生すると、1フレーム毎に明暗を激しく繰り返す動画になります。

一応、以上が基本的な撮影方法になりますが、言うほどうまく撮れません。

  1. 数分撮影すると、定期的に明るくなったり(露出ジャンプ)するようになります

    恐らく、ISO値が固定されているので、絞りなどで露出調整されるのだと思いますが、飛び飛びの明るさ調整しかできないのでしょう。絞り等も固定して撮影すれば良いと思いますが、設定に癖があってうまく撮影できる設定を見つけられていません。

  2. 明暗の繰り返しが、数百フレームに1回ほど、明明暗、というように狂います

    これをそのまま処理すると、1フレームだけ明るいフレームのみで合成するので、一瞬フラッシュ炊いたかのようになります。

  3. 動画の解像度(1920x1080)なので、合成時に荒れやすいです

<HDR合成の方法>

まず、動画のすべてのフレームを静止画として切り出します。フリーソフトでもできたと思いますがフレームが抜けてしまうなどがあり、最終的に TMPGEnc VMW5 を使ったと思います。

次に、Photomatixのバッチ処理でHDR合成していますが、2回に分けて行います。明暗の繰り返しになっていることを利用して、フレーム番号1と2、3と4、といった奇数番開始と、2と3、4と5、といった偶数番開始の2セットを行います。最も簡単な方法は、2枚合成の設定でそのまま処理し、フレーム番号1の画像を削除して、もう1セット処理する方法です。

最後に、エクセル等を使ってリネーム用バッチを作成し、2セット分のHDR画像が交互になるようにリネームします。具体的には書きませんが、コマンドプロンプトでファイル名のリストを作成、テキストエディタ等で加工、エクセルに張り付けて関数等で連番を生成、バッチファイルのコマンドを生成します。ちょっと手間が掛かって面倒そうですが、慣れると他の方法より簡単で、他にもいろいろと応用が効きます。

また作例では、Topaz Adjust でディティール強調も掛けています。


<HDR動画にエンコード>

映像用のフレームを、TMPGEnc VMW5 や FFMpeg 等を使って動画に変換します。このときオリジナルの動画のフレームレートを指定してください。また、音声はオリジナルの動画から wav などに分離しておいたものを読み込めばOKです。


<最後に素材動画の説明>

元々、今回書いたような解説用に撮ったものですが、もうちょっとマシなのを撮りなおそうとしてお蔵入りしたものです。もうちょっと長く撮影していますが、例の露出ジャンプを繰り返し始めた以降をカットしました。

ちょうど写っている女の子3人組の動きが面白いです。どうやら3人で競争しようとしたらしいのですが、走り始めた途端に2人が裏切ります。先頭を切ってゴールしてポーズする子が、あれ?って感じでかわいいです。


2013/10/12 新潟市中央区
Canon EOS Kiss X4 / SIGMA 10-20mm F3.5 EX DC HSM
MOV×1→Photomatix / Topaz Adjust / TMPGEnc VMW5
Tags #HDR動画
※この記事は「Yahoo!ブログ - HDRp」からの転載です

リアルタイムHDR動画の試作です。つまらない動画ですがせっかく作ったので掲載しました。

Magic Lanturn を使うと、露出オーバー&露出アンダーのフレームが交互に記録される動画が取れます。これをいったん全てのフレームを画像に分解して、HDR合成を行った後、再結合させています。HDR合成を行う際、奇数番フレーム開始と、偶数番フレーム開始の2セットをバッチ処理させることで、元のフレームレートを維持しています。

同じフレームレートで再結合することで、元の動画から取り出した音声もそのまま結合でき、今まで不可能だった音声入りのHDR動画を作ることができます。

とは言っても、今回の素材は動きが少なく、音声もほとんど取れて(汽笛だけ)いないので、モチーフが悪かったです。次は、もっと効果的なシーンで、詳しい作成方法の解説を書きたいと思います。

なお、途中フリッカが出ていますが、これはカメラの露出調整が滑らかでないためのようです。


HDRの効果が分かりづらいですが、雲が白く飛んでいません。


海保の「ほたか」に映る水面が最もHDRらしい感じが出ている(脇役なのに....)。


<寂しさを助けてもらったすばらしい音楽素材>
音楽素材 MusicMaterial
http://musicmaterial.jpn.org
♪LIGHTNESS、♪TRANSPARENCE、♪REFRESHING、♪TOMORROW

09/01 新潟市中央区 新潟西港
Canon EOS Kiss X4 on MLEFS60mm, EF300mm1:4L
MOV×3→TMPGEnc VMW5Photomatix
Tags #HDR動画 #乗り物 #飛鳥II #船
※この記事は「Yahoo!ブログ - HDRp」からの転載です

EOS Kiss X4 の改造ファームウェア、Magic Lantern を使用して、HDR動画を作成してみました。インターバル撮影では無く、等倍速30fpsのHDR動画です。

7/22 新潟市東区
Canon EOS Kiss X4 on MLSIGMA 10-20mm F3.5 EX DC HSM
HDR MOV×1→AviUtilTMPGEnc VMW5PhotomatixTpzAdjustPhotoshop
Tags #HDR動画 #乗り物 #船 #海上自衛隊 #DD124
※この記事は「Yahoo!ブログ - HDRp」からの転載です

山の下港で微速度撮影してみました。
天候が崩れてきて、あまりいい素材ではありません。

本当は新日本海フェリーが目前で回頭するはずでしたが、
時間を間違えたのか入港してきませんでした。
代わりに、佐渡汽船が出入りします、が小さいです。
条件のいい時に、ちゃんと時刻を調べてリベンジしたいです。



最初のカットでは結構良い天気でしたが



最後のカットでは猛吹雪〜

1/10 15:03〜16:20 新潟市東区神明町 山の下埠頭
動画 JPG×447(INT=10s)→Photomatix/Windows Live ムービーメーカー
♪千年の追憶 by フリー音楽素材 H/MIX GALLERY さん
静止画 JPG×1→Photomatix/Photoshop Elements
※この記事は「Yahoo!ブログ - HDRp」からの転載です