RAW画像をレンダリングする

図：写真1：AF-S 24-120mm f / 4レンズ（24mm f / 8 ISO100）を使用したNikon D610の写真



RAW画像を低レベルでレンダリングするための基本的な手順は何ですか？この記事では、生データが表示可能なRAW画像（レンダリングと呼ばれることもあります）に変換される、デジタルカメラコンバーターの内部で何が起こっているかについて説明します。各ステップでの画像からの情報の変換を示すために、記事の冒頭に示した、AF-S 24-120mm f / 4レンズと24mmf / 8ISO100設定のNikonD610で撮影した写真を使用します。

レンダリングはRAW変換と編集です

レンダリングは、RAW変換と編集の2つの主要なプロセスに分けることができます。RAW変換は、生の画像データを、画像の編集、表示プログラム、およびデバイスが理解できる標準形式に変換するために必要です。通常、これはAdobeやsRGBなどのRGB比色色空間を使用して行われます。



編集者は、標準のカラースペースで画像に関する情報を取得し、それに調整を適用して、画像を写真家にとってより「フィット」または「楽しい」ものにします。



クリーンなRAWコンバーターの例は、DavidCoffinによるdcrawです。クリーンなエディターの例は、AdobeのPhotoshopです。ほとんどのRAWコンバーターは、実際にはRAW変換機能とエディター機能（Capture NX、LR、C1など）を組み合わせています。

基本的なRAW変換への7つのステップ

変換が終了して編集が開始される境界はかなりぼやけていますが、それらをどのように分離するかに応じて、RAWファイルを標準の比色色空間（たとえば、sRGB）に変換するメインプロセスには7つのステップしかありません。手順はこの順序で実行する必要はありませんが、次の順序はかなり論理的です。

1. RAWファイルから線形データをロードし、黒レベルを減算します。
2. 白のバランス。
3. 線形輝度を修正します。
4. 画像データをトリミングします。
5. モザイクから元の画像を復元します（debayering）。
6. 色変換と補正を適用します。
7. ガンマを適用します。

基本的なRAW変換では、プロセスは最後まで線形のままです。理想的には、最後のステップのガンマ曲線は画像を表示するデバイスによって修正されるため、画像処理システムは最初から最後まで（光がセンサーに当たった瞬間から光が目に到達する瞬間まで）ほぼ線形になります。センサーに到達した方法で画像を「正直に」レンダリングする必要がある場合は、RAWコンバーターから必要なのはこれだけです。

+トーンマッピング：出力デバイスのダイナミックレンジに適応します

ただし、後で説明するように、既存のデジタルカメラでRAWファイルを基本的に変換しても、満足のいく結果が得られることはほとんどありません。ほとんどの出力デバイス（写真用紙、モニター）のコントラスト比は、優れたデジタルカメラでキャプチャできるものよりも劣っています。したがって、カメラの広いダイナミックレンジをデバイスの狭いダイナミックレンジにするために、トーン補正を実行することが実際に必要です。これは、単純なコントラストカーブ、またはシャドウ、ハイライト、明快さなどのローカルおよびグローバル調整を伴うより複雑なトーンマッピングにすることができます。 （商用エディターおよびコンバーターソフトウェアの標準スライダー）。これは通常、レンダリングを編集するときに行われますが、「正確な」色を目指している場合は、理想的には、トーンマッピングは、RAWを変換するときのカラーグレーディングの6番目のステップの一部である必要があります（を参照）。カラープロファイルを説明するAlexTorgeraによる素晴らしいサイト）。



7つの基本的な変換手順の後、エディターに進んで、特定のフレームおよび出力デバイスに出力される特定の画像で特定された欠陥を客観的に修正し、アーティストの目に主観的に画像をより心地よくすることができます。たとえば、レンズの歪みと横方向の色収差を修正します。ノイズリダクションを適用します。シャープニングフィルターを適用します。これらの機能の一部は、特定のRAW変換手順の前に線形空間で実行する方がよい場合がありますが、通常はオプションであり、ガンマ空間でレンダリングした後、エディターで同じ方法で実行できます。



この記事では、RAW変換の基本的なレンダリング部分に焦点を当て、トーンのマッピングと編集は別の機会に残します。

1. RAWファイルから線形データをロードし、黒レベルを減算します

RAWを変換する最初のステップは、RAWファイルからメモリにデータをロードすることです。RAW形式はカメラごとに異なるため、ほとんどのコンバーターはオープンソースのLibRaw / dcrawプログラムのバリエーションを使用します。LibRawまたはdcrawの次のコマンドは、RAWを処理アプリケーション（Matlab、ImageJ、PSなど）で読み取ることができる線形16ビットTIFに再パッケージ化します。プログラムをインストールする必要はありません。実行可能ファイルがPATH変数にあるか、同じディレクトリにある必要があります。

unprocessed_raw -T  yourRawFile

または

dcraw -d -4 -T  yourRawFile

イメージセンサーが適切に設計され、仕様の範囲内である場合、記録されたデータは光の強度と線形関係になりますが、通常はカメラとチャネルに依存するバイアスで保存されます。 T.N.黒レベルの大きさは数百または数千DNであり、ゼロピクセル強度がゼロ光と一致するように、元の生データから差し引く必要があります。上記のコマンドラインを使用したdcrawは、これを実行します（いくつかの平均値はありますが）。 unprocessed_rawを使用する場合は、カメラの黒レベルを把握し、それに応じて減算する必要があります（または、–Bパラメーターを使用できますが、現在のバージョンのLibRawではサポートされていないようです）。



Nikonは、D610ファイルに書き込む前に、各チャネルから黒レベルを差し引くことがわかったため、参照フレームでは、どちらのコマンドも機能します。 dcraw -d -4 -Tコマンドをロードしました。このコマンドは、データを16ビットにスケーリングします（以下の輝度補正については、手順3を参照してください）。



この段階でロードされるデータは、単に画像のグレースケール強度です。ただし、それらは、それが配置されている特定のカラーフィルターに関連付けられたマトリックス上の位置に対応しています。ベイヤーマトリックス、そこ緑および青及び- -写真のように赤と緑の色を交互の列です。正確な順序は、マトリックスのアクティブ領域の最初のカルテットによって決定されます-この場合はRGGBですが、他の3つのオプションも可能です。





図2：バイエルカラーフィルターマトリックス：RGGBレイアウト。



D610のBayerMatrixにはRGGBレイアウトがあります。この段階での生データは、露出不足の白黒画像のように見え





ます。 3：ステップ1：黒レベルを差し引いた線形生画像。次の写真のように明るく見えるはずです。 4.そうでない場合、ブラウザは色を正しく処理しません（Chromeを使用していますが、明らかに正しく処理されません）。



写真が黒の場合、ブラウザは正しくラベル付けされたラインデータを表示する方法を認識していません。興味深いことに、WordPressエディターは画像を正しく表示しますが、Chromeに投稿された直後には表示されません（注：これは2019年までに最終的に修正されました）[2016年の記事/約。翻訳。]。この画像は次の





ようになります。 4：同じ写真ですが、CFAグレースケールと同じ



です。これは、線形CFAデータがファイル内で直接表示される方法です。滝のハイライトが途切れないように露出を右にシフトしたので、少し暗く見えます。これは、後で線形輝度調整ステップで修正します。



サイズが小さいため、画像は本格的な白黒のように見えますが、実際にはそうではありません。同じように照らされた領域でも、ピクセル化が見られます。これは、スペクトル感度が異なる隣接するカラーフィルタが、色に関するさまざまな情報を収集するためです。これは、画像を拡大すると簡単にわかります。これは、WhiBalカードのすぐ下の画像の領域が最大600％の倍率でどのように見えるかです：





図5：CFAのピクセル化は、均一な灰色のカード（上）と色の葉に表示されます。

2.ホワイトバランスデータ

光源のエネルギーのスペクトル分布（この場合、空は部分的に雲で覆われ、その光は葉を透過します）とマトリックスに配置されたフィルターのスペクトル感度により、同じ照明下でも、異なる色のピクセルが比例して高い値または低い値を記録します。これは、画像の中立部分で特に顕著であり、すべてのカラープレーンで同じ平均値が表示されるはずです。この場合、ニュートラルグレーカードでは、赤と青のピクセルが緑の値のそれぞれ48.8％と75.4％の値を記録したため、暗く表示されます。



したがって、次のステップは、すべての赤いピクセルに2.0493（1 / 48.8％）を掛け、すべての青いピクセルに1.3256（1 / 75.4％）を掛けて、線形CFAデータにホワイトバランスを適用することです。Adobeの用語では、カメラに対してニュートラルな白黒の画像を取得します。次に、ノイズを除いて、すべてのピクセルが画像の中立部分で同じ線形値を示すことが保証されます。





図：6：ホワイトバランシング後、グレーカードのピクセル化は消えますが、色付きのオブジェクトには引き続き表示されます。



画像上部のピクセル化がどのように消えたかを確認してください。キャリブレーションにはニュートラルグレーカードが使用されました。しかし、もちろん、ピクセル化はカラーオブジェクトから消えていません。色に関する情報は、3つのチャネルの強度の差に保存されます。

3.線形輝度の補正

交換レンズを備えた最新のデジタルカメラのほとんどは、12〜14リニアビットで生データを提供します。ファイルの標準ビット深度（jpeg、TIFF、PNG）は通常8の乗数として設定され、今日のほとんどのエディターのお気に入りの深度は16ビットです。黒レベルを差し引いた14ビットのデータを16ビットで保存することはできません。すべてが線形範囲の下位25％に入り、暗すぎます。理想的には、ホワイトバランシングとブラック減算の後にデータをトリミングして、トリミングされたデータを16ビットファイルに合わせ、それに応じてスケーリングします（手順4を参照）。データを大まかにキャストする簡単な方法は、14ビットのデータに4を掛けて、16ビットにスケーリングすることです。これは、黒を差し引いた後のステップ1で行われたこととまったく同じです（dcraw -d -4 -Tはこれを自動的に行い、unprocessed_rawを使用すると、手動で行う必要があります）。



スケーリングと言えば、明るさを微調整することもできます。この手順は主観的なものであり、センサーに表示されてRAWファイルに記録されるなど、画像を「正直に」レンダリングした後は、おそらく実行する価値がありません。ただし、露出を完璧にすることに成功する人は誰もいません。また、カメラが異なれば、生データのさまざまな割合で平均グレーを測定することが多いため、明るさを微調整できると便利です。したがって、多くのコンバーターは、相対スライダーを「露出補正」または「露出補正」と呼びます。 Adobeには、さまざまなカメラの露出メーターを正規化するDNGラベルBaselineExposureが関連付けられています。 D610の場合、0.35ステップです。



私たちのイメージは私の好みでは少し暗く、50％反射するはずのWhiBalカードはフルスケールでわずか17％です。線形輝度補正は、データ内の各ピクセルに定数を掛けたものです。この画像で、散乱した白色光の100％を超える明るさで画像の最も明るい領域を保持する必要がないと考えると、この例のこの定数は50/17、約1.5ステップの補正になります。この場合、ファイル内のすべてのデータに2.14を掛けて、+ 1.1線形輝度ステップの主観的で保守的な補正を適用することにしました。次のようになりました





。 7：黒レベルの減算、白のバランス調整、トリミング、1.1ステップの線形輝度補正後のCFA画像



より良い。しかし、ご覧のとおり、線形輝度補正の代償は、滝の一部を照らすことです。ここで、ほとんどのRAWコンバーターに見られる高度な非線形ハイライトおよびシャドウリカバリースライダーが役に立ちます。

4.ホワイトバランスデータが均等にトリミングされていることを確認します

緑のチャネルが最初に生データでクリップされた場合、結果の非線形性を修正するために白のバランス乗数を適用した後、他の2つをフルスケールにトリミングする必要がある場合があります。フルスケールは、1.0の正規化された値として以下のヒストグラムに示されています。元の生データの緑色のチャネルが（値の乱雑さのために）クリップされ、他のチャネルはクリップされていないことがわかります。





図： 8：上から下：生データにホワイトバランス乗数を適用した後、トリミングする前のR、G、Bヒストグラム。明るい領域に誤った色が表示されないように、必ず3つすべてを小さいチャネルのレベルまでトリミングしてください。画像データは0-1でプロットされます。ここで、1はフルスケールです。



3つのチャネルすべてからのデータがない領域では、結果の色が不正確になる可能性があるため、フルスケールでトリミングする必要があります。最終的な画像では、これは、たとえば、最大輝度に近い領域でピンクがかった色合いとして現れる可能性があります。これは、たとえば雪をかぶった山々の写真では非常に迷惑です。したがって、剪定はこの問題を妥協することなく解決します。





図： 9：左：ホワイトバランスを適用した後、正しくトリミングされた画像。右：画像はトリミングされていません。黄色の矢印は、最大輝度に近い領域を示しています。カラーチャネルからの情報が不完全な場合、ピンクがかった色合いになります。



トリミングする代わりに、欠落している色について特定の仮定を立て、相対データを補足することができます。高度なRAWコンバーターでは、これは「ハイライト再構成」のような名前のアルゴリズムまたはスライダーによって行われます。これを行うには多くの方法があります。たとえば、図の1.0から1.2の緑の場合のように、1つのチャネルだけが欠落している場合。 8、ハイライトがニュートラルな白い領域にあり、生の画像データが正しいホワイトバランスを持っていると仮定するのが最も簡単です。次に、緑色がカットされ、他の2つがカットされないカルテットでは、緑色の値は他の2つのチャネルの平均値と等しくなります。このショットでは、このような戦略では、明るい領域でステップの1/4以下を再構築できます（ログ₂（1,2））。次に、ハイライトを圧縮するか、新しいフルスケールを1.0に再正規化する必要があります。

5.CFAデータのdebayerization

これまで、CFA画像は同じ白黒平面上に配置されていたため、図に示すように、色付きの領域がピクセル化されて表示されていました。6.デバイヤリングの時間です-図に示す赤、緑、青のピクセルを分離します。2、欠落しているデータを概算することにより、別々のフルサイズのカラープレーンに変換します（下の図では、白い四角で示されています）。





図：10：Debayering-3つのプレーンすべてからの情報を使用して、各カラープレーンの欠落データを埋めます。



このステップでは、多数の高度なデベイヤリングアルゴリズムのいずれかを使用できます。それらのほとんどは非常にうまく機能しますが、状況によっては、他よりも優れているものもあります。オープンソースのRawTherapeeやdcrawなどの一部のRAWコンバーターは、リストからアルゴリズムを選択するようにユーザーに促します。ほとんどのコンバーターはこのオプションを提供せず、同じデベイヤリングアルゴリズムを使用します。お気に入りのRAWコンバーターが使用するデベイヤリングアルゴリズムを知っていますか？



このテストでは、各RGGBカルテットを1つのRGBピクセルにチートして単純に圧縮し、各カルテットのR値とB値を生データのままにして、Gを2つ平均します（これはdcraw –hモードに相当します）。これは、2×2の最近傍のデベイヤリングアルゴリズムです。半分のサイズ（直線寸法、または面積の4倍）のより使いやすい画像が得られます。





図： 11：黒減算、白バランシング、トリミング、線形輝度補正、および2x2最近傍デベイヤリング（dcraw –hと同等）後の生のRGB画像。



図では 図11を見ると、生データがRGBであり、3つの完全に塗りつぶされたカラープレーンがあることがわかります。カメラで記録された色は、ブラウザとモニターで表示されました。見た目はくすんでいますが、オリジナルと大差ありません。シェードは標準のRGBスペースに保存されないため、ソフトウェアとハ​​ードウェアがシェードをどう処理するかを常に把握しているとは限りません。次のステップは、これらの色を共通の比色標準色空間に変換することです。

6.色変換と補正

これは、心地よい色で完成した画像を取得するために必要な、最も直感的ではありませんが最も重要な手順の1つです。すべてのメーカーは、マトリックスのCFAにカラーフィルターの秘密を嫉妬深く守っていますが、適切な機器を使用すれば、スペクトル感度関数を導出することはそれほど難しくありません。安価な分光計を使用しても、カメラの機能の大まかなアイデアを得ることができます。



これらすべてを備え、典型的な光源、シーン、および表示方法について多くの仮定を行うことで、CFA画像（図11に示すような）から標準色に色を変換する妥協線形配列を生成できます。エディターやブラウザーなどの一般的なプログラムだけでなく、ディスプレイやプリンターなどのデバイスも認識できるようになります。



私たちにとって幸いなことに、いくつかの優れた研究所がこれらのマトリックスの測定と計算に取り組んでいます-そして、彼らは計算をパブリックドメインに置きます。たとえば、DXOmark.comは、データベース内の任意のカメラの2つのソースについて、ホワイトバランシング後の生の写真データをsRGBに変換するためのマトリックスを作成します。例えば、ここにある彼らのセンサーニコンD610とのためには、標準光源D50：図12：光源D50の





DXOラボからのカラーマトリックス：白色のバランスが取れてベイヤ化されていないデータからsRGBまで。



どちらの妥協マトリックスが最適であるかは、フレームを取得する瞬間の光源のエネルギーのスペクトル分布に依存するため、実際のマトリックスは通常、いくつかの参照に基づいて補間されます。今日のAdobeの世界では、これらは標準の光源AおよびD65であり、タングステンから昼光および屋内写真まで、日常の写真の一般的な照明の範囲を制限する役割を果たします。変換されたデータは、最終的な色空間に一致する光源に適合されます（sRGBの場合、たとえばD65）。結果は、図に示すような一種のマトリックスになります。 12.次に、先ほどステップ5の後、各debayerized画素のRGB値で乗算する必要がある



で仕様Adobeは、DNGコンバーターに対してより柔軟なプロセスを推奨しています。 CFAカメラから比色色空間に直接移行する代わりに、Adobeは最初にデータをプロファイル接続（XYZ D50）色空間に変換し、ホワイトバランシングとデベイヤリング後のデータに補間されたフォワードマトリックスを乗算してから、次のような最終的な色空間に到達します。 sRGB。 Adobeは、XYZの特別なプロファイルを使用して追加の非線形色補正を適用することもあります（DNG言語では、これらはProPhoto RGB、HueSatMap、およびLookTableによるHSV補正です）。



写真を撮ったカメラの直接マトリックスは、各DNGファイルに記録されています。Adobeを称賛します。私はそこからD610のための行列をダウンロードし、XYZD50行列- >からsRGBD65ブルースLindblumのサイト、およびGOT最終画像：





図。13：「かなり」変換された画像。生データ、黒レベルの減算、白のバランス調整、トリミング、明るさの調整、2x2のデベイヤリング、色の調整、sRGBへの変換。



これで、色はプログラムやデバイスがsRGB色空間で見つけることを期待するものになります。ご参考までに、この画像はNikonのフラットプロファイルキャプチャNX-Dコンバータの画像とほぼ同じです。ただし、モニターのコントラストが低いため、あまりシャープに見えません（トーンマッピングを参照）。

7.ガンマの適用

最後のステップは、選択したカラースペースによって異なります。sRGB空間のガンマは約2.2です。これについては、この時点でレンダリングプロセスが非線形になることを示すためにのみ言及します。この瞬間から、画像は色空間の比色範囲に縮小され、お気に入りのエディターにロードするか、表示することができます。理論的には、これまでのすべてのステップは線形でした。つまり、簡単に元に戻すことができます。

+トーンディスプレイ

2016年には、カメラの高ダイナミックレンジをイメージングデバイスの狭いレンジに押し込む方法を選択するために、ほとんどの場合、トーン補正が必要になります。たとえば、ノイズに対する耐性に応じて、D610のダイナミックレンジは12ステップですが、非常に優れたモニターのコントラスト比は500：1、つまり約9ステップです。これは、カメラから下の3つのステップが、バックライトのためにモニターに表示されないことを意味します。



RGBカーブは、範囲全体にトーンを主観的に再分配するため、最も明るい領域の一部を犠牲にして、一部のシャドウがより見やすくなります（したがって、このカーブは「トーンカーブ」と呼ばれます）。この記事の執筆時点では、このような曲線は通常、レンダリング時にAdobeによってACR / LRで適用されてから、画像が初めて表示されます。





図： 14：プロセスバージョン3（2012-2016）のレンダリングプロセスの終わり近くにACR / LRによって適用されたトーンカーブ。横軸は非線形です。



この場合、私はそれを使用しませんでした。コントラストを上げる曲線を適用し、PhotoshopCS5のシャープネスを図に追加しました。 13最終的な画像を取得するには：





図。 15：最終的なsRGB画像。最初は生データ、黒レベルを差し引いた、白のバランス調整、トリミング、明るさの修正、デベイヤリング、色の修正、トーンカーブの適用



もちろん、後の段階でコントラストカーブを適用すると、色の色度と彩度が変わりますが、画像のレンダリング後にこれらの調整をRGBガンマ空間に適用すると、まさにこれが起こります。歴史的に、これはカメラですべてが起こった方法であり、これは人気のあるRAWコンバーターですべてが起こった方法です-これは手順であり、私たちは何年にもわたってそれに慣れてきました。色再現の「正確さ」を実現するための代替手段は、Torgera Webサイトのカラープロファイルを使用し、トーンに触れないようにすることです。

まとめましょう

したがって、明るさと色を線形に調整する基本的なRAW変換には、次のものが必要です。

1. RAWファイルから線形データをロードし、黒レベルを減算します。
2. 白のバランス。
3. 線形輝度を修正します。
4. 画像データをトリミングします。
5. Debayerize。
6. 色変換と補正を適用します。
7. ガンマを適用します。

そして、それだけです-生データの変換からの秘密のベールは取り壊されました。



この記事に記載されている画像を取得するためのMatlabのスクリプトは、リンクからダウンロードできます。7つの基本的な手順は黄色でマークされ



s = raw2RGB(‘DSC_4022’ , ‘ROI’ , 1.1)



ています。スクリプトを使用した後、ファイルをTIFF形式で保存し、カラーエディターにロードして、選択したカラースペースを適用して正しい色を確認します。