Lightroom CCの新機能「ディテールの強化」について #Lightroom

Camera Raw、Lightroom Classic、Lightroom CCに搭載された新機能「ディテールの強化」は、デモザイク処理に新しいアプローチを採用することで、微細なディテールの処理を改善し、偽色やジッパーノイズのような問題を解決するものです。ディテールの強化は、膨大なデータを学習させた畳み込みニューラルネットワーク（CNN）を用いた機械学習により、重要な画像に最先端技術を活用したクオリティを付与します。また、Bayer方式（キヤノン、ニコン、ソニーなど）とX-Trans方式（富士フイルム）、どちらのRAWモザイクファイルでも良好に機能します。

富士フイルムX-Trans方式ファイルを200%拡大した詳細領域。ビルの窓や背景の街灯のような微細なディテールが明瞭になっていることがわかります。

カメラが世界を捉える仕組み

ディテールの強化の動作原理を知る前に、まず一般的なデジタルカメラのセンサーの仕組みを理解しましょう。

人間は肉眼で数百万もの色を判別できます。私たちの多くは、網膜上に展開する赤、緑、青の各色を知覚する錐体細胞（色を検知する視覚の感覚受容細胞）を利用した3色型色覚を持っています。それぞれの種類の錐体細胞はおよそ100段階の色の濃淡を判別でき、私たちの視覚システムはそのような細胞からの信号をミックスして数百万もの色を認識します。

ところが、カメラが世界を認識する仕組みはこれと異なります。

すべてのデジタル写真データはまず、モノクロームで生成され、その後デモザイクというアルゴリズム処理を経てカラーに変換されます。

デジタルカメラのセンサーは、2つの要素で構成されます。まず、顕微鏡レベルの微小な受光素子で光に反応し、それぞれのピクセルに相当する光の強弱を測定します。ここで問題となるのは光の強弱だけであって色はまだ登場していません。

例えば、太平洋に沈む印象的な夕陽を浜辺から眺めているとしましょう。

あなたに見えるのはこの情景です。

人間の目に映るイメージ。

一方で、カメラの受光素子には以下のようなモノクロームのイメージが見えています（人間の目と受光素子の動作原理が異なるため、実際にはRAWデータの後処理が必要なもっと暗いものなのですが、暗すぎても面白くないので明るくしたものを掲載しています）。

カラーフィルターのないカメラが見た世界。

ところがここに、受光素子の手前に置かれるカラーフィルターが登場すると、結果はいくぶん異なったものとなります。カラーフィルターは、ピクセル上で、受光素子が色を記録することを可能にします。

カラーフィルターは、ピクセルごとに、赤、緑、青いずれかの値を記録します。Bayer配置されたカラーフィルターは、人間の色覚を模倣するために、赤:青:緑=1:1:2でピクセルが配置されるので、イメージは全体として緑がかったものになっています。

デジタルカメラの各ピクセルは、3色のうちいずれかの値しか記録できません。例えば、赤のピクセルではカラーフィルターが青と緑の情報を削除するため、赤の情報だけが記録されます。すなわち、RAWイメージに含まれる各ピクセルは、他の2色の情報を持ちません。

ソフトウェアによる画像再構築の仕組み

デジタル写真に含まれるすべてのピクセルはそれぞれに、赤、緑、青の全色をコンポジット（合成）した値を持ちますが、それを構築するプロセスをデモザイク処理と呼びます。

デモザイク処理の手法の開発には、科学技術と芸術的センスの両方が必要です。写真のデモザイクにはさまざまな方法論があり、その選択しだいで、写真の全体的な解像度から、細かな色領域の再現性、微細なディテールの正確な描写まで、すべてに大きな影響を及ぼします。

もっとも原始的なデモザイク手法は、隣接ピクセルの色の値を平均化するものです。例えば、赤フィルターがかけられたピクセルに記録されているのは赤の強弱だけです。そのため、デモザイク処理アルゴリズムは、隣接する4つの青ピクセルすべての値を平均して、その赤ピクセルが受光したであろう青の値を推定します。さらに、隣接する緑ピクセルに対しても同様の処理を行って緑の値を推定します。この推定のプロセスは補完処理といい、デモザイク処理のなかでも重要な要素となっています。

デモザイク処理は、画像の中でもスムーズなグラデーションや単一色の領域に対しては、比較的容易に行なえます。青い空や、ふわふわとした雲などがその例です。ところが、より複雑な領域が画像に含まれている場合、処理は非常に困難なものとなります。テクスチャーのある領域、微細なディテール部分、繰り返しパターンが見られる領域、鋭利な輪郭線などは、標準的なデモザイク手法による解決が困難で、解像度の減少や、好ましくないノイズ混入につながります。

先進的なデモザイク手法なら、こういった複雑な領域も適切に処理できますが、ひきかえに膨大な計算コストが求められます。ひとつの画像を構築するのに、何種類もの数値計算を適用するため、最も強力なコンピューターハードウェア上でも時間がかかるタスクなのです。

そのため、Lightroomのようなソフトウェアでは、画像の忠実度と処理速度のバランスを常にとりながら、機能を実装してきました。

デモザイクにおける問題

デモザイク処理における困難な問題は実際のところ、限られた種類のいずれかのケースでのみ生じることが知られています。ところが、これらの問題は次々と、新しいかたちあるいは複合的な姿をとって出現します。

微細なディテールの表現：カメラセンサーの解像度限界に近い、微細なディテール部分は処理が困難です。ディテールが、判別がつかない色のミックスになるならまだしも、色のノイズが発生することで、迷路のようなモアレ模様が新たに生じることもあります。

偽色：くっきりとした輪郭において、デモザイク処理のアルゴリズムが輪郭に沿ってではなく、輪郭を跨いた誤った補完をすると、急激で不自然な色のシフトが起こります。

ジッパーノイズ：画像の輪郭では、色の補完に使えるデータが通常の半分しかないため、境界がぼやけてしまいます。

アドビでは、常にデモザイク処理のアルゴリズム改善に努めてきました。年を経て、いまや私たちのアルゴリズムは、圧倒的多数の画像をとても良く処理できるものとなるまでに洗練を重ねました。しかしながら、ここに挙げた特殊かつ困難なケースに対しては、これまでと異なるアプローチが必要です。

新機能「ディテールの強化」

そこでAdobe Senseiの登場です。Senseiは、私たちが「深層学習（ディープラーニング）」と呼ぶ、機械学習のパワーそのままを活用する手法を含む、さまざまな人工知能技術の手法を統合したものです。

ディテールの強化は、膨大なデータを学習した畳み込みニューラルネットワーク（CNN）を用い、可能な限り最高の品質で画像の最適化を行います。私たちは、ニューラルネットワークに、処理が困難な領域を含むサンプルRAW画像をデモザイクするように学習させ、最新のMac OSとWindows 10に組み込まれている新しい機械学習フレームワークを利用し、このネットワークを稼働させています。ディテールの強化で使っている深層ニューラルネットワークは、10億点を超えるサンプル画像を学習しています。

前述のように、標準的デモザイク手法で対処すると深刻なトラブルを生じるような問題を1つ以上含むサンプル画像が10億点以上集められ、学習に使われました。私たちはまた、Bayerセンサーと富士フイルムX-Transセンサーそれぞれに、個別のモデルをトレーニングしました。

結果として、ディテールの強化は驚くべき効力を発揮しました。より高い解像度、より正確な輪郭およびディテールの描写が得られ、偽色やモアレ模様のようなノイズが減少したのです。

私たちがジーメンススター解像度チャートを用いて計算したところによると、ディテールの強化は、BayerおよびX-Trans両方式のRAWファイルにおいて、最大30%解像度を向上させられます。実際に富士フイルム方式RAWファイルをダウンロードして確認してみてください。

「ディテールの強化」を最大限に活用するために

ディテールの強化の能力を最大限に活用するためのヒントをお伝えします。

この記事は2019/2/12にポストされたEnhance Detailsを抄訳したものです。