「星空も撮れる」Pixel 4カメラのヒミツ　スタンフォード大教授が「Made by Google」で語ったこと（1/2 ページ）

[井上輝一，ITmedia]

　米Googleが10月15日（現地時間）に発表したAndroidスマートフォン「Pixel 4」は、スマートフォンらしからぬカメラ性能を見せた。条件の良い夜空の下では、天の川も写るような星景写真を撮影できるという。さらに、搭載する望遠レンズの画角よりもズームできる「超解像ズーム」も搭載する。

　Pixel 4ではなぜこのような撮影が可能になるのか。Appleの「iPhone 11」のように超広角レンズを載せなかった理由は。発表イベント「Made by Google」で、Googleのエンジニアとしても働くスタンフォード大学のマーク・レボイ教授が語ったことから、そのヒミツを読み解いていく。

キーワードは「計算的写真術」　複数枚の合成で画質向上

　コンピュータグラフィックスを専門にするレボイ教授は、Pixel 4による写真撮影の要は「コンピューテーショナルフォトグラフィー」（計算的写真術）だと話す。

　「素晴らしい写真を撮るためには、『被写体』『ライティング』『レンズ』『カメラボディ』が重要だといわれる。しかし前の3つがそろっていれば、カメラボディはどれでもいいという声もある」（レボイ教授）として、レボイ教授は4つ目の要素を「ソフトウェア」に置き換える。

　「これはカメラハードウェアでの処理を減らしソフトウェア処理を増やすということ。基本的には複数枚の写真を撮影・合成し、良い画質の1枚の写真を作るということだ」（同）

　このような合成処理で作られる写真の例としては、HDRが挙げられる。露出を変えながら撮影した複数枚の写真を合成することで、白飛びや黒つぶれを抑えながら、被写体の細部まで階調性豊かに写す手法だ。

　ただ従来、HDR合成をきれいに行うにはカメラを三脚などに固定する必要があった。カメラが動いてしまうと合成前の各写真に微妙なずれが起き、正しい合成が難しくなるからだ。

　Pixelシリーズが搭載する「HDR＋」では、最大9枚の写真を連写。手持ち撮影でずれがあっても、うまく重なるように位置を合わせ、各写真から各ピクセルの平均値を計算する。

　「ノイズは平均を取る撮影枚数の2乗根で減少するという単純な公式がある。9枚の撮影ならノイズを3分の1に減らせる。これはマッドサイエンスではなく、シンプルな物理学だ」（同）

「天の川撮影」のカラクリ　4分露光を15回に分割

　レボイ教授が発表イベントで見せた「天の川の写真」も、基本的には複数枚撮影の合成処理に基づいている。

　星の光は非常に弱いため、撮影するには長い時間シャッターを開け、イメージセンサーに光を取り込むのが定石だ。

　しかし、長時間（画角にもよるが30秒以上など）の露光にはいくつかの問題も伴う。一つは、被写体である星や木々が動いてしまうということだ。星の撮影に専念する場合は、通常は地球の自転と同期する「赤道儀」という回転台を利用することで星の移動を防ぐ。

　Pixel 4では、一度の星景写真の撮影を4分かけて行うというが、単純に4分間露光するというわけではない。「16秒露光した写真を15回撮影する」（レボイ教授）という。

　レボイ教授が挙げた公式から考えると、15枚の合成でノイズは約3.9分の1に低減できるはず。16秒の露光なら星も流れない。しかし、星自体は動き続けているため、そのまま合成すると結局星が流れた写真になってしまう。

　レボイ教授はこれについて、詳細は明かさなかったものの、「複数枚の写真に対するロバスト（強固）なずれ補正と合成を利用している」と話した。

　これに近いことを実現しているソフトウェアはこれまでにもある。例えば「RegiStax」というWindows向けのソフトは、月や惑星といった天体の動画や連続撮影データのずれを補正し合成することで、ノイズを除去し、輪郭を強調した天体写真を作成できる。

　また、長時間露光時にイメージセンサーのピクセルが不具合を起こすことで写真に輝点が写り込む「長秒ノイズ」（ホットピクセル）をうまく除去するアルゴリズムも、Pixel 4には搭載されているという。長秒ノイズ除去も、「Photoshop」などで実現できることではある。

　従来は撮影後にPCで行っていた複雑な処理を、スマホ内で撮影から処理まで完結できるようにしたのがPixelシリーズ（特にPixel 4）であり、「計算的写真術」なのだといえそうだ。

8倍望遠を実現する「超解像ズーム」の仕組み

　Pixel 4のカメラの進化点は星空の撮影だけではない。標準レンズに対し約2倍の望遠レンズを搭載し、望遠性能を強化した。しかも、ただ2倍望遠で撮影できるだけではなく、「超解像ズーム」というGoogleが開発した独自アルゴリズムで最大8倍までの望遠撮影が可能としている。

　8倍の望遠撮影を可能とする超解像ズームは、先代の「Pixel 3」から搭載されている機能。これも基本は連写からの合成だが、超解像ズームの場合は「手ブレ」をあえて利用する。