コンテンツ
計算写真、高品質カメラハードウェア、画像信号プロセッサに加えて、最先端のモバイル写真は、人工知能（AI）としても知られる機械学習アルゴリズムによってますます強化されています。この写真技術は、デジタル一眼レフのような品質を目指して品質を向上させ、写真やビデオを撮影および編集するための創造的な新しい方法を提供します。
機械学習の鍵は、ニューラルネットワークの使用です。これは、人間の脳によく似ているアルゴリズムの一種です。この比較は、データを使用してパターンを認識し、音声や画像などの複雑なデータタイプの非常に正確な分類を可能にする、ニューラルネットワークの能力に基づいています。
写真に関して言えば、観察、学習、生成、分類の機能は幅広い用途を持っています。これらのアプリケーションには、後処理アルゴリズムを改善するための計算写真技術の構築、4Kビデオによるリアルタイムのソフトウェアボケ、または着ている服の色の完全な交換などの機能が含まれます。
ニューラルネットワークの仕組み
ニューラルネットワークは非常に複雑なトピックなので、ここでは基本のみを説明します。より高度な読書については、こちらとこちらのガイドをご覧ください。
ニューラルネットワークはノードで構成されます。ノードは、計算が行われる場所を示す記号です。各ノードは、特定のノードの重要性を増幅または減衰させる重みと入力を組み合わせます。多くの場合、複数のノードが並行して動作し、より大きなタスクを実行するノードのレイヤーを作成します。これは、たとえば、画像内の特徴検出です。複数のノードとレイヤーをまとめて他のノードとレイヤーに渡すことができ、より強力な機能を備えたより深いネットワークを形成します。
各ノードとレイヤーからの出力は、確率関数としてスケーリングされます。多くの異なる機能と属性を調べることで、ニューラルネットワークは、予想されるすべての潜在的な出力に対する確率の一致として入力を評価できます。これにより、画像が猫とオレンジのどちらに似ているかを画像検出アルゴリズムが判断しますが、最初に何を探すかを指定する必要があります。
ニューラルネットワークは、従来のコンピューターアルゴリズムとはまったく異なります。代わりに、画像、サウンドファイルなどのデータセットでトレーニングされます。各ノードの重みは、入力を正しい出力に一致させる際のネットワークの性能に基づいて、フィードバックループを介して徐々に調整されます。規則のこの段階的な「学習」には、かなりの準備、時間、および計算能力が必要ですが、驚くほど正確な結果が生成されます。
スマートフォン内のニューラルネットワーク
ニューラルネットワークは、スマートフォンなどのさまざまなコンピューティングデバイス内で一般的なCPUおよびGPUパーツを含む、さまざまなハードウェアコンポーネントで実行できます。ただし、一部のニューラルネットワークは、これらのハードウェアコンポーネントが提供できる以上の処理能力を必要とし、専用ハードウェアが必要な最適な処理を提供できます。
たとえば、Qualcomm®Snapdragon™855モバイルプラットフォームの内部には、最新のQualcomm®Hexagon™690デジタル信号プロセッサ（DSP）があり、改善されたベクトル処理ユニットと、機械学習タスク専用の新しいTensorアクセラレータが搭載されています。他のSnapdragonモバイルプラットフォームも、さまざまな機能を備えたHexagon DSPコンポーネントを備えています。そうは言っても、ニューラルネットは、Snapdragonや他のモバイルプラットフォーム上のDSPで実行するだけではありません。使用されるプロセッサのタイプは、ワークロードによって異なります。
前世代と比較したQualcomm Snapdragon 855機械学習の改善
Qualcomm Technologiesは、Qualcomm®Neural Processing SDKを通じて、サードパーティの開発者にDSPおよび機械学習機能を提供します。これにより、アプリはSnapdragonモバイルプラットフォーム内のハードウェアコア全体でニューラルネットを実行できます。たとえば、Google Pixelスマートフォンは、Hexagon DSPと独自のVisual Coreを活用して、印象的なHDR +写真機能を高速化します。 Qualcomm Technologiesは、Arcsoft、Elevoc、Polar、Loom、Mobius、Morphoなどのソフトウェアベンダーと連携して、DSPで実行される機械学習を使用したビデオボケからアバター作成までの機能をサポートしています。
AIが写真の未来を形作る
今、私たちはニューラルネットワークがどのように機能するかを知っています、重要な質問はそれが私たちと私たちの写真のために何ができるでしょうか？
ニューラルネットワークは、一般的な写真アルゴリズムの範囲を改善するために使用されます。たとえば、特定のカメラまたはショットの種類に合わせて優れた画像クリーンアップを提供するために、トレーニングでノイズ除去を改善できます。同様に、低照度の場合、ニューラルネットは画像の明るい部分と暗い部分を検出し、シーンの特定の部分の明るい部分と色を強調することができます。
スマートフォンの写真では、より高度な使用例がますます一般的になっています。超解像ズームでは、ニューラルネットを使用して、複数の画像を単一の高解像度ショットに結合して、見栄えの良いデジタルズームを実現します。ニューラルネットをトレーニングして、複数の写真の露出を正確につなぎ合わせて、HDRとナイトショットを強化することもできます。
AI写真には、超解像ズーム、リアルタイムのボケ、改善された画質が含まれます。
ビデオは、このテクノロジーの採用からも恩恵を受ける可能性があります。リアルタイムのオブジェクト検出は、録画時にアプリがソフトウェアのボケ効果をビデオに直接導入できるように設計されています。同様の手法は、リアルタイムのオブジェクトの交換と削除もサポートしています。これには、ビデオの背景の交換、色の変更または削除、衣類のアイテムの交換、ビデオへのデジタルアバターの直接的な重ね合わせなどが含まれます。
ニューラルネットワークとAI写真の威力は、DSLRのギャップを埋める品質の強化から、ユニークなコンテンツの作成を容易にする強力な創造性ツールにまで及びます。いずれにせよ、それは強力な技術であり、モバイル写真に向けた将来の改善の基礎となります。
次： Google Pixel 3 XLの国際的なプレゼント！
Qualcomm Technologies、Inc.がスポンサーとなっているコンテンツ
Qualcomm Snapdragon、Qualcomm Hexagon、Qualcomm Adreno、Qualcomm Spectra、Qualcomm AI Engine、およびQualcomm Kryoは、Qualcomm Technologies、Inc.およびその子会社の製品です。
