コンテンツ
Google Pixel 4およびPixel 4 XLは、同社の史上最高のソフトウェア機能とカメラ機能を誇ります。これは、一部にはPixel Neural Coreが含まれているためです。この小さなチップは、Pixel 4のメインプロセッサと並んで、Googleの強力な機械学習ワークロードを効率的に実行します。これらは、画像処理から音声認識および文字起こし機能にまで及びます。
ただし、Neural Coreは、スマートフォン向けの社内の機械学習プロセッサにおけるGoogleの最初の亀裂ではありません。 Pixel 2および3は、パフォーマンスとエネルギー効率を改善するためにHDR +などのイメージングタスクをオフロードするように設計されたPixel Visual Coreとともに出荷されました。 Pixel 4のNeural Coreは、この基盤の上に構築され、機能が強化され、新しいユースケースが選択されています。
お見逃しなく：Pixel 4のAstroモードでできること
PixelのNeural Coreはどのように機能しますか？
Googleは、Neural Core内で何が起こっているかについての詳細をまだ共有していません。ただし、前世代のVisual Coreがどのように機能するか、および機械学習（ML）プロセッサで通常使用される手法の種類はわかっています。
幅広い計算タスクを処理するために構築された従来のCPUとは異なり、Neural Coreのような機械学習プロセッサ（NPU）は、いくつかの特定の複雑な数学タスクに最適化されています。これにより、デジタルシグナルプロセッサ（DSP）またはグラフィックスプロセッシングユニット（GPU）のようになりますが、機械学習アルゴリズムで使用される特定の操作に最適化されます。
融合型積和演算は非常に一般的なイメージングおよび音声ML操作であり、CPU内部での大規模なサポートはありません。最新の32ビットおよび64ビットCPUとは異なり、これらの操作はわずか16、8、さらには4ビットのデータサイズで実行されます。これらの操作を最大限の効率でサポートするには、カスタムハードウェアブロックが必要です。
Neural Coreは、CPUまたはGPUでの実行効率が低い画像および音声アルゴリズムを高速化します。
Neural Coreは、専用の算術論理ユニットをハードウェアに組み込み、複数のCPUサイクルを消費するのではなく、これらの命令を最小限の電力消費で迅速に処理します。チップは、共有ローカルメモリとタスクスケジューリングを監視するマイクロプロセッサを備えた、複数のコアにあるこれらの数百のALUで構成される可能性があります。
Googleは、ほぼ確実に、アシスタント、音声、およびイメージングソフトウェアアルゴリズムを中心に最新のハードウェア設計を最適化します。 Neural CoreのALU機能に依存しているため、Pixel 4の最新の写真撮影機能は古い携帯電話には使用できません。
Neural Coreでできること
Neural Coreは、Google Pixel 4およびPixel 4 XLに組み込まれている多くの新機能の重要な要素のようです。これらの改善は、主に画像と音声の処理に集中しています。
写真の面では、リストにはデュアル露出コントロール、天体写真モード、ライブHDR +プレビュー、および夜間視界が含まれます。 GoogleのPixel 4はリアルタイムでデュアル露出調整とHDR +を実行するため、ユーザーはシャッターを押す前に写真の結果を見ることができます。これは、Pixel 3と比較して画像の計算能力が大幅に向上したことを示しています。
さらに、これらの携帯電話は、カメラシステムに学習ベースのホワイトバランスを導入します。これにより、低照度の写真によく見られる黄色の色相が修正されます。 Astro Night Sightモードでは、複数の露出のキャプチャ、空の検出、画像の組み合わせが使用されるため、大量の処理と画像検出のスマートが必要です。最後に、Pixel 4のフリークエントフェイス機能は、頻繁に撮影する人のより良い写真を識別して推奨します。
Pixel 4には、更新されたアシスタントもあり、クラウドではなくデバイスでネイティブに実行できる言語モデルが改善されています。新しい音声機能には、Continuous Conversations、Recorderアプリを介した音声転写、および改善された音声認識も含まれます。ニューラルコアは、携帯電話の3Dフェイスロック解除テクノロジーでも役割を果たす可能性があります。
未来の波
GoogleのNeural Coreは、同社の最も強力な社内スマートフォンシリコンであり、以前よりも効率的なリアルタイムの画像編集を可能にします。 Googleは、業界をリードする機械学習技術を誇りにしており、Pixel 4の最大のセールスポイントは、これらの投資の成果に依存しています。
ただし、Pixel 4は、強力な機械学習プロセッサを搭載した唯一のスマートフォンではありません。 Snapdragon 855を搭載したすべてのスマートフォンは、専用の機械学習ハードウェアを提供します。 Googleには明らかにさまざまなニーズがあり、おそらくスマートフォンにはさらに強力な要件があります。同様に、HuaweiのKirin 990は、リアルタイムのボケビデオエフェクトなどに十分な強力なデュアルNPUを誇っています。
機械学習ハードウェアは、フラッグシップのスマートフォンの画像、ビデオ、およびAI機能の基礎となりつつあります。 Pixel 4とNeural Coreを備えたGoogleは、パックの最上部近くに配置されます。
次：GoogleのPixelカメラはまったくカメラになろうとはしていません
