技術開発・事業開発

深層学習による衛星画像の超解像技術の開発

超解像とは

超解像とは、解像度の低い画像では正しく表現できない細部の情報を復元する技術のことで、テレビや映像の世界で発展しています。
高度数千メートルから撮影する航空写真と比較して、高度数百キロメートル以上の上空から撮影する人工衛星の画像の解像度は相対的に低く、現在30センチメートルが最高水準です。図1は同じ場所を撮影した航空写真と衛星画像ですが、航空写真で読み取れる道路標示の矢印記号が、衛星画像では方向を読み取ることが難しい様子がわかります。
なお、解像度という言葉は、印刷業界ではdpi（ドット・パー・インチ）の単位で表される画像の密度のことを言いますが、写真測量の分野では、空中から撮影した画像の解像度を地上解像度、または、地上分解能と呼び、画像を構成する最小単位である画素の一辺が、地上でどのくらいの距離に相当するかを表します。

▲TOP

深層学習を利用した超解像

単一の画像を用いる超解像は、従来から取り組まれてきましたが、深層学習を利用することでより発展し、特に最近ではGAN（Generative Adversarial Network：敵対的生成ネットワーク）と呼ばれる深層学習の画像生成アルゴリズムを用いることで、現実世界に近い自然な画像を生成できるようになりました。
このアプローチは、ビデオ映像のフレームのように、被写体の位置が少しずつずれて写った複数枚の画像を統合することで細部を復元するアプローチと異なり、生成された細部の情報が元の画像に含まれていたものではないため、信頼性の点で課題がありますが、同じ場所を短期間に何度も撮影した画像がない場合は有効な方法と言えます。

▲TOP

4倍の超解像画像の例

元の画像の4倍の超解像化を行うことができるGANのアルゴリズムを用い、都市域を撮影した地上解像度が10メートルの衛星画像と、同じ場所を撮影した地上解像度が2.5メートルの衛星画像を用いて、10メートル解像度の衛星画像から4倍の超解像画像を生成する深層学習モデルを作成しました。

図2～4に、原画像の10メートル解像度の衛星画像、4倍の超解像画像、同一日に撮影された1.5メートル解像度の衛星画像を示します。図3と図4を比較すると、川や道路、樹木、建物などの細部が再現され、原画像に比べて地上の様子が把握しやすくなっていることがわかります。一方で、道路などの線状構造が歪んでいることがわかりますので、今後さらなる改善が必要です。

▲TOP

本研究の成果と今後の展開

わが国の防災政策では、南海トラフなどの巨大地震の発災直後、超広域にわたる被害の全体像を速やかに把握し、的確な応急活動を展開するため、航空写真や衛星画像から概略の被災状況を把握することが定められています。これらの俯瞰的な画像は、応急活動において、道路寸断等の道路被害を含む被災地域の状況の把握に用いられることが想定されます。衛星画像は、幅十数～数十キロメートル四方の範囲を一度に観測できるため、広域の被害の全体像を把握する目的に適していますが、災害等の緊急時は被災地上空より離れた周回軌道上から深い画角で撮影される場合が多いため、得られた画像の地上解像度が直下視撮影時よりも低下するという課題があります。本手法はこうした課題に活用できると考えられます。

本手法は、学習に基づいて細部を復元する方法のため、復元された情報が必ずしも正しいとは限らないことに留意する必要がありますが、概して自然な画像を生成できることがわかりました。

今後は、復元が困難な地物や、道路などの歪みの改善を行っていく予定です。また、都市域だけでなく、山林地や農地を撮影した画像に対して、汎用的に適用できるよう、改善を行います。これによって、安全保障や農業、環境等の様々な分野への利用が期待されます。

▲TOP

■詳細については　こちら　から

（技術報 For the Future 2022　深層学習による超解像技術を用いた衛星画像の視認性向上）