このページは機械翻訳を使用して翻訳されました。
翻訳品質のアンケートに 1 分ご協力ください。
単一光子カメラにより、任意の時間スケールでのビデオ再生が可能に
極限のデータ取得が新たなコンピュータビジョンのアプリケーションを照らす
トロント大学の計算画像研究者らは、独自のカメラで奇妙な信号を捉えました。トロント計算画像グループは、カメラ（単一光子アバランシェダイオード（SPAD）を使用して研究室で実験を行っていたところ、説明のつかない80キロヘルツ（kHz）のちらつきを検出しました。
彼らは強力な自走式イメージングセンサーを使用して、さまざまな光源から到着した個々の光子を検出し、その正確な到着時間を1兆分の1秒まで記録しました。各ピクセルに当たるすべてのデータを取得した後、チームは、数秒からピコ秒までの極限の範囲にわたって任意の瞬間の光を再現するビデオを作成できるアルゴリズムを適用しました。
「1秒あたり30フレーム、1,000フレーム、100万フレーム、10億フレームなど、好きな時間スケールでズームインしてビデオを再生できます」とトロント大学コンピューターサイエンス教授のKyros Kutulakos氏は語りました。「現象を観察する時間スケールを事前に知る必要はありません。」
これまで、研究者は数ナノ秒にわたってシーンを伝播する光を捉えることはできましたが、非常に速いイベントと遅いイベントを同時に画像化することはできませんでした。
既存の技術は特定の時間レジームに特化していると、Kutulakos 氏の同僚である David Lindell 助教授は説明しました。従来の高速カメラは、1 秒あたり最大約 100 万フレームの速度に達することができ、これは高速で飛ぶ弾丸を捉えるのに十分な速さです。しかし、1 秒あたり数十億または数兆フレームに達するには非常に特殊なカメラが必要ですが、1 マイクロ秒程度より長く続くイベントを捉えることができません。
自走式イメージングセンサーにより、さまざまな光源からの個々の光子が検出され、正確な到着時間が記録されます。(動画著作権: トロント大学)
トロント大学のチームはMATLAB®を使用して、個々の光子のタイムスタンプデータを取得し、研究グループが「時間の顕微鏡」と名付けた画像化技術のセットアップにおける可動部品を制御します。
シングルピクセル SPAD には、60 ミリメートル x 60 ミリメートルの検出ヘッドがあり、中央に小さなセンサーがあります。SPAD が奇妙な 80 kHz 信号を検出したとき、研究者たちは最初、単に何かのアーティファクトに遭遇しただけなのかと疑問に思いました。さらに詳しく調べたところ、チームは原因を発見しました。
「研究室には蛍光灯の代わりになるT8 LEDがあることがわかりました。これらは実際には80キロヘルツで明滅します」とKutulakos氏は語りました。「私たちはこんなことが起きているとは知りませんでした。」
最近パリで開催された国際コンピュータビジョン会議（ICCV）で、同チームの受動型超広帯域単一光子イメージングに関する論文が、世界中のコンピュータビジョンの専門家が提出した数千の論文の中から2つだけに与えられる名誉ある賞を受賞しました。
この技術の潜在的な応用分野としては、新しいタイプの 3D イメージングやLiDAR システムのほか、科学的イメージング（複数の時間スケールにわたる生物学的イベントの捕捉や、高速電波バーストと一致する短い光パルスの天文学的観測など）などがあります。
1秒あたり数十億のフレーム
人間は光を連続的な経験として捉えています。高速カメラを使用してスローモーション映像を撮影することを想像できます。より高速なカメラがあれば、再生速度を継続的に遅くし続けることもできるかもしれません。
「しかし、ある時点で限界が来ます。」とLindell氏は言います。「光は連続的ではなく、離散的です。そして、私たちが光を捕らえる方法は、一度に一つの光子ずつなのです。」
「当社は長年にわたり単一光子センサーに取り組んできましたが、当社のMATLAB取得パイプラインは今でも機能しています。完全に信頼できます。」
単一光子アバランシェダイオードが市販品として広く入手できるようになったのは、ここ 10 年ほどのことです。Kutulakos氏は、このデバイスは高価なため、コンピューターサイエンスやコンピュータービジョンの研究室でしか利用できないと指摘しました。最近のセンサーの発展により、トロント大学のチームは、他の分野の科学者が何十年も取り組んできた問題について新たな疑問を抱くようになりました。
たとえば、ガンマ線天文学を専門とする天文学者は、個々の粒子を検出してタイムスタンプを付与する検出器を配備しました。しかし、これらの天文学者たちは、物理学が要求していた星の明るさを表す正確な時間変動関数よりも、変光星からの周期的な光に興味を持っていました、とKutulakos氏は説明しました。
トロント計算画像グループの研究室では、ポスドクのSotiris Nousias氏と博士課程の学生Mian Wei氏が初めて SPAD を使用して発光ダイオードからの光子のタイミング情報をキャプチャしました。
「LEDを点滅させて出力ストリームを観察しました」とNousias氏は語りました。「私たちは、そのストリームが実際に点滅と同じパターンを持っていることを観察し、そこに数学的なつながりを見つけようと取り組みました。それがこのプロジェクトのインスピレーションでした。」
ICCV論文の共同筆頭著者であるNousias氏とWei氏は、すべての光子にアクセスできたらどのような情報が得られるのか疑問に思いました。科学者は SPAD を特別な同期方法で操作する傾向があります。代わりに、チームはセンサーを非同期モードで操作しました。そこから研究者たちは、離散的な光子の到着と、時間とともに変化する光の強度を記述する基礎となる連続関数を結び付けようとしました。
「私たちは受動的に光子を収集し、強度の変化が速いか遅いかにかかわらず、環境内のすべての光源からの寄与を再構築しようとしています」とKutulakos氏は語りました。
ある実験設定では、研究チームは異なる光を同時に捉え、それを異なる速度で再生しました。SPAD は白い表面上の単一の点を観測しました。3 メガヘルツのストロボ パルス レーザー、40 メガヘルツのストロボ パルス レーザー、およびラスター スキャン レーザー プロジェクターからの光が拡散板を通過して白色点に当たりました。スマート電球が頭上で光っていました。
彼らは、光子がセンサーに当たった時間を示すタイミング情報ストリームをカメラから取得し、強度情報を抽出しました。チームは、 MATLABを使用してビームを操縦し、画像を取得し、時間内にピクセルの位置合わせを保証し、データ取得側全体を自動化しました。
「当社は長年にわたり単一光子センサーに取り組んできましたが、当社のMATLABの取得パイプラインは今でも機能しています」とLindell氏は語りました。「完全に信頼できます。」
具体的には、プロジェクトでは、 Image Processing Toolbox™、 Computer Vision Toolbox™、 Signal Processing Toolbox™、 Data Acquisition Toolbox™、 Parallel Computing Toolbox™を活用しました。Nousias氏は、いくつかの実験でスキャンミラーを制御するためのカスタムグラフィカルインターフェースも作成したと付け加えました。
現代の SPAD は、研究者がこれまで想像していたよりもはるかに高度な計算画像処理が可能であることが判明しました。
「レーザーパルスが環境内で非同期的に点滅するのを見ることができるとは思ってもいませんでした」とKutulakos氏は語りました。
白い表面上の単一の点に複数の光源を捉える実験セットアップ。(動画著作権: トロント大学)
時間をズーム
研究チームの再構築により、レーザープロジェクターの点滅から 1 秒のサンプルレートまでをほぼ 9 桁まで正確に測定し、3 メガヘルツのレーザーからのナノ秒単位の個々のパルスまで測定することができました。彼らの方法により、視界外にあるレーザーテレビプロジェクターで再生されたビデオを再現することもできました。この場合、ラスター スキャン信号のみから再現された、古典的な白黒のメトロ ゴールドウィン メイヤーの吠えるライオンでした。
別のセットアップでは、白い背景に淡いピンク色の手持ち式電池式ファンが置かれていました。パッシブ超広帯域ビデオ撮影を実証するために、研究者らは回転するファンをレーザーパルスで照らしました。ファンをぼかすアクティブイメージング技術とは異なり、この技術では、ストロボライトとは異なる時間スケールで動くファンブレードをはっきりと固定します。赤い波面が凍ったファンブレードのように見える上を流れていく様子は、ギガヘルツスケール近くでもまだ見ることができます。
「新しい機器を入手したときに、インターフェイスを行うための必要なサポートがなければ、必要なデータを取得するためにさまざまな GUI を活用する必要があります。MATLABによって、データ収集を行うためのすべてのコンポーネント部品を制御する便利な方法が得られました。」
「非常に高速なビデオカメラだと考えてください」とNousias氏は言います。「携帯カメラで写真を撮ります。しかし、私たちの場合は、写真の写真、さらにその写真を撮ります。つまり、時間を拡大しているのです。」
チームは、8 年前にプロジェクトで画像機器を使い始めたときからすでにMATLABに精通していました。「すべてのツールは簡単に統合でき、データに素早くアクセスできます」と Nousias 氏は述べています。「何か問題が発生してデータを再取得する必要がある場合、視覚化が簡単なので時間の節約になります。」
Wei 氏はMATLAB のサポートにも感謝しています。「新しい機器を入手したときに、インターフェースを行うための必要なサポートがなければ、必要なデータを取得するためにさまざまな GUI を活用する必要があります」と彼は言いました。「MATLABによってデータ収集に必要なすべてのコンポーネント部品を簡単に制御できます。」
Lindell氏も同意しました。「私たちが使用している機器は非常に多種多様です。「私たちは既存のライブラリから単一のプログラミングインターフェースを構築しました」と彼は語りました。「MATLABがなかったら、他のプログラミング言語で構築されているさまざまなサードパーティのライブラリや拡張機能に手間取らなければならなかったでしょう。」
パッシブ超広帯域ビデオ撮影では、ストロボライトとは異なる時間スケールで動くファンブレードの動きを止めます。赤い波面が凍ったように見えるファンブレードの上を流れていく中、ブレードはギガヘルツスケール近くまで見え続けます。(動画著作権: トロント大学)
Wei 氏は、技術コンピューティング ソフトウェアにアクセスできない場合、新しいコンポーネントを統合するには数日から数週間かかる可能性があると見積もっています。「部品が意図したとおりに機能するかどうかを二重にチェックすると、さらに時間がかかります」と彼は語りました。
「私たちのセットアップのおかげで、『新しいWindows ®マシンがあるので、これまで実行されていたコードを取得して、それを移植します』と言えるのです」とWei氏は続けました。
ダイナミックイメージングの可能性
国際コンピュータビジョン会議で最優秀論文賞を受賞したことは、トロント計算画像グループの研究者にとって大きな専門的業績となりました。Lindell氏によると、会議主催者は提出された8,068件の論文の中からわずか2件を選んだといます。
「ディープラーニングが話題の中心となっている現代において、基本的な物理現象を理解し、新興技術を使ってこれらの現象を感知する方法を理解するのに役立つ研究が依然として必要であることを思い出させてくれました」と同氏は述べました。
「このカメラを研究室や屋外に向けると、予想していなかった結果が得られると思います。何を見つけるか楽しみです。それは世界を捉える新しい方法となるでしょう。」
研究者たちは、この画期的な発見が新たな進歩につながることを期待しています。探究の余地が十分にある分野の 1 つがフラッシュ ライダーです。これは、走査パルス レーザーではなく拡散パルス レーザーから高解像度の深度画像を生成する技術です。通常、これにはシーンに光を送り、その光が戻ってくるまでの時間を測定し、このタイミング情報を使用して距離を測定することが含まれます。
「注意点の 1 つは、このメカニズムを機能させるには、光源をシステムと同期させる必要があることです」と Wei 氏は説明します。「私たちは非同期で信号を測定できることを考えると、非同期光源を使用してフラッシュライダーを行うことができるかどうかを理解することに興味があります。」
生物学では、タンパク質の折り畳みや結合などのイベントは、ナノ秒からミリ秒までの時間スケールにわたって発生する可能性があります。Lindell氏は、研究チームは大学の生物学の専門家らと画像化技術について話し合ってきたと語りました。
「これらの出来事がこのような時間スケールで起こっているという事実は私たちにとって興味深いものであり、これまで人々ができなかった方法でそれらを観察できる可能性は魅力的です」と彼は語りました。
計算による再フォーカスは他の科学分野にも応用できる可能性があります。20年前に電波望遠鏡がこの現象を初めて検出して以来ずっと天体物理学者は、高速電波バーストの原因を理解したいと考えてきました。これらの神秘的なエネルギー爆発は空を横切って発生し、数ミリ秒しか続きませんが、それぞれが信じられないほど強力です。計算による再フォーカスにより、光学領域での FRB の検出が可能になります。
「いつ起こるかは分かりません」とNousias氏は語りました。「空を監視し、ナノ秒単位のデータに戻って観測する必要があります。今、私たちにはそれを実現するためのツールがあります。」
Kutulakos 氏は、彼らの SPAD 手法が、標準的な検査では見逃される工学機械部品の問題や欠陥の検出に役立つと期待しています。エンジンにトラブルが発生すると、振動が問題を示している可能性がありますが、詳細な情報がなければ正確な原因がわからない場合があります。エンジンにカメラを向けてすべてのデータを収集すれば、干し草の山から針を見つけることもできるだろう、と彼は語りました。
同研究グループは、カメラの機能を拡張するために他のマイクロエレクトロニクス研究者とも協力しています。単一ピクセルのカメラを使用すると、チームは回転するファンブレードなどの反復動作のビデオを作成できますが、本当に動的なイベントには 2D センサーが必要です。
今後、チームは技術の向上に取り組む予定です。Lindell氏は、信号の再構築には依然としてかなりの時間がかかり、計算効率も悪いと指摘しました。そこで彼らは、あらゆる時間スケールの出来事をリアルタイムで捉えることに取り組んでいます。
「このカメラを研究室や屋外に向けると、予想していなかった結果が得られると思います」とLindell氏は語りました。「何が見つかるか楽しみです。それは世界を捉える新しい方法となるでしょう。」
