2022-10-07 ペンシルベニア州立大学(PennState)
スマホのイヤホンは発話によって振動し、その振動がスマホ本体に浸透していきます。
レーダーを使ってこの振動を感知し、反対側の人が何を言ったかを再構築します。
レーダーセンサーのデータは、この研究で使用されるコンピューティングプラットフォーム言語インターフェースであるMATLABとPythonモジュールを介して前処理され、データからハードウェア関連やアーティファクトノイズを除去していく。その後、音声の分類や音声の再構成を行うための訓練を受けた機械学習モジュールにデータを供給する。レーダーが1フィート離れたところから振動を感知した場合、処理された音声の精度は83%。しかし、携帯電話からレーダーが離れるほど精度は下がり、6フィートの距離では43%まで落ちる。
研究チームは、音声を再構築した後、必要に応じてキーワードをフィルタリングしたり、強調したり、分類したりすることができる。
研究チームは、このセキュリティ脆弱性から身を守る方法だけでなく、脆弱性を悪用する方法についても理解を深めるため、今後もアプローチを改良していく予定である。
＜関連情報＞
- https://www.psu.edu/news/engineering/story/sensors-can-tap-mobile-vibrations-eavesdrop-remotely-researchers-find/
- https://www.computer.org/csdl/proceedings-article/sp/2022/131600a995/1FlQPzg7p60
mmSpy：ミリ波レーダーによる電話の盗聴について。 mmSpy: Spying Phone Calls using mmWave Radars
Suryoday Basak,Mahanth Gowda
Proceedings of the 2022 Institute of Electrical and Electronics Engineers Symposium on Security and Privacy Year: 2022
DOI Bookmark: 10.1109/SP46214.2022.9833568
Abstract
This paper presents a system mmSpy that shows the feasibility of eavesdropping phone calls remotely. Towards this end, mmSpy performs sensing of earpiece vibrations using an off-the-shelf radar device that operates in the mmWave spectrum (77GHz, and 60GHz). Given that mmWave radars are becoming popular in a number of autonomous driving, remote sensing, and other IoT applications, we believe this is a critical privacy concern. In contrast to prior works that show the feasibility of detecting loudspeaker vibrations with larger amplitudes, mmSpy exploits smaller wavelengths of mmWave radar signals to detect subtle vibrations in the earpiece devices used in phonecalls. Towards designing this attack, mmSpy solves a number of challenges related to non-availability of large scale radar datasets, systematic correction of various sources of noises, as well as domain adaptation problems in harvesting training data. Extensive measurement-based validation achieves an endto-end accuracy of 83-44% in classifying digits and keywords over a range of 1-6ft, thereby compromising the privacy in applications such as exchange of credit card information. In addition, mmSpy shows the feasibility of reconstruction of the audio signals from the radar data, using which more sensitive information can be potentially leaked.
