マルウェアがAIを使用できることがIBMが証明しました
ジャスティンですよ。
人類の新しい戦争の場所はIT世界になってくるのでしょう。ウィルスがだんだん武器らしくなってきて、だいぶん危険になってきているみたいです：
https://securityintelligence.com/deeplocker-how-ai-can-power-a-stealthy-new-breed-of-malware/
[日本語]
マルウェアがAIを使用できることがIBMが証明しました
AIの時代に入っているようなので、科学のすべての分野にAIの開発や発見が出てきているようです。 AIの利用がますます多様化されてるので、この新しいパワーが武器化されるのは時間の問題でした。 IBMは今月、世界最大の情報セキュリティイベントの「Black Hat USA 2018」で、DeepLockerと呼ばれるコンセプトのマルウェアを発表しました。 AIで強化された強力なターゲット設定と回避攻撃があるマルウェアです。
DeepLockerはアンチウィルスやマルウェア対策ソフトのレーダーの下を飛ぶために、ビデオ会議系のソフトや通常のアプリケーションに隠れます。 DeepLockerは目的のターゲットを見つけるまでは起動はしません。 攻撃のトリガーは、音声、画像、場所や、システムの状態とか、複数の属性の組み合わせを利用できます。 トリガーはニューラルネットワークの性質を使用しているので、複雑なコードの中に隠れることができます。
ニューラルネットワークは基本的にブラックボックスであることを理解して頂くためには構造の説明が必要だと思います。 ニューラルネットワークを開発するときは、アルゴリズムを構築するボットと、そのアルゴリズムをテストするボットがあります。 画像認識の場合、プログラマーはアルゴリズムが認識できるようにしたい画像を複数を持っています、すなわち基本的には最終目標を持っています。 しかし、開発者は画像間で認識できるアルゴリズムを作成する方法を正確に把握していないので、アルゴリズムを作成するのは構築ボットに任されています。
まずは構築ボットは、アルゴリズムをほぼランダムに作成し、それらをテスターボットに送ります。 テスターボットは、そのアルゴリズムをテストして、これらの画像をどれだけうまく認識できるかをテストします。 アルゴリズムはほぼ無作為に行われているので、1％または3％の認識のような非常に低いレベルの精度になっています。 テスターボットは、テストで一番高い結果を出したアルゴリズムを構築ボットに戻して、このアルゴリズムに似てるアルゴリズムを作ることになります。 構築ボットはもう一セットをつくり、テスターボットに送ります。 テストで精度は上がってるはずですが、だいたいランダムに作られてるために、4％から6％などの精度に上昇します。 このれでまた一番いいアルゴリズムを取って構築ボットに戻して、この繰り返しになります。
このサイクルが続くにつれて、ビルダーボットから生成されるアルゴリズムはますます複雑になっていますが、ビルダーマシンは基本的にランダムにコードを生成しています。 これは実際に人間のプログラマが手作業で作ったものであれば数年かかってしまうかもしれませんが、ニューラルネットワークではコンピュータ処理のスピードで作成できます。 しかし、開発者がこの最終ソースコードを見ようとすると、何が起きているのかを理解できることは不可能です。 多数のノード接続と組み合わせの試行が非常に多く繰り返されているので、ネットワークは信じられないほど畳み込まれているのです。
このニューラルネットワークの性質のおかげでDeepLockerのトリガー機能や条件を隠すのに最適です。 トリガーは人の顔や、特定の音声コマンド、システムの条件、またいろんな組み合わせになれますので、ニューラルネットワークのアルゴリズムは人間に理解は不可能でしょう。 トリガ条件の上に、攻撃の実行方法とペイロードの内容を隠すことができます。
IBMはそれを3つのレベルの隠蔽と説明しました:
1）ターゲットクラスの隠蔽
2）ターゲットインスタンスの隠蔽
3）攻撃の隠蔽
DeepLockerの概念証明は、有名なWannaCryのマルウェアをDeepLockerでビデオ会議ソフトに隠しました。 これでアンチウイルスやサンドボックスから検出できなくなります。 発表の例では、特定の人物の顔をトリガとして、人物の顔を認識するようAIを訓練しました。 ビデオ会議ソフトが起動されると、ソフトウェアは多数のスナップショットを取って埋め込みAIに送信します。 対象者がカメラに登場すると、AIはWannaCryをリリースし、コンピュータ全体を暗号化して使用不可能にします。
このようなマルウェアは、ビデオ会議ソフトウェアの定期的なアップデートによって、おそらく数百万人に送信される可能性があります。 さらに、対象を見つけるために任意の数のAIシステムをソフトウェアにプラグインすることができ、ペイロードとしてさまざまな種類のマルウェアを使用することもできます。 Stuxnetウィルスで観察されたことを考慮すると、離れた場所でマルウェアを開始し、何百のクローズドイントラネットを通過して、相手側の意図したターゲットに上陸することができますし、ウィルスの元を見つかることが不可能になります。
[English]
IBM has unveiled how AI can power Malware with their DeepLocker
We seem to be entering into an AI era where in all fields of sciences have seen its application in one form or another. As we see more and more diverse applications of AI, it was only a matter of time that we would see this new power weaponized. Earlier this month at Black Hat USA 2018, the largest information security event in the world, IBM presented their proof of concept malware called DeepLocker; a malware of powerful targeting and evasive attacks powered by AI.
DeepLocker starts by hiding itself in regular applications such as video conference software in order to fly under the radar of antivirus and anti-malware software. DeepLocker will only attack once it has reached it’s intend target. The trigger for the attack can utilize any number of combination of attributes such as audio, image, geolocation and system features. The complexity of the trigger is leveraged by the nature of deep neural networks.
A brief overview of neural networks can help explain why it is essentially a black box. When developing neural networks, there are basically two machines, a machine that builds algorithms and a machine that tests those algorithms. In the case of image recognition, the developer has a collection of images that it wants the algorithm to be able to recognize, basically they have the end goal. But because the developer does not know exactly how to make an algorithm that can recognize between images, it is up to the builder machine to make algorithms.
At first the builder machine makes these algorithms nearly at random, and sends them off to the tester machine. The tester machine will test these algorithms on how well they are able to recognize these images. Since the algorithms are made nearly at random, we should expect it to have very low level of accuracy such as 1% or 3% recognition. The tester machine sends only the best performing algorithm back to the builder machine to tell it to make more algorithms like these ones. So the builder algorithm will make another set which gets sent to the tester machine for another round of testing. Now the level of accuracy will have risen from before with perhaps 4% to 6% accuracy. The best performing of these algorithms will be sent back to the builder machine for building more batches and so on.
As this cycle continues, the algorithms being produced form the builder machine is becoming more and more complex but the builder machine is only producing code at basically random but including traits of the code that was success in previous tests. This is really a high speed trial-and-error method of making code, which if it was hand made by a human programmer, it could take years or if not decades but with the neural network it speeds this process to the limits of computer processing speed. But if a developer tries to look at the source code of this end product, they will not be able to under stand what is going on. That is because with so many iterations of trials of numerous node connections and combinations, the network has become incredibly convoluted; hence the name convoluted neural networks.
The nature of these neural networks make it perfect for concealing the trigger mechanism or conditions for DeepLocker. When the trigger could be a person’s face, a specific voice command, a certain condition that the system needs to be in or any combination of any potentially infinite possibilities is going to make the neural network algorithm nearly impossible to read. On top of the trigger conditions, it can hide how the attack is execute as well as what the payload is.
IBM has described it as three levels of concealment:
1) Target class concealment
2) Target Instance concealment
3) Malicious intent concealment
DeepLocker’s proof of concept at Black Hat concealed the infamous WannaCry ransomware in a video conference software. This made it undetectable from antivirus software and sandboxes. For their example, they used a specific person’s face as the trigger and trained their AI to recognize the face. When the video conference software is launched, the software can take numerous snapshots to send to the embedded AI. When the target person appears in the camera, the AI releases WannaCry, encrypting the whole computer, rendering it unusable.
The implications of this is that such a malware could be sent out to millions of people perhaps through a regular period update of a video conference software. In addition, any number of AI systems could be plugged into the software to find their target as well as different types of malware could be used as the payload. Considering what we observed with the Stuxnet worm, it is very well possible that malware could be started off in a remote location and make its way through hundreds of closed intranets before landing on its intended target on the other side of the world, making it impossible to track its original location.