機械学習には憂慮すべき脅威があります：検出できないバックドア

シグニチャベースのMLバックドアは、「ブラックボックスを検出できません」。 つまり、入力と出力にしかアクセスできない場合、安全なMLモデルとバックドアのMLモデルの違いを区別することはできません。 しかし、機械学習エンジニアがモデルのアーキテクチャを詳しく調べると、デジタル署名メカニズムを含めるためにモデルが改ざんされていることがわかります。

彼らの論文では、研究者たちはホワイトボックスで検出できないバックドア技術も紹介しています。 「返された分類器の重みとアーキテクチャの完全な説明があったとしても、モデルにバックドアがあるかどうかを効率的に区別することはできません」と研究者は書いています。

ホワイトボックスバックドアは、オンラインリポジトリで公開されているオープンソースの事前トレーニング済みMLモデルにも適用されるため、特に危険です。

「私たちのバックドア構造はすべて非常に効率的です」とZamir氏は述べています。 「他の多くの機械学習パラダイムでも、同様の効率的な構築が可能であると強く考えています。」

研究者たちは、機械学習モデルの変更に対して堅牢にすることで、検出できないバックドアをさらに一歩進めました。 多くの場合、ユーザーは事前にトレーニングされたモデルを取得し、次のような微調整を行います。 追加データでそれらを微調整する。 研究者たちは、十分にバックドア化されたMLモデルがそのような変更に対して堅牢であることを証明しています。

「この結果と以前のすべての同様の結果との主な違いは、初めて 証明 バックドアを検出できない」とザミール氏は語った。 「これは、これが単なるヒューリスティックではなく、数学的に適切な懸念事項であることを意味します。」

事前にトレーニングされたモデルとオンラインでホストされるサービスに依存することが機械学習アプリケーションで一般的になりつつあるため、このペーパーの調査結果は特に重要です。 大規模なニューラルネットワークのトレーニングには、多くの組織にはない専門知識と大規模なコンピューティングリソースが必要です。これにより、事前にトレーニングされたモデルが魅力的でアクセスしやすい代替手段になります。 事前に訓練されたモデルの使用も促進されています。 大型機械学習モデルのトレーニングのカーボンフットプリント。

機械学習のセキュリティ慣行は、さまざまな業界でのその使用の大幅な拡大にまだ追いついていない。 私が以前に議論したように、私たちのツールと実践は準備ができていません 新種の深層学習の脆弱性。 セキュリティソリューションは主に、プログラムがコンピュータに与える指示、またはプログラムとユーザーの動作パターンの欠陥を見つけるように設計されています。 しかし、機械学習の脆弱性は通常、それらを実行するソースコードではなく、数百万から数十億のパラメーターに隠されています。 これにより、悪意のある攻撃者がバックドアの深層学習モデルをトレーニングし、セキュリティアラームをトリガーすることなく、事前にトレーニングされたモデルのいくつかの公開リポジトリの1つに公開することが容易になります。

この分野での注目すべき取り組みは 敵対的なML脅威マトリックス、機械学習パイプラインを保護するためのフレームワーク。 Adversarial ML Threat Matrixは、デジタルインフラストラクチャの攻撃に使用される既知の文書化された戦術と手法を、機械学習システムに固有の方法と組み合わせたものです。 これは、MLモデルのトレーニング、テスト、および提供に使用されるインフラストラクチャ、プロセス、およびツール全体の弱点を特定するのに役立ちます。

同時に、MicrosoftやIBMなどの組織は、機械学習のセキュリティと堅牢性の問題に対処するのに役立つオープンソースツールを開発しています。

Zamirと彼の同僚の仕事は、機械学習が日常生活でより顕著になるにつれて、新しいセキュリティの問題をまだ発見して対処していないことを示しています。 「私たちの仕事からの主なポイントは、トレーニング手順をアウトソーシングし、受信したネットワークをそのまま使用するという単純なパラダイムは決して安全ではないということです」とZamir氏は述べています。

この記事はもともとベンディクソンによって公開されました TechTalks、テクノロジーのトレンド、それが私たちの生活やビジネスのやり方にどのように影響するか、そしてそれらが解決する問題を調査する出版物。 しかし、テクノロジーの邪悪な側面、新しいテクノロジーのより暗い意味、そして私たちが注意する必要があることについても説明します。 元の記事を読むことができます ここ。