AIには危険なバイアスの問題があります—これを管理する方法は次のとおりです

ドメインの専門家は、機械学習の説明者を使用してモデルの予測を評価することもできますが、最初にシステムの適切性を評価することが不可欠です。

「ドメインの専門家と言うとき、私は必ずしも技術データサイエンティストを意味するわけではありません」とSaucedoは言います。 「彼らは、業界の専門家、政策の専門家、または取り組んでいる課題に専門知識を持つ他の個人である可能性があります。」

説明責任

人間の介入のレベルは、リスクに比例する必要があります。 たとえば、曲を推奨するアルゴリズムは、保釈条件を指示するアルゴリズムほど多くの監視を必要としません。

多くの場合、高度なシステムはリスクを高めるだけです。 たとえば、深層学習モデルは、解決するよりも多くの問題を引き起こす複雑さの層を追加する可能性があります。

「導入しているツールの曖昧さを理解できないが、リスクには大きなリスクがあることは理解している場合、それは取るべきではないリスクであることを示しています」とSaucedo氏は言います。

AIシステムのオペレーターは、導入するモデルに関する組織的なプロセスも正当化する必要があります。

これには、データの調達から最終的な出力まで、決定につながる一連のイベント全体の評価が必要です。

説明責任のフレームワークが必要です

「各ステップで説明責任を確保する必要があります」とSaucedo氏は言います。 「説明可能性の段階だけでなく、問題が発生したときに何が起こるかについても、ベストプラクティスがあることを確認することが重要です。」

これには、結果への経路、ドメインの専門家が関与したデータ、およびサインオフプロセスに関する情報を分析する手段の提供が含まれます。

「堅牢なインフラストラクチャと、ライフサイクルのすべての段階に伴うリスクに関連するドメインの専門家が関与する堅牢なプロセスによる説明責任のフレームワークが必要です。」

安全

AIシステムに問題が発生すると、AIシステムを導入した企業もその結果に苦しむ可能性があります。

これは、悪意のある攻撃者が盗んだり操作したりする可能性のある機密データを使用する場合に特に損害を与える可能性があります。

「アーティファクトが悪用されると、悪意のあるコードが注入される可能性があります」とSaucedo氏は言います。 「つまり、本番環境で実行しているときに、シークレットを抽出したり、環境変数を共有したりできるということです。」

ソフトウェアサプライチェーンはさらに危険を追加します。

TensorFlowやPyTorchなどの一般的なデータサイエンスツールを使用する組織は、追加の依存関係を導入し、リスクを高める可能性があります。

アップグレードにより機械学習システムが機能しなくなる可能性があり、攻撃者はサプライチェーンレベルでマルウェアを注入する可能性があります。

その結果、既存のバイアスが悪化し、壊滅的な障害が発生する可能性があります。

Saucedoは、リスクを軽減するために、ベストプラクティスと人間の介入を適用することを再度推奨しています。

AIシステムは人間よりも良い結果を約束するかもしれませんが、彼らの監視がなければ、結果は悲惨なものになる可能性があります。

Seldonのエンジニアリングディレクターであり、Institute for Ethical AI＆MachineLearningのチーフサイエンティストであるAlejandroSaucedoが、6月16日のTNW会議で講演していることをご存知ですか？ スピーカーの完全なリストをチェックしてください ここ。