科学者たちは、AIは脳スキャンからあなたの政治を知ることができると言います—私たちはそれがBSだと言います

伝えられるところによると、彼らが「最先端の人工知能技術」と呼ぶものを使用している研究者のチームは、彼らの脳スキャンを見ることによって人間の政治的イデオロギーを識別することができるシステムを作成しました。

わお！ これは、既知の宇宙全体で最も先進的なAIシステムであるか、完全に偽物です。

当然のことながら、それは偽物です。興奮する理由はほとんどありません。 あなたは彼らの仕事を暴くために研究者の論文を読む必要さえありません。 必要なのは「政治の変化」というフレーズだけで、これで完了です。

しかし、楽しみのために、実際に始めましょう 紙 予測モデルがどのように機能するかを説明します。

実験

オハイオ州立大学、ピッツバーグ大学、ニューヨーク大学の研究者チームは、174人の米国の大学生（中央値21歳）を集め、その大多数はリベラルであると自己認識しました。テストのバッテリー。

研究論文によると：

各参加者は、8つのタスクと12チャンネルのヘッ​​ドコイルを使用した安静時スキャンで構成される1.5時間の機能的MRI記録を受けました。

本質的に、研究者たちはたくさんの若者をつかみ、彼らに彼らの政治を尋ね、そして次にコインを投げて人の政治を「予測」する機械を設計しました。 ただ、実際にコインを投げる代わりに、アルゴリズムを使用して脳波データを解析し、本質的に同じことを実行します。

問題

AIは「リベラル」または「保守的」のいずれかを予測する必要があり、このようなシステムでは、「どちらでもない」という選択肢はありません。

つまり、すぐに、AIは政治を予測または特定していません。 列Aのデータまたは列Bのデータのどちらかを選択する必要があります。

オハイオ州立大学のAIセンターに忍び込み、すべてのデータをスクランブルするとします。 私はすべての脳波をリックとモーティのミームに置き換えてから、人間がそれを見ることができないようにトラックを非表示にします。

私が変更しない限り ラベル データでは、AIは まだ 実験対象が保守的であるかリベラルであるかを予測します。

あなたは、マシンが与えられたデータに関係なくグラウンドトゥルースに到達できる魔法のデータパワーを持っていると信じるか、帽子にどんな種類のウサギを入れても幻想が同じままであることを認識します。

その70％の精度の数値は正しくありません

人間の政治を推測するのに70％正確な機械は、それらを決定するのに常に0％正確です。 これは、人間の政治的イデオロギーがグラウンドトゥルースとして存在しないためです。 保守的な脳や寛大な脳はありません。 多くの人はどちらでもないか、両方の融合です。 さらに、リベラルであると特定する多くの人々は、実際には保守的な見方や考え方を持っており、その逆も同様です。

したがって、私たちが遭遇する最初の問題は、研究者が「保守主義」または「自由主義」を定義していないということです。 彼らは彼らが勉強している科目が彼ら自身のためにそれを定義することを可能にします—学生が21歳の中央値を持っていることを覚えておきましょう。

つまり、最終的には、データとラベルが相互に尊重されないということです。 研究者たちは最終的に、特定のデータセットに2つのラベルのどちらを配置したかを常に50/50の確率で推測できるマシンを構築しました。

マシンが脳波の保守性の兆候、顔の表情の同性愛の兆候を探すかどうか、または誰かがそうする可能性があるかどうかは関係ありません 肌の色に基づいて犯罪を犯す、これらのシステムはすべてまったく同じように機能します。

彼らはブルートフォース推論をしなければならないので、そうします。 彼らは規定のラベルからしか選択できないので、そうします。 また、研究者はブラックボックスシステムであるため、すべてがどのように機能するのかわかりません。したがって、AIが特定の推論を行う理由を正確に特定することは不可能です。

精度とは何ですか？

これらの実験は、人間を機械に正確に対抗させるものではありません。 彼らは実際には2つのベンチマークを確立し、それらを統合するだけです。

科学者は、複数の人間に1回または2回の予測タスクを与えます（コントロールによって異なります）。 次に、AIに数百回、数千回、または数百万回の予測タスクを与えます。

科学者たちは、マシンがどのように予測に到達するかを知らないため、グラウンドトゥルースパラメータを打ち込んで1日と呼ぶことはできません。

彼らはしないといけない 訓練 AI。 これには、まったく同じタスク（たとえば、数百の脳スキャンからのデータの解析）を与え、まったく同じアルゴリズムを繰り返し実行させることが含まれます。

マシンが最初の試行で不可解に100％になるとしたら、彼らはそれを1日と呼び、完璧だと言います。 理由はわかりませんが、覚えておいてください。これはすべてブラックボックスで行われます。

また、多くの場合、重要なしきい値を満たせない場合は、アルゴリズムが改善されるまでアルゴリズムのパラメーターを微調整し続けます。 これは、科学者がダイヤルを見ずに静的に無線信号を調整することを想像することで視覚化できます。

BSイン、BSアウト

ここで、この特定のマシンが10回のうち約7回しか正しく処理しないという事実について考えてみてください。 それがチームができる最善のことです。 彼らはそれ以上にそれを微調整することができませんでした。

データセットに含まれる人は200人未満であり、データがまったくなくても、すでに50/50の確率で正しく推測できます。

したがって、このすべての派手な脳波データを供給すると、基本チャンスよりも精度がわずか20％向上します。 そしてそれは、3つの有名な大学の研究者チームが「最先端の人工知能技術」と呼ばれるものを作成するために彼らの努力を組み合わせた後にのみ起こります。

比較すると、200個の一意のラベルなしシンボルのデータセットを人間に与えた場合、各シンボルには1または0のいずれかの非表示のラベルが付いているため、平均的な人は、単一のパラメーターのみを指定した比較的少数の反復後にデータセットを記憶できる可能性があります。彼らがフィードバックとして正しく推測したかどうかの。

あなたが知っている最大のスポーツファンについて考えてみてください。スポーツの歴史の中で、チーム名とジャージ番号だけで何人の選手を覚えているでしょうか。

十分な時間があれば、人間は200のデータベースにバイナリを記憶することで100％の精度を達成できます。

しかし、AIと人間は、新しいデータセットを提供した場合、まったく同じ問題に悩まされることになります。つまり、最初からやり直す必要があります。 脳波とラベルのまったく新しいデータセットを考えると、AIがそれ以上の調整なしに同じレベルの精度を満たすことができないことはほぼ確実です。

この特定の予測モデルのベンチマークは、タロットカードリーダーの精度を測定するのとまったく同じように役立ちます。

良い研究、悪いフレーミング

それは、この研究にメリットがないということではありません。 私は、人工知能システムに固有の欠陥を明らかにすることに専念している研究チームについてはたわごとを話しません。 問題を発見したセキュリティ研究者に腹を立てることはありません。

残念ながら、それはこの研究が組み立てられている方法ではありません。

論文によると：

因果関係の方向は不明なままですが、人々の脳は選択した政治的方向性を反映しているのでしょうか、それとも機能的な脳構造のために政治的方向性を選択しているのでしょうか。ここでの証拠は、政治的行動の生物学的および神経学的ルーツに対するさらなる精査と追跡分析の動機となります。

私の意見では、これは境界線のいんちきです。 ここでの意味は、同性愛や自閉症のように、人は自分の政治的イデオロギーを選ぶことができないかもしれないということです。 あるいは、私たちの脳の化学的性質は、事前定義された一連の政治的視点に同意するという単純な行為によって、そして21歳の若さまでに再構成できることを示唆しているようです。

この実験は、人間のごくわずかなプールからのごくわずかなデータに依存しています。これらの人間は、私たちが知る限り、人口統計学的に類似しています。 さらに、その結​​果は、科学的方法のいかなる意味でも検証することはできません。 マシンがその予測を行った理由や方法はわかりません。

これらの予測モデルに関しては、悪用の限界をテストするために、このような調査が必要です。 しかし、この研究のふりをすると、「ホットドッグではありません」 アプリは危険です。

これは科学ではなく、データによる手先の早業です。 そして、人間の脳の理解における潜在的な突破口としてそれをフレーミングすることは、害を及ぼすためにまったく同じテクノロジーに依存するすべてのAI詐欺（予測ポリシングなど）に水を運ぶのに役立つだけです。