ブログ

Oct 20, 2023

AI モデルによるルール違反の誤審: 人間対機械の決定

Riepilogo: I ricercatori hanno scoperto che i modelli di intelligenza artificiale spesso non riescono a replicare accuratamente gli esseri umani.

まとめ：研究者らは、AIモデルはルール違反に関する人間の判断を正確に再現できないことが多く、より厳しい判断を下す傾向があることを発見した。 これは、これらのモデルがトレーニングされるデータの種類に起因すると考えられます。 多くの場合、規範的ではなく説明的なラベルが付けられるため、ルール違反の解釈が異なります。

この矛盾は、より厳しい司法判決など、現実世界に深刻な影響をもたらす可能性があります。 したがって、研究者らは、より正確なモデルを得るために、データセットの透明性を向上させ、トレーニング コンテキストを展開コンテキストに一致させることを提案しています。

重要な事実:

ソース：と

公平性を向上させたり、バックログを削減したりするため、機械学習モデルは、ソーシャル メディアの投稿が有害なコンテンツ ポリシーに違反しているかどうかを判断するなど、人間の意思決定を模倣するように設計されることがあります。

しかし、MIT などの研究者らは、これらのモデルはルール違反に関する人間の判断を再現していないことが多いことを発見しました。 モデルが適切なデータでトレーニングされていない場合、モデルは人間とは異なる、多くの場合より厳しい判断を下す可能性があります。

この場合、「正しい」データとは、アイテムが特定のルールに反しているかどうかを明示的に尋ねられた人間によってラベル付けされたデータです。 トレーニングでは、機械学習モデルがタスクを学習できるように、この「規範データ」の何百万もの例を機械学習モデルに提示する必要があります。

しかし、機械学習モデルのトレーニングに使用されるデータは通常、説明的なラベルが付けられています。つまり、人間は、たとえば写真に揚げ物の存在があるかどうかなど、事実の特徴を識別するように求められます。

食事が揚げ物を禁止する学校の方針に違反しているかどうかなど、ルール違反を判断するモデルをトレーニングするために「記述データ」を使用すると、モデルはルール違反を過剰に予測する傾向があります。

この精度の低下は、現実の世界に深刻な影響を与える可能性があります。 たとえば、ある個人が再犯する可能性があるかどうかを判断するために記述モデルが使用された場合、研究者の調査結果は、人間が行うよりも厳格な判断を下す可能性があり、その結果、保釈金の高額化や刑事刑の長期化につながる可能性があることを示唆している。

「ほとんどの人工知能/機械学習研究者は、データやラベルに対する人間の判断には偏りがあると想定していると思いますが、この結果はさらに悪いことを示しています。

「これらのモデルは、訓練されているデータに欠陥があるため、すでに偏った人間の判断を再現することさえできません。人間は、画像やテキストの特徴が判断に使用されるとわかっていれば、それらの特徴に異なるラベルを付けるでしょう。」

「これは、人間のプロセスにおける機械学習システムに多大な影響を及ぼします」と、コンピュータ サイエンスおよび人工知能研究所 (CSAIL) の助教授でヘルシー ML グループの責任者を務める Marzyeh Ghassemi 氏は述べています。

ガーセミ氏は、これらの発見を詳述した新しい論文の上級著者であり、本日、Science Advances に掲載されました。 この論文には、電気工学およびコンピュータサイエンスの大学院生で筆頭著者のアパルナ・バラゴパラン氏も加わっている。 デビッド・マドラス、トロント大学の大学院生。 David H. Yang 氏は元大学院生で、現在は ML Estimation の共同創設者です。 ディラン・ハドフィールド＝メネル、MIT助教授。 ジリアン・K・ハドフィールド氏、シュワルツ・ライスマン技術社会学部長、トロント大学法学部教授。

ラベルの不一致

この研究は、機械学習モデルがその予測をどのように正当化できるかを調査する別のプロジェクトから生まれました。 その研究のためのデータを収集した際、研究者らは、同じデータについて説明的または規範的なラベルを提供するよう求められた場合、人間は異なる答えを返す場合があることに気づきました。

説明的なラベルを収集するために、研究者はラベル作成者に事実の特徴を特定するよう依頼します。このテキストにはわいせつな言葉が含まれていますか? 規範的なラベルを収集するために、研究者はラベル作成者にルールを与え、データがそのルールに違反しているかどうか、つまりこのテキストはプラットフォームの明示的言語ポリシーに違反しているかどうかを尋ねます。

この発見に驚いた研究者たちは、さらに詳しく調べるためにユーザー調査を開始しました。 彼らは、攻撃的な品種に対するアパートの規則に違反する可能性のある犬の画像のデータセットなど、さまざまなポリシーを模倣するために 4 つのデータセットを収集しました。 次に、参加者のグループに説明的または規範的なラベルを付けるよう依頼しました。

それぞれの場合において、記述ラベラーは、犬が攻撃的に見えるかどうかなど、3 つの事実上の特徴が画像またはテキストに存在するかどうかを示すよう求められました。 その後、彼らの回答は判断を下すために使用されました。 (写真に攻撃的な犬が含まれているとユーザーが発言した場合、ポリシーに違反したことになります。)

ラベラーはペットに関するポリシーを知りませんでした。 一方、規範的ラベラーには、攻撃的な犬を禁止するポリシーが与えられ、それぞれの画像がそのポリシーに違反したかどうか、またその理由を尋ねられました。

研究者らは、人間は記述的な環境においてオブジェクトを違反としてラベル付けする可能性が大幅に高いことを発見しました。

彼らが平均ラベルの絶対差を使用して計算した差異は、服装規定違反を判断するために使用される画像データセットの 8 パーセントから、犬の画像の 20 パーセントまでの範囲でした。

「なぜこのようなことが起こるのかを明確に検証したわけではありませんが、仮説の 1 つは、ルール違反に対する人々の考え方と記述データに対する考え方が異なるのではないかということです。一般に、規範的な決定はより寛大です」とバラゴパラン氏は言います。

しかし、データは通常、特定の機械学習タスク用のモデルをトレーニングするために、説明的なラベルを付けて収集されます。 これらのデータは、ルール違反などの規範的な判断を実行するさまざまなモデルをトレーニングするために後で再利用されることがよくあります。

トレーニングのトラブル

記述データの再利用による潜在的な影響を研究するために、研究者らは 4 つのデータ設定の 1 つを使用してルール違反を判断する 2 つのモデルをトレーニングしました。 彼らは、記述的なデータを使用して 1 つのモデルをトレーニングし、規範的なデータを使用してもう 1 つのモデルをトレーニングし、パフォーマンスを比較しました。

彼らは、記述的なデータを使用してモデルをトレーニングすると、規範的なデータを使用して同じ判断を実行するようにトレーニングされたモデルよりもパフォーマンスが低下することを発見しました。 具体的には、記述モデルは、ルール違反を誤って予測することにより、入力を誤って分類する可能性が高くなります。

そして、人間のラベル作成者が同意しないオブジェクトを分類する場合、記述モデルの精度はさらに低くなりました。

「これは、データが本当に重要であることを示しています。ルール違反を検出するためにモデルをトレーニングする場合は、トレーニング コンテキストをデプロイメント コンテキストに一致させることが重要です」と Balagopalan 氏は言います。

データがどのように収集されたかをユーザーが判断するのは非常に難しい場合があります。 この情報は研究論文の付録に埋もれたり、民間企業によって公開されなかったりする可能性がある、とガセミ氏は言う。

データセットの透明性を向上させることは、この問題を軽減する方法の 1 つです。 研究者がデータがどのように収集されたかを知っていれば、それらのデータをどのように使用すべきかがわかります。

もう 1 つの可能な戦略は、少量の標準データに基づいて記述的にトレーニングされたモデルを微調整することです。 転移学習として知られるこのアイデアは、研究者が将来の研究で探究したいと考えているものです。

また、医師や弁護士などの専門ラベル作成者と同様の調査を実施し、同様のラベルの不一致につながるかどうかを確認したいと考えています。

「これを修正する方法は、人間の判断を再現したい場合は、その環境で収集されたデータのみを使用する必要があることを透過的に認めることです。

「そうしないと、人間が行うよりもはるかに厳しい、非常に厳しい調整が行われるシステムが完成することになります。人間はニュアンスを認識したり、別の区別をしたりするでしょうが、これらのモデルはそうではありません」とガセミ氏は言う。

資金提供:この研究は、シュワルツ ライスマン技術社会研究所、Microsoft Research、Vector Institute、カナダ研究評議会チェーンから一部資金提供を受けました。

著者：アダム・ゼヴェソース：と接触：アダム・ゼヴェ-MIT画像：画像は Neuroscience News にクレジットされています

独自の研究:オープンアクセス。「事実の判断、規範の判断: 人間を判断するための機械学習モデルのトレーニングには、データのラベル付けに対する修正されたアプローチが必要です」Marzyeh Ghassemi et al. 科学の進歩

抽象的な

事実の判断、規範の判断: 人間を判断する機械学習モデルをトレーニングするには、データのラベル付けに修正されたアプローチが必要です

政府や業界が自動化された意思決定システムの利用拡大に目を向けるにつれ、そのようなシステムが人間の判断をどれだけ忠実に再現できるかを検討することが不可欠になっています。

私たちは、アノテーターが事実に関する質問をされているか規範的な質問をされているかに応じて、オブジェクトに異なるラベルを付けることを発見し、核となる潜在的な失敗を特定しました。

これは、多くの標準的な機械学習 (ML) データ取得手順で維持されている自然な前提に疑問を投げかけます。つまり、オブジェクトの事実に基づく分類を予測することと、オブジェクトがそれらの事実を前提としたルールに違反するかどうかについての判断を行うことの間に違いはないということです。

規範的判断を目的としたモデルをトレーニングするために事実に基づくラベルを使用すると、顕著な測定誤差が生じることがわかりました。

私たちは、事実に基づくラベルを使用してトレーニングされたモデルは、規範的なラベルを使用してトレーニングされたモデルとは大きく異なる判断をもたらすこと、およびモデルのパフォーマンスに対するこの効果の影響が、ML 研究者や実践者の注目を日常的に集める他の要素 (データセットのサイズなど) の影響を超える可能性があることを示します。

あなたのメールアドレスが公開されることはありません。 必須フィールドは、マークされています *

コメント *

名前 *

Eメール *

Webサイト

フォローアップコメントを電子メールで通知します。

新しい投稿をメールで通知します。