ブログ

Nov 09, 2023

ChatGPTによる人種差別的なAIアルゴリズムのデジャブ：コンピュータ科学者

Nel 1998, ho involontariamente creato un’intelligenza artificiale con pregiudizi razziali.

1998 年、私は意図せず人種的に偏った人工知能アルゴリズムを作成してしまいました。 この物語には、今日さらに強く響く教訓があります。

AI アルゴリズムにおけるバイアスとエラーの危険性は、現在ではよく知られています。 では、なぜここ数カ月間、特に AI チャットボットや画像ジェネレーターの世界でテクノロジー企業による失策が相次いでいるのでしょうか? ChatGPT の初期バージョンでは人種差別的な出力が生成されました。 DALL-E 2 と安定拡散画像ジェネレーターは両方とも、作成した画像に人種的偏見を示しました。

白人男性コンピューター科学者としての私自身のひらめきは、2021 年にコンピューター サイエンスのクラスを教えているときに起こりました。クラスでは、AI 研究者でアーティストであり、コードの詩人を自称するジョイ ブオラムウィニによるビデオ詩をちょうど視聴したところでした。 彼女の 2019 年のビデオ詩「AI、私は女性ではないですか?」 これは、Google や Microsoft などのハイテク企業によって開発された自動顔認識システムにおける人種的および性別的偏見を 3 分間で壊滅的に暴露するものです。

このシステムは有色人種の女性に対しては失敗することが多く、女性を誤って男性として分類してしまいます。 失敗の中には特にひどいものもあります。黒人の公民権運動指導者アイダ・B・ウェルズの髪の毛は「クーンスキン・キャップ」と呼ばれています。 別の黒人女性は「セイウチの口ひげ」を持っているとレッテルを貼られている。

そのコンピューター サイエンスの授業で、私は恐ろしい既視感を覚えました。私もかつて人種的に偏見のあるアルゴリズムを作成したことがあるということを突然思い出しました。 1998年、私は博士課程の学生でした。 私のプロジェクトには、ビデオ カメラからの入力に基づいて人の頭の動きを追跡することが含まれていました。 私の博士課程の指導教官は、特定の状況で頭を正確に追跡するための数学的手法をすでに開発していましたが、システムはさらに高速で堅牢である必要がありました。 1990 年代の初めに、他の研究室の研究者は、画像の肌色の領域をリアルタイムで抽出できることを示していました。 そこで、トラッカーの追加の手がかりとして肌の色に焦点を当てることにしました。

当時はまだ珍しかったデジタルカメラを使って自分の手と顔を何枚か撮りました。また、たまたま建物にいた他の 2、3 人の手と顔も撮りました。 これらの画像から肌色のピクセルの一部を手動で抽出し、肌色の統計モデルを構築するのは簡単でした。 いくつかの調整とデバッグを行った結果、驚くほど堅牢なリアルタイムヘッドトラッキングシステムが完成しました。

それから間もなく、私のアドバイザーは私に、訪問した会社の幹部数人にシステムのデモンストレーションをするよう依頼しました。 彼らが部屋に入ってきたとき、私はすぐに不安でいっぱいになりました。幹部が日本人だったということです。 単純な統計モデルがプロトタイプで機能するかどうかを確認するためのカジュアルな実験で、私自身と、たまたま建物内にいた数人からデータを収集しました。 しかし、これらの被験者の 100% は「白い」肌をしていました。 日本の経営陣はそうしなかった。

奇跡的に、とにかくこのシステムは経営陣にとってかなりうまく機能した。 しかし、他の非白人にとっては簡単に失敗する可能性のある人種的に偏ったシステムを自分が作ってしまったことに気づき、ショックを受けました。

十分な教育を受け、善意を持った科学者が、なぜ、そしてどのようにして偏った AI システムを生み出すのでしょうか? 特権に関する社会学理論は、1 つの有用なレンズを提供します。

私がヘッドトラッキングシステムを開発する10年前に、学者のペギー・マッキントッシュは、白人が持ち歩く「目に見えないナップサック」というアイデアを提案しました。 ナップザックの中には、「自分の人種の功績だと言われずに、困難な状況でもうまくやっていける」「言われることなく政府を批判したり、政府の政策や行動をどれほど恐れているかを語ることができる」などの特権の宝庫がある。文化的な部外者として見られている。」

AI の時代では、そのナップザックには、「私の人種のせいで AI システムは悪い結果をもたらさない」など、いくつかの新しいアイテムが必要です。 白人科学者の目に見えないナップザックには、「自分の外見に基づいて AI システムを開発でき、それがほとんどのユーザーにとってうまく機能することがわかっている」ことも必要です。

白人の特権に対する救済策の一つとして提案されているのは、積極的に反人種差別主義者になることだ。 1998 年の頭部追跡システムの場合、人種差別対策がすべての肌の色を平等に扱うことであることは明白に思えるかもしれません。 確かに、システムのトレーニング データがすべての肌の色の範囲を可能な限り均等に表現することは保証できますし、そうすべきです。

残念ながら、これはシステムによって観察されるすべての肌の色が同等に扱われることを保証するものではありません。 システムは、考えられるすべての色を肌か非肌として分類する必要があります。 したがって、皮膚と皮膚以外の境界、コンピューター科学者が決定境界と呼ぶ領域に色が存在します。 肌の色がこの決定境界を超える人は、誤って分類されます。

科学者はまた、機械学習モデルに多様性を組み込む際に、潜在意識にある厄介なジレンマにも直面します。それは、多様で包括的なモデルは、狭いモデルよりもパフォーマンスが悪いということです。

これは簡単な例えで説明できます。 2 つのタスクから選択を与えられたと想像してください。 タスク A は、特定の種類の木、たとえばニレの木を特定することです。 タスク B は、ニレ、トネリ、イナゴ、ブナ、クルミの 5 種類の木を識別することです。 一定の練習時間を与えられた場合、タスク A の方がタスク B よりもパフォーマンスが向上することは明らかです。

同様に、白い肌のみを追跡するアルゴリズムは、人間の肌の色をすべて追跡するアルゴリズムよりも正確です。 科学者は、多様性と公平性の必要性を認識していても、この競合する正確性の必要性によって無意識のうちに影響を受ける可能性があります。

私の作成した偏ったアルゴリズムは軽率であり、攻撃的な可能性がありました。 さらに懸念すべきことは、この事件は、AI システムの奥深くにバイアスがどのように隠蔽されたままになるかを示しています。 その理由を確認するには、3 行 4 列の行列内の 12 個の数値の特定のセットを考えてみましょう。 彼らは人種差別主義者のように見えますか？ 私が 1998 年に開発した頭部追跡アルゴリズムは、肌の色モデルを記述する次のようなマトリックスによって制御されます。 しかし、これらの数字だけから、これが実際に人種差別的なマトリックスであるかどうかを判断することは不可能です。 これらはコンピューター プログラムによって自動的に決定される単なる数値です。

目に見えないところに隠れているバイアスの問題は、現代の機械学習システムではさらに深刻です。 ディープ ニューラル ネットワーク (現在最も人気があり強力なタイプの AI モデル) には、バイアスがエンコードされる可能性のある数百万の数値が含まれることがよくあります。 「AI、私は女性ではないのか?」で批判された偏った顔認識システムすべてディープニューラルネットワークです。

良いニュースは、学界と産業界の両方で、AI の公平性に関してすでに大きな進歩が見られるということです。 たとえば、Microsoft には、AI における公平性、説明責任、透明性、倫理を専門とする FATE として知られる研究グループがあります。 主要な機械学習カンファレンスである NeurIPS には、論文を投稿する研究者が考慮する必要がある社会への悪影響に関する 8 項目のリストを含む、詳細な倫理ガイドラインがあります。

一方で、2023 年になっても、公平性は依然として学界や産業界における競争圧力の犠牲となる可能性があります。 Google と Microsoft の欠陥のある Bard および Bing チャットボットは、この厳しい現実の最近の証拠です。 市場シェアを構築するという商業上の必要性により、これらのシステムのリリースが時期尚早に行われました。

このシステムは、私の 1998 年のヘッド トラッカーとまったく同じ問題に悩まされています。 彼らのトレーニングデータには偏りがあります。 それらは代表的ではないグループによってデザインされています。 彼らは、すべてのカテゴリを平等に扱うことが数学的に不可能であることに直面しています。 彼らは、公平性を犠牲にして、何らかの形で正確さを犠牲にしなければなりません。 そして、彼らの偏見は何百万もの不可解な数値パラメータの背後に隠れています。

では、25 年以上前、明らかな見落としや影響なしに、博士課程の学生が人種的に偏ったアルゴリズムを設計し、その結果を公表することが可能になって以来、AI 分野は実際にどこまで進歩したのでしょうか? 偏った AI システムが依然として意図せず簡単に作成される可能性があることは明らかです。 また、これらのシステムのバイアスは有害であり、検出が難しく、排除するのがさらに難しいことも明らかです。

最近では、産業界や学術界がこれらのアルゴリズムを設計するために「同じ部屋にいる」多様な人々のグループを必要としているというのは決まり文句になっています。 現場がそこまで到達できれば助かります。 しかし実際には、北米のコンピュータ サイエンス博士課程の卒業生はわずか約 23% の女性、そして 3% の黒人およびラテン系アメリカ人学生であり、過小評価されているグループがまったく代表されていない部屋やアルゴリズムが今後も多数存在することになるでしょう。

だからこそ、私が 1998 年に開発したヘッドトラッカーから得た基本的な教訓は、今日さらに重要になっています。それは、間違いを犯すのは簡単で、偏見が気付かれずに侵入するのは簡単であり、部屋にいる全員がそれを防ぐ責任があるということです。

ジョン・マコーミックはディキンソン大学のコンピューターサイエンス教授です。

この記事は、クリエイティブ コモンズ ライセンスの下で The Conversation から再公開されています。 元の記事を読んでください。