ブログ

Nov 12, 2023

ルンバがトイレにいる女性を録画した。 スクリーンショットはどのようにして Facebook に投稿されたのでしょうか?

L'azienda di robot aspirapolvere afferma che le tue immagini sono sicure ma fornite in tutto il mondo

ロボット掃除機会社は、あなたの画像は安全だと主張していますが、私たちのデバイスからのデータの無秩序に広がる世界的なサプライチェーンはリスクを生み出します。

2020年の秋、ベネズエラのギグワーカーたちは、仕事について話すために集まったオンラインフォーラムに一連の画像を投稿した。 写真は、ローアングルから撮影された日常的な、時には親密な家庭の風景であり、インターネット上で共有したくないものも含まれていました。

特に露出度の高いショットでは、ラベンダー色の T シャツを着た若い女性が、ショーツを太ももの真ん中まで下げてトイレに座っています。

画像は人間によって撮影されたものではなく、アイロボット社のロボット掃除機ルンバ J7 シリーズの開発版によって撮影されたものです。 その後、彼らは Scale AI に送られました。Scale AI は、人工知能のトレーニングに使用される音声、写真、ビデオ データのラベル付けを世界中の労働者と契約するスタートアップです。

これらは、インターネットに接続されたデバイスが定期的にキャプチャしてクラウドに送り返すようなシーンでしたが、通常はより厳格なストレージとアクセス制御が必要でした。 しかし、今年初めに、MIT Technology Review は、非公開のソーシャル メディア グループに投稿されたこれらのプライベート写真のスクリーンショット 15 枚を入手しました。

写真の種類や感度は異なります。 私たちが見た最も親密な画像は、トイレにいる若い女性をフィーチャーした一連のビデオ静止画で、先頭の画像では彼女の顔が隠されていたが、下の粒子の粗いショットのスクロールでは不明瞭になっていなかった。 別の画像では、顔がはっきりと見える8歳か9歳と思われる少年が、廊下の床にうつ伏せに大の字になっている。 三角形の髪の毛が彼の額にこぼれ、目の高さのすぐ下から彼を記録している物体を明らかに面白がって見つめている。

他のショットには、世界中の住宅の部屋が写っており、一部は人間が、もう 1 つは犬が住んでいます。 壁や天井の高い位置にある家具、装飾品、オブジェクトは長方形のボックスで囲まれ、「テレビ」、「植物または花」、「天井照明」などのラベルが付いています。

Amazonが保留中の取引で最近17億ドルで買収した世界最大のロボット掃除機ベンダーであるiRobotは、これらの画像が2020年に同社のルンバによって撮影されたことを認めた。これらの画像はすべて「ハードウェアとソフトウェアに変更を加えた特別に開発されたロボットからのものである」 iRobot の消費者向け製品には、購入用に含まれていなかったし、決して存在しなかった」と同社は声明で述べた。 これらは、トレーニング目的でビデオを含むデータ ストリームを会社に送信することを認める書面による契約に署名した「有給のコレクターと従業員」に与えられました。 iRobotによると、これらのデバイスには「ビデオ録画中」と書かれた明るい緑色のステッカーが貼られており、「子供を含め、ロボットが動作するあらゆる空間から機密と思われるものをすべて取り除く」かどうかは有料データ収集業者の責任だったという。

iRobot のデータ収集活動に参加しましたか? あなたからの御一報をお待ちしています。 までご連絡ください。[email protected]。

言い換えれば、iRobot の推定によると、ストリームに写真やビデオが表示された人は誰でも、ルンバに監視させることに同意したことになります。 iRobot は MIT Technology Review に同意書を閲覧させることを拒否し、報酬を支払ったコレクターや従業員に条件の理解について話し合う機会を提供しませんでした。

私たちが共有した画像は iRobot の顧客からのものではありませんが、消費者は iPhone から洗濯機に至るまでのデバイスでさまざまな程度に私たちのデータを監視することに定期的に同意しています。 データを大量に消費する人工知能がまったく新しい製品やサービスにますます統合されているため、この慣行は過去 10 年間でさらに一般的になりつつあります。 このテクノロジーの多くは機械学習に基づいています。これは、音声、顔、住居、その他の個人情報を含む大量のデータを使用して、パターンを認識するアルゴリズムをトレーニングする技術です。 最も有用なデータセットは最も現実的であり、家庭などの実際の環境から得られたデータは特に価値があります。 多くの場合、消費者情報をどのように広め、分析するかについて企業に広範な裁量権を与える曖昧な文言でプライバシーポリシーに記載されているように、単に製品を使用するだけでオプトインします。

ロボット掃除機によって収集されるデータは、特に侵襲的になる可能性があります。 それらは「強力なハードウェアと強力なセンサー」を備えている、とノースイースタン大学の博士課程候補者で、ロボット掃除機を含むモノのインターネットデバイスのセキュリティ脆弱性を研究しているデニス・ギース氏は言う。 「そして、彼らは家の中で走り回ることができますが、それを制御する方法はありません。」 これは、iRobot の Roomba J7 シリーズのような、高度なカメラと人工知能を備えたデバイスに特に当てはまります、と彼は付け加えました。

最近、MIT Technology Reviewの調査で、トイレにいる未成年者と検査者の画像がどのようにしてソーシャルメディア上に流出したのかが明らかになった。 アイロボットは、この種のデータを家庭内から収集することに同意を得たと述べたが、参加者はそうではないと主張している。

このデータは、将来、掃除機をかけることをはるかに超えた用途に使用される、よりスマートなロボットを構築するために使用されます。 しかし、これらのデータセットを機械学習に役立つようにするには、まず個々の人間がデータの各ビットを表示、分類、ラベル付けし、コンテキストを追加する必要があります。 このプロセスはデータ アノテーションと呼ばれます。

」人間のグループは常にどこかに座っていて、通常は窓のない部屋で、ポイントアンドクリックを繰り返しているだけです。「はい、それは物体か、物体ではありません」とテクノロジーの助教授マット・ビーンは説明します。カリフォルニア大学サンタバーバラ校の管理プログラムで、ロボット工学の背後にある人間の働きを研究しています。

MIT Technology Review と共有された 15 枚の画像は、広範囲にわたるデータ エコシステムのほんの一部にすぎません。 iRobot は、Scale AI と 200 万枚以上の画像を共有し、他のデータ注釈プラットフォームとさらに未知数の画像を共有したと述べています。 同社は、Scale が同社が使用したデータ アノテーターの 1 つにすぎないことを認めました。

iRobotの広報担当者James Baussmann氏は電子メールで、同社が「個人データが適用法に従って安全に処理されるようあらゆる予防措置を講じた」とし、MIT Technology Reviewと共有した画像は「書面による合意に違反して共有された」と述べた。 iRobot と画像注釈サービスプロバイダーとの間の機密保持契約。」 iRobot CEOのコリン・アングル氏は、私たちが画像を共有した数週間後に電子メールで送った声明の中で、「iRobotは画像を漏洩したサービスプロバイダーとの関係を終了し、この問題を積極的に調査しており、以下の措置を講じている」と述べた。今後、サービスプロバイダーによる同様の漏洩を防ぐのに役立ちます。」 同社は、それらの措置がどのようなものかについての追加の質問には回答しなかった。

しかし、最終的には、この一連の画像は、個々の企業の行動よりも大きな何かを表しています。 これらは、アルゴリズムをトレーニングするために機密性の高いデータを共有するという広範で拡大しつつある慣行と、単一の画像が、この場合、北米、ヨーロッパ、アジアの家庭からの驚くべき世界中に広がる旅について語っています。マサチューセッツに本拠を置く iRobot のサーバーに、そこからサンフランシスコに本拠を置く Scale AI に、そして最後に世界中の Scale の契約データ ワーカー (この例では、Facebook や Discord のプライベート グループに画像を投稿したベネズエラのギグ ワーカーが含まれます) に送信されます。 、その他の場所）。

これらの画像を総合すると、ほとんどの消費者さえ気づいていないデータ サプライ チェーン全体と、個人情報が漏洩する可能性のある新たなポイントが明らかになります。

「人間が生の映像をレビューすることは予想されていない」と、コンシューマー・レポート社のテクノロジー政策ディレクターであり、連邦取引委員会技術調査調査局の元政策ディレクターであるジャスティン・ブルックマン氏は強調する。 アイロボット社は、データ収集者が特に人間がこれらの画像を閲覧することを認識していたかどうかについては明らかにしなかったが、同意書には「サービスプロバイダー」が閲覧することを明示していると同社は述べた。

「人間が生の映像を確認することは想定されていません。」

「私たちは文字通り、人間を扱うのとは異なる方法で機械を扱います」と、メリーランド大学コミュニケーション学部および情報学部の情報科学者で教授のジェシカ・ヴィタックは付け加えます。 「誰かがカメラを持って私の家の周りを歩き回るよりも、私の空間を動き回るかわいい小さな掃除機を受け入れる方がはるかに簡単です。」

それでも、それが本質的に起こっていることなのです。 トイレにいるあなたを監視しているのはロボット掃除機だけではありません。人も監視している可能性があります。

ロボット掃除機は必ずしもそれほど賢かったわけではありません。

最初のモデルであるスウェーデン製エレクトロラックス 三葉虫は、2001 年に市場に登場しました。この製品は超音波センサーを使用して壁の位置を特定し、清掃パターンをプロットしました。 側面にはバンプセンサーが追加され、底部には崖センサーが追加されており、物体にぶつかったり階段から落ちたりするのを防ぐことができました。 しかし、これらのセンサーには不具合があり、ロボットが特定の領域を見逃したり、他の領域を繰り返したりすることがありました。 その結果、清掃作業は未完了で満足のいくものではありませんでした。

翌年、アイロボットは第一世代のルンバをリリースしましたが、これは同様の基本的なバンプセンサーとターンセンサーを利用していました。 競合他社よりもはるかに安価で、最初に商業的に成功したロボット掃除機となりました。

今日の最も基本的なモデルは依然として同様に動作しますが、ミッドレンジの掃除機には、より優れたセンサーや、同時位置特定とマッピングなどのその他のナビゲーション技術が組み込まれており、部屋内の場所を見つけて、より適切な掃除経路を図示します。

ハイエンドデバイスは、画像やビデオから情報を抽出するアルゴリズムをトレーニングすることで人間の視覚に近似する人工知能のサブセットであるコンピュータービジョン、および/または NASA で使用され、最も最も技術的であると広く考えられているレーザーベースのセンシング技術である LIDAR に移行しています。現在の市場では正確だが最も高価なナビゲーション テクノロジーです。

コンピューター ビジョンは高解像度カメラに依存しており、数えてみると約 12 台のカメラが使用されています。企業は、ナビゲーションや物体認識のためにロボット掃除機に前面カメラを組み込んでおり、さらには家庭の監視も増えています。 これには、市場シェアのトップ 3 のロボット掃除機メーカーが含まれます。iRobot は市場の 30% を占め、2002 年以来 4,000 万台以上のデバイスを販売しています。 Ecovacs、約 15%。 市場情報会社ストラテジー・アナリティクスによると、ロボロックはさらに約15％を保有している。 サムスン、LG、ダイソンなどのおなじみの家電メーカーも含まれています。 Strategy Analyticsによると、2021年だけでヨーロッパとアメリカ大陸で合計約2,340万台のロボット掃除機が販売されたという。

iRobot は当初からコンピューター ビジョンに全力で取り組み、そのような機能を備えた最初のデバイスであるルンバ 980 が 2015 年にデビューしました。これは、iRobot の最初の Wi-Fi 対応デバイスであり、地図作成が可能な最初のデバイスでもありました。家を見て、部屋の広さに基づいて掃除戦略を調整し、避けるべき基本的な障害物を特定します。

コンピュータービジョンにより、「ロボットは周囲の世界の豊かさをすべて見ることができるようになります」とアイロボットの最高技術責任者であるクリス・ジョーンズ氏は述べています。 これにより、iRobot のデバイスは「床にあるコードを回避したり、そこがソファであることを認識したり」できるようになります。

しかし、ロボット掃除機のコンピューター ビジョンが本当に意図したとおりに機能するためには、製造業者は、目にする可能性のある膨大な範囲を反映する高品質で多様なデータセットに基づいてコンピューター ビジョンをトレーニングする必要があります。 「家庭環境の多様性は非常に難しい課題です」と、北京に本拠を置くロボロック社のシニア研究開発ディレクター、ウー・アーチー氏は言う。道路システムは「非常に標準的なもの」であるため、自動運転車のメーカーにとっては「車線がどのように見えるか…[そして]交通標識がどのように見えるかがわかるでしょう」と同氏は言う。 しかし、家のインテリアはそれぞれ大きく異なります。

「家具は標準化されていません」と彼は付け加えた。 「地面に何があるかは予想できません。靴下があることもあれば、ケーブルがあることもあります。」そして、米国と中国ではケーブルの見た目が異なる可能性があります。

MIT Technology Review は、ロボット掃除機を販売する 12 社と面談または質問を行ったところ、トレーニング データの収集という課題に対する各社の対応が異なることがわかりました。

iRobot の場合、その画像データセットの 95% 以上は実際の住宅からのものであり、その居住者は iRobot の従業員か、サードパーティのデータベンダー (iRobot は特定を拒否した) によって募集されたボランティアのいずれかです。 iRobotの声明によると、開発デバイスを使用する人々は、多くの場合「参加に対するインセンティブ」と引き換えに、デバイスの実行中にiRobotがビデオストリームを含むデータを収集することを許可することに同意するという。同社はこれらのインセンティブが何であるかについては明らかにせず、「データ収集の長さと複雑さに基づいて」変動するとだけ述べた。

残りのトレーニング データは、iRobot が「段階的データ収集」と呼ぶものから取得され、同社はモデルを構築して記録します。

iRobot はまた、一般消費者に対して、アプリを通じてトレーニング データの提供をオプトインする機会の提供を開始しました。ユーザーはアルゴリズムを改善するために、障害物の特定の画像を会社のサーバーに送信することを選択できます。 iRobot によれば、顧客がこの「ユーザーインザループ」トレーニング (知られているとおり) に参加すると、同社はこれらの特定の画像のみを受信し、その他の画像は受信しません。 同社代表のバウスマン氏は電子メールで、そのような画像はまだアルゴリズムの訓練に使用されていないと述べた。

iRobotとは対照的に、Roborockは「自社の研究室で独自の画像を生成している」か、「物体の画像をキャプチャして提供するよう特に依頼されている中国のサードパーティベンダーと協力している」かのいずれかであると述べたトレーニング目的で床に置いています。」 一方、2つのハイエンドロボット掃除機モデルを販売しているダイソンは、2つの主要なソースからデータを収集していると述べた。「セキュリティ許可を得たダイソンの研究開発部門内の家庭用トライアルリスト」と、合成トレーニングまたはAI生成トレーニングが増えている。データ。

MIT Technology Reviewが取材したロボット掃除機企業のほとんどは、機械学習アルゴリズムのトレーニングに顧客データを使用していないと明言した。 サムスンはデータの入手方法に関する質問に答えなかったが（ただし、データの注釈付けにScale AIは使用していないと書いている）、エコバックスはトレーニングデータの出所を「機密」としている。 LGとボッシュはコメントの要請に応じなかった。

「人々は…お互いに助けを求めるものだと想定する必要があります。ポリシーでは常にそうすべきではないと書かれていますが、それをコントロールするのは非常に困難です。」

他のデータ収集方法に関するいくつかのヒントは、IoT ハッカーのギースから得られます。ノースイースタンにある彼のオフィスには、彼がリバース エンジニアリングしたロボット掃除機が山積みされており、ロボット掃除機の機械学習モデルにアクセスできるようになっています。 一部の製品は、深センに本拠を置き、手頃な価格で機能が豊富なデバイスを販売する比較的新しい中国企業 Dreame によって製造されています。

Giese さんは、Dreame 掃除機には「AI サーバー」というラベルの付いたフォルダーと、画像のアップロード機能があることを発見しました。 企業はよく「カメラのデータはクラウドなどには決して送信されない」と言うが、「デバイスにアクセスできたとき、基本的にそれが真実ではないことを証明できた」とギース氏は言う。 実際に写真をアップロードしなかったとしても、「（この機能は）常に存在します」と彼は付け加えた。

データラベル付けの需要が爆発的に高まる中、経済大惨事によりベネズエラは新たなモデルの労働搾取のグラウンドゼロとなった。

Dreame が製造しているロボット掃除機は、他社でもブランド名を変更して販売されており、この手法は他のブランドでも採用される可能性があるとギース氏は言います。

Dreame は、顧客のデバイスから収集されたデータに関する電子メールでの質問には返答しませんでしたが、MIT Technology Review の最初の対応から数日で、同社は個人情報の収集方法に関するポリシーを含むプライバシー ポリシーを変更し始め、複数のファームウェア アップデートを実施しました。 。

しかし、企業自身からの説明もなければ、ハッキング以外に企業の主張をテストする方法もないため、企業がトレーニング目的で顧客から何を収集しているのかを正確に知ることは困難です。

機械学習アルゴリズムに必要な生データには、大量の労働力が必要になります。 そこでデータ アノテーションが登場します。データ アノテーションは若いながらも成長している業界で、2030 年までに市場価値が 133 億ドルに達すると予測されています。

この分野は主に、自動運転車で使用されるアルゴリズムをトレーニングするためのラベル付きデータに対する膨大なニーズを満たすために始まりました。 現在、開発途上国では低賃金の契約社員であることが多いデータラベル作成者が、私たちがオンラインで「自動化」されて当然だと思っていることの多くを強化するのに役立っています。 投稿を手動で分類してフラグを付けることでインターネットの最悪の部分をソーシャル メディア フィードから排除し、低品質の音声を文字に起こすことで音声認識ソフトウェアを改善し、写真やビデオにタグを付けることでロボット掃除機が環境内の物体を認識できるようにします。

過去10年間に出現した無数の企業の中で、スケール AI は市場のリーダーになりました。 2016 年に設立された同社は、独自のクラウドソーシング プラットフォームである Remotasks 上で、低裕福国のリモート ワーカーとプロジェクトまたはタスク ベースの格安料金で契約することを中心としたビジネス モデルを構築しました。

2020 年、Scale はそこに新しい任務「Project IO」を投稿しました。 地上から約 45 度上向きに撮影された画像が特徴で、世界中の家の壁、天井、床だけでなく、家の中や上にあるもの（顔がはっきりと見える人々も含む）が映っていました。ラベラーへ。

ラベル作成者たちは、Facebook、Discord、および支払い遅延への対処に関するアドバイスを共有したり、最も高収入の仕事について話したり、扱いにくいオブジェクトのラベル付けに関する支援を求めたりするために設立したグループで Project IO について話し合いました。

iRobot は、これらのグループに投稿され、その後 MIT Technology Review に送信された 15 枚の画像が自社のデバイスからのものであることを確認し、画像が作成された特定の日付 (2020 年 6 月から 11 月の間)、画像の出身国 (米国、日本、フランス、ドイツ、スペイン）、画像を作成したデバイスのシリアル番号、および各デバイスのユーザーが同意書に署名したことを示す列が表示されます。 （Scale AIは、15枚の画像のうち13枚が「2年以上前にiRobotと取り組んだ研究開発プロジェクト」からのものであることを確認したが、他の2枚の画像の出所を明らかにしたり、追加情報を提供したりすることは拒否した。）

iRobotは、ソーシャルメディアグループで画像を共有することはScaleとの契約に違反していると主張し、Scaleはこれらの画像を共有した契約社員は自身の契約に違反していると主張している。

「根本的な問題は、あなたの顔が変更できないパスワードのようなものであるということです。誰かがあなたの顔の『署名』を記録すると、それを永久に使用して写真やビデオからあなたを見つけることができます。」

しかし、クラウドソーシングプラットフォーム上でこうした行為を取り締まるのはほぼ不可能だ。

同様に契約社員に依存しているScaleの競合会社であるHiveのCEOであるKevin Guo氏に、データラベル作成者がソーシャルメディア上でコンテンツを共有していることを知っているか尋ねると、彼は率直に答えた。 「彼らは分散労働者です」と彼は言います。 「人々は…お互いに助けを求めるものだと想定する必要があります。ポリシーでは常にそうすべきではないと書かれていますが、それをコントロールするのは非常に困難です。」

つまり、特定の作業を引き受けるかどうかはサービスプロバイダーが決定することになります。 Hive については、機密データを効果的に保護するための「従業員の数を考えると、適切な管理が行われているとは思えません」と Guo 氏は述べています。 ハイブはロボット掃除機会社とは提携していない、と彼は付け加えた。

「（画像が）クラウドソーシング プラットフォームで共有されたというのは、私にとってはある意味驚きです」と、プリンストン大学ビジュアル AI ラボの主任研究員でグループ AI4All の共同創設者であるオルガ・ルサコフスキー氏は言う。 「人々は厳格な機密保持契約の下にあり」、「会社のコンピューター上に」ラベル付けを維持すれば、データの安全性ははるかに高まるだろうと彼女は指摘する。

言い換えれば、遠く離れたデータ アノテーターに依存することは、データを保護する安全な方法ではありません。 「顧客から入手したデータは、通常、アクセス保護されたデータベースに保存されます」と、コンピュータ ビジョン研究の第一人者であり、スタンフォード大学の博士課程の学生でもあるピート ウォーデン氏は言います。 しかし、機械学習トレーニングを使用すると、顧客データはすべて「大きなバッチ」に結合され、それにアクセスできる「人の輪」が広がります。

iRobot 社は、トレーニング画像のサブセットのみをデータ アノテーション パートナーと共有し、機密情報を含む画像にはフラグを立て、機密情報が検出された場合は同社の最高プライバシー責任者に通知すると述べています。 Baussmann氏は、この状況は「まれ」だとし、実際にそのような状況が発生すると、「画像を含むビデオログ全体がiRobotサーバーから削除される」と付け加えた。

同社は、「ヌード、部分ヌード、性的交流など、ユーザーが危険な立場にある画像が発見された場合、そのログから他のすべての画像に加えて削除される」と規定している。 このフラグ設定がアルゴリズムによって自動的に行われるのか、それとも人間が手動で行うのか、またなぜトイレの女性の場合にはそれが起こらなかったのかは明らかにされていない。

しかし、iRobot のポリシーでは、たとえ未成年であっても、顔の機密性は考慮されていません。

バウスマン氏は、同社がプライバシーを重視する顧客向けに宣伝している機能である「人間や人間の画像を避けるようにロボットに教えるには、まずロボットに人間とは何かを教える必要がある」と説明した。 「その意味で、モデルを訓練するにはまず人間のデータを収集する必要があります。」 つまり、顔はそのデータの一部である必要があるということです。

しかし、テキサス大学アーリントン校でロボットビジョン研究室を運営するコンピューターサイエンス教授ウィリアム・ベクシ氏によると、人間を検出するアルゴリズムには実際には顔画像は必要ないかもしれないという。人間の輪郭（シルエット）。」

「もしあなたが大企業で、プライバシーを懸念しているなら、これらの画像を前処理することができます」とベクシ氏は言う。 たとえば、人間がデバイスから離れる前、そして「注釈を付けるために誰かに渡す前」に、人間の顔をぼかすことができます。

「特に未成年者をビデオに録画させるのは、少しずさんなように思えます」と彼は結論づけた。

トイレにいた女性の場合、データラベラーは彼女の顔に黒い丸を付けるなど、プライバシーを守るよう努めた。 しかし、人物をフィーチャーした他の画像では、データラベル作成者自身、Scale AI、または iRobot によってアイデンティティが隠蔽されていませんでした。 その中には床に大の字になった少年の姿も含まれている。

バウスマン氏は、iRobot が「すべての識別情報を画像から切り離すことで、「これらの人間の身元」を保護していると説明しました。…そのため、画像が悪意のある者によって取得された場合、画像内の人物を識別するために逆方向にマッピングすることはできません。

しかし、顔を撮影することは本質的にプライバシーの侵害である、とウォーデン氏は主張する。 「根本的な問題は、自分の顔が変更できないパスワードのようなものであるということです」と彼は言います。 「誰かがあなたの顔の『サイン』を記録すると、それを永久に使用して写真やビデオからあなたを見つけることができます。」

さらに、2013年から2017年までFTC消費者保護局長を務めたプライバシー弁護士のジェシカ・リッチ氏は、「プライバシー分野の議員や執行者は、顔を含む生体認証を機密情報とみなすだろう」と語る。これは特に当てはまる。未成年者がカメラに映っていることは、「従業員（または検査者）から同意を得るということと、子供から同意を得るということは同じではありません。従業員には、ましてや他の個人に関するデータ収集に同意する能力はありません」と付け加えた。関与していると思われる子供たち。」 リッチ氏は、これらのコメントの中で特定の企業について言及したわけではないと述べた。

結局のところ、本当の問題はおそらく、データラベル作成者がソーシャルメディアで画像を共有したことではありません。 むしろ、この種の AI トレーニング セット、特に顔を描写したものは、ほとんどの人が理解しているよりもはるかに一般的であると、データ アノテーション会社と契約した分散労働者に何年もインタビューしてきた社会学者でコンピューター科学者のミラグロス ミセリ氏は指摘します。 ミセリ氏は研究チームの一員で、同じ低い視点から撮影され、時には衣服を脱ぐさまざまな段階にある人々を映した同様の画像を見た複数のラベラーと話をした。

データラベル作成者たちは、この作業が「本当に不快だ」と感じたと彼女は付け加えた。

ロボット掃除機のメーカー自身も、オンデバイス カメラによってもたらされるプライバシー リスクの高まりを認識しています。 iRobot の CTO であるジョーンズ氏は、「コンピューター ビジョンへの投資を決定した場合、プライバシーとセキュリティには細心の注意を払う必要があります。」と述べています。 「この利点を製品と消費者に提供することになりますが、プライバシーとセキュリティを最優先事項として扱う必要もあります。」

実際、iRobot は MIT Technology Review に対し、暗号化の使用、セキュリティの脆弱性への定期的なパッチ適用、社内従業員の情報へのアクセスの制限と監視、顧客への詳細情報の提供など、顧客のデバイスにプライバシーとセキュリティを保護する多くの対策を実装していると述べています。収集するデータ。

しかし、企業がプライバシーについて語る方法と、消費者がそれを理解する方法との間には大きな隔たりがあります。

たとえば、プライバシーとセキュリティを混同するのは簡単だ、と消費者向けデバイスのプライバシーとセキュリティの両方を調査する Mozilla の「*Privacy Not Included」プロジェクトの主任研究員であるジェン・カルトライダー氏は言う。 データ セキュリティは、製品の物理的およびサイバー セキュリティ、つまりハッキングや侵入に対する脆弱性を指します。一方、データ プライバシーは透明性、つまり企業が保有するデータ、その使用方法、共有理由を理解し、制御できることを意味します。 、保持されるかどうか、保持される期間、そしてそもそも企業がいくら徴収しているのか。

カルトライダー氏は、2017 年に製品の追跡を開始して以来、「セキュリティは向上したが、プライバシーは大幅に悪化した」ため、この 2 つを混同するのは便利だと付け加えた。「現在、デバイスやアプリはより多くの個人情報を収集しています」と彼女は言う。

企業の代表者は、データの「共有」と販売の区別など、微妙な違いを使用することもあるため、プライバシーの扱い方は専門家以外の人にとっては特に解析が難しくなります。 企業がデータを決して販売しないと言っているからといって、それは分析のためにデータを使用したり、他のユーザーと共有したりしないという意味ではありません。

こうしたデータ収集の広範な定義は、企業のあいまいな文言のプライバシー ポリシーの下で受け入れられることが多く、事実上そのすべてに、「製品とサービスの改善」を目的としたデータの使用を許可する何らかの文言が含まれています。リッチ氏は、「許可するほど広範な文言」と呼んでいます。基本的に何でも。」

「開発者は伝統的にセキュリティ関連があまり得意ではありません。」 彼らの態度は、「機能を取得してみて、機能が動作する場合は製品を出荷してください。そして不祥事が発覚します。」になります。

実際、MIT Technology Review は 12 のロボット掃除機のプライバシー ポリシーと、そのすべてをレビューしました。 iRobot を含むそれらの企業には、「製品とサービスの改善」に関する同様の文言が含まれていました。 MIT Technology Reviewがコメントを求めた企業のほとんどは、「製品の改善」に機械学習アルゴリズムが含まれるかどうかに関する質問には回答しなかった。 しかし、Roborock と iRobot は、そうなると主張している。

そして、米国には包括的なデータプライバシー法が存在せず、代わりに寄せ集めの州法、特にカリフォルニア州消費者プライバシー法に依存しているため、これらのプライバシーポリシーが企業の法的責任を形作るものだとブルックマン氏は言う。 「多くのプライバシー ポリシーには、当社は選択されたパートナーまたはサービス プロバイダーとお客様のデータを共有する権利を留保すると記載されています」と彼は指摘します。 つまり、消費者は、その企業をよく知っているかどうかに関係なく、他の企業とデータを共有することに同意している可能性が高いということです。

ブルックマン氏は、企業が消費者から直接データを収集するためにクリアしなければならない法的障壁はかなり低いと説明する。 「不公平」または「欺瞞的」行為があった場合、FTC、つまり州司法長官が介入する可能性があると同氏は指摘するが、これらは狭義の定義であり、プライバシーポリシーに「請負業者には許可しない」と明記されていない限り、ブルックマン氏は、企業は「おそらく、あなたのデータを見てください」と言ってそれを共有しているが、FTCが「歴史的にプライバシーを強制する」ための主な方法である「欺瞞についてはおそらく平気だ」と述べた。 一方、行為が不公平であることを証明するには、損害の証明も含め、さらなる負担が伴います。 「裁判所はそれについて実際に判決を下したことはありません」と彼は付け加えた。

ほとんどの企業のプライバシー ポリシーでは、いくつかの例外を除いて、キャプチャされる視聴覚データについてさえ言及していません。 iRobot のプライバシー ポリシーには、個人がモバイル アプリ経由で画像を共有する場合にのみ視聴覚データを収集すると記載されています。 LG のカメラと AI 対応の Hom-Bot Turbo+ に関するプライバシー ポリシーでは、同社のアプリが「プロフィール写真、音声録音、ビデオ録画などの音声、電子情報、視覚情報、または類似の情報」を含む視聴覚データを収集すると説明しています。 また、サムスンの LiDAR 付き Jet Bot AI+ ロボット掃除機と Powerbot R7070 のプライバシー ポリシーは、どちらもカメラを搭載しており、「写真、連絡先、テキスト ログ、タッチ インタラクション、設定、カレンダー情報など、デバイスに保存されている情報」を収集します。 」および「音声コマンドを使用してサービスを制御するとき、または当社のカスタマーサービスチームに連絡するときの音声の録音」。 一方、Roborockのプライバシーポリシーでは視聴覚データについては言及されていないが、同社の代表者はMIT Technology Reviewに対して、中国の消費者には視聴覚データを共有するオプションがあると述べている。

アイロボットの共同創設者ヘレン・グライナー氏は、現在庭草取りロボットを販売するターティルという新興企業を経営しているが、こうしたデータをすべて収集することで企業は顧客のプライバシーを侵害しようとしているわけではないと強調する。 彼らはただ、より良い製品を作ろうとしているだけだ――あるいは、iRobot の場合は「より良い掃除をしよう」としている、と彼女は言う。

それでも、iRobot のような企業が最善を尽くしても、プライバシー保護には明らかにギャップが残されています。 「悪意というよりは、単に無能なだけです」とIoTハッカーのギースは言う。 「開発者は伝統的にセキュリティ関連があまり得意ではありません。」 彼らの態度は、「機能を取得してみて、機能が動作する場合は製品を出荷する」になります。

「そしてスキャンダルが明るみに出ます」と彼は付け加えた。

データへの欲求は今後数年でさらに高まるでしょう。 掃除機は、私たちの生活の中で急増している接続デバイスのほんの一部にすぎません。iRobot、Samsung、Roborock、Dyson などのロボット掃除機の大手企業は、自動床掃除よりもはるかに壮大な野望を声高に主張しています。 家庭用ロボットを含むロボット工学は、長い間真の賞品でした。

2018年に当時アイロボットのテクノロジー担当上級副社長だったマリオ・ミュンヘンが会社の目標をどのように説明したか考えてみましょう。同社初のコンピュータビジョン掃除機であるルンバ980に関するプレゼンテーションで、彼はデバイスの有利な地点からの画像を示しました。テーブル、椅子、スツールを備えたキッチンの例。次に、それらがロボットのアルゴリズムによってどのようにラベル付けされ、認識されるかについて説明します。 「課題は掃除機をかけることにあるのではありません。課題はロボットにあります」とミュンヘン氏は説明した。 「ロボットの動作を変えるために環境を知りたいのです。」

このより大きな使命は、Scale のデータ アノテーターがラベルを付けるように求められたことからも明らかです。避けるべき床上のアイテム (iRobot が推進している機能) ではなく、「キャビネット」、「キッチン カウンター トップ」、「棚」などのアイテムです。これらを組み合わせることで、ルンバ J シリーズ デバイスが動作する空間全体を認識できるようになります。

ロボット掃除機を製造する企業は、ロボット工学が実現する未来に私たちを近づける他の機能やデバイスにすでに投資しています。 最新のルンバは、Nest と Alexa を通じて音声制御でき、家の周囲にある 80 以上のさまざまな物体を認識します。 一方、Ecovacs のロボット掃除機 Deebot X1 には同社独自の音声アシスタントが統合されており、サムスンは人間に付き添うための「コンパニオン ロボット」を開発している数社のうちの 1 つです。 RX2 Scout Home Visionを販売するミーレは、カメラ付きスマートオーブンなど、他のスマート家電に注力している。

そして、Amazonによる17億ドルでのiRobotの買収が進めば（スマートホーム市場における競争への合併の影響を考慮しているFTCの承認を待っている）、ルンバはAmazonの常時接続スマートホームのビジョンにさらに統合される可能性が高い。未来の。

当然のことかもしれませんが、データ プライバシーに対する国民の関心の高まりを公共政策が反映し始めています。 2018 年から 2022 年にかけて、カリフォルニア州消費者プライバシー法やイリノイ州生体認証情報プライバシー法などのプライバシー保護を検討し可決する州が大幅に増加しました。 連邦レベルでは、FTC は、トレーニング データで使用されるものを含む、有害な商業監視と緩いデータ セキュリティ慣行を取り締まるための新しい規則を検討しています。 2件のケースで、FTCは人工知能を訓練するための顧客データの非公開使用に対して措置を講じ、最終的にはウェイト・ウォッチャーズ・インターナショナルと写真アプリ開発会社エバーアルバムの両社に、収集されたデータとそこから構築されたアルゴリズムの両方を削除するよう強制した。

それでも、これらの断片的な取り組みはいずれも、成長するデータ注釈市場と、世界中に拠点を置く企業、またはデータ保護法の少ない国でほとんど監視を受けずに業務を行う世界規模のギグワーカーと契約する企業の急増に対処するものではありません。

今年の夏、私がグライナー氏と話をしたとき、彼女は、iRobot がプライバシーに及ぼす影響については個人的には心配していないと言いましたが、一部の人が異なる感情を抱く理由は理解していました。 最終的に、彼女は消費者の選択という観点からプライバシーを組み立てました。本当に懸念がある人は、そのデバイスを購入することはできないのです。

「誰もがプライバシーに関する決定を自分で行う必要があります」と彼女は私に言いました。 「そして、圧倒的に人々は、費用対効果の高い価格で提供される限り、その機能を搭載することを決定します。」

しかし、消費者が十分な情報に基づいて選択を行うことが非常に難しいこともあり、誰もがこの枠組みに同意しているわけではありません。 メリーランド大学の情報科学者ヴィタック氏は、同意は単に署名するための「紙切れ」や、目を通すだけのプライバシーポリシー以上のものであるべきだと言う。

真のインフォームド・コンセントとは、「本人が手順を完全に理解し、リスクを完全に理解し、それらのリスクがどのように軽減されるか、そして自分の権利が何であるかを完全に理解すること」を意味すると彼女は説明する。 しかし、これが包括的に起こることはめったにありません。特に、企業がボタンをクリックするだけで床をきれいにすることを約束する愛らしいロボットヘルパーを販売している場合にはそうです。

企業が AI をトレーニングするためにデータを収集する方法について詳しい情報はありますか? iRobot または他のロボット掃除機会社によるデータ収集の取り組みに参加しましたか?ぜひご意見をお待ちしております。匿名希望も尊重いたします。 [email protected] までご連絡ください。。

Tammy Xu による追加調査。

訂正：エレクトロラックスはスウェーデンの会社であり、最初に書かれたスイスの会社ではありません。 ミラグロス・ミセリ氏は、ロボット掃除機から同様の画像を見たデータラベラーに話を聞いた研究チームの一員でした。

「これらの生物が私たちよりも賢くなるのではないかということで、突然考え方を切り替えました。」

ヒントン氏は水曜日に EmTech Digital で講演します。

ChatGPT は汎用人工知能に関する憶測を引き起こしました。 しかし、AI の次の本当の段階は、特定のドメインとコンテキストで行われることになります。

EmTech Digital でヒントンが MIT Technology Review の AI 上級編集者である Will Douglas Heaven と話す様子をご覧ください。

特別オファー、トップ記事、今後のイベントなどをご覧ください。

メールを送信していただきありがとうございます。

何か問題があったようです。

設定を保存できません。 このページを更新して、もう一度更新してみてください。 このメッセージが引き続き表示される場合は、受信を希望するニュースレターのリストを添えて、[email protected] までご連絡ください。