ラベルエラーロバストディープラーニングを使用したキラルナノ材料の利き手の分類

May 08, 2023

セックス専門家による、2023年のベストバイブレーター10選

May 28, 2023

セックス専門家による、2023年のベストバイブレーター10選

Jan 05, 2024

2023年英国で買うべきベストフードプロセッサー10社

Jul 01, 2023

ベスト 10 ハンド

May 25, 2023

ベスト 10 ハンド

お問い合わせを送信してください

送信

Nov 22, 2023

ラベルエラーロバストディープラーニングを使用したキラルナノ材料の利き手の分類

materiali informatici npj

npj 計算資料第 8 巻、論文番号: 149 (2022) この記事を引用

1118 アクセス

1 引用

メトリクスの詳細

ハイスループットの走査型電子顕微鏡 (SEM) とニューラルネットワークを使用した分類は、キラルナノ粒子の大集団の形態学的利き手を決定する理想的な方法です。自動ラベル付けにより、トレーニングデータの時間のかかる手動ラベル付けが不要になりますが、ラベルエラーが発生し、その後、トレーニングされたニューラルネットワークに分類エラーが発生します。ここでは、キラルテルルナノ粒子の SEM データセットの自動ラベルからトレーニングする際の分類誤差を最小限に抑える方法を評価します。反対側の粒子の画像間のミラー関係を使用して、さまざまなラベル誤差の母集団を人為的に作成します。理想的なデータセットと実際のデータセットにおけるニューラルネットワークの分類誤差に対するラベル誤り率とトレーニング方法の影響を分析します。検討した 3 つのトレーニング方法のうち、サイズやその他の形態学的変数が一定に保たれる理想的なデータセットでは、事前トレーニングアプローチがラベル誤り率全体で最も正確な結果をもたらしますが、実際の応用では共教アプローチが最も優れた結果をもたらすことがわかりました。

オプトエレクトロニクスおよびバイオミメティクスへの応用を目的とした無機キラルナノ材料への関心が高まっています1、2、3。キラルナノ材料の湿式化学合成中の特定のパラメーター 4、5、6、7、8 は、大幅な構造の多様性を引き起こす可能性があります。特に重要なのは、合成パラメータが、一方の利き手を他方の利き手に優先させることができることです。たとえば、テルル (Te) ナノ粒子は、その基礎となるキラル結晶構造にもかかわらず、合成条件に応じて特定のキラリティーの比率が異なる可能性があります 4,5。 van der Boom らによる最近の研究の別の例では、合成パラメータの調整により、多種多様な複雑で自明ではない形態をもつ有機金属単結晶が生成され、その多くはキラルです 9,10。これらの変動は、熱力学的成長経路と速度論的成長経路、合成中のキラル有機分子と小さな原子クラスターとの相互作用の違いなど、多くの要因によって引き起こされます。したがって、湿式化学合成によるサイズとキラリティーの正確な調整は、多くのシステムではまだ実現されていません。キラリティーを調整できるようにするには、まず、温度、前駆体の濃度、または構造を指向するキラルリガンドの濃度と種類など、多くの合成パラメータが結果の母集団に及ぼす影響を決定する必要があります。ハイスループット分析の必要性により、これらの合成パラメーターの影響を決定することを目的として、キラルナノ粒子集団の利き手を分類する方法の開発が促進されます。

円二色性 (CD) 測定は Te ナノ粒子のキラリティに敏感ですが、これらの材料のモル CD は不明であり、推定することしかできないため、各利き手の存在量に関する定量的情報を抽出することは非常に困難です 4,5。対照的に、走査型電子顕微鏡 (SEM) は、形態学的にキラルなナノ材料の利き手を明確に決定するために使用できます 11、12、13。 SEM は表面トポロジーに敏感であり、ファセット情報が失われる可能性があるためビーム方向に沿って情報を合計する (走査型) 透過型電子顕微鏡法 ((S)TEM) 法とは異なり、形態学的キラリティーと利き手を直接決定できます。利き手を決定するために使用されます14。したがって、ハイスループット SEM イメージングは、結果集団に対する合成変数の役割をより深く理解するために、キラルナノ粒子の大集団のサイズと利き手を測定する特に有望な方法です。ただし、高スループットのデータから手動で粒子統計を決定するのは、非常に手間がかかり、時間がかかります。画像分析用のニューラルネットワークの実装がますます容易になっているため、ディープラーニングは手動分析の有望な代替品となっています。しかし、ディープラーニングは大規模なトレーニングデータセットを必要とすることで知られており、依然として手作業によるラベル付けが必要です。つまり、ディープラーニングをキラリティー研究に適用するには、専門家のラベル付け要件により法外に時間がかかる可能性もあります。

キラル材料を生成する合成ルートでは、一方の利き手が他方の利き手に優先する場合が多いことを考慮すると、最初に支配的な利き手でラベルを付け、次にこれらのイメージをミラーリングして、データセット内のすべての粒子の利き手をラベル付けできることがわかりました。逆利きでラベル付けされたデータセット。このラベル付けプロセスは、図 1 に示されています。すべての画像に多数の利き手を使用してラベルを付けると、当然のことながら、利き手を持たなかった粒子の割合に等しい、誤ったラベルの特定の割合を含むデータセットが得られます。ほぼ片手のみが得られる合成条件では、この自動ミラーラベリング戦略は非常に成功しますが、他の条件では、大量の誤ってラベル付けされた画像が生成される可能性があります。次に問題は、ネットワークの精度が誤ってラベルされたデータによって妨げられないように、この自動ラベル付け方法を合成条件全体に拡張する方法になります。

MNIST 7 データセット上でトレーニングデータセットが自動的にラベル付けされ、データセット内のエラー率が制御されるミラーラベリング手順を示す概略図。 b キラルナノ粒子データセットからの両方のクラスの画像の例。スケールバー、100 nm。

機械学習コミュニティではノイズのあるデータセットとも呼ばれる、誤ってラベル付けされたデータセットから正確なモデルを生成することは、研究分野として拡大しています。深層学習はトレーニング中にランダムな入力を記憶できることが知られており 18、したがってランダムなラベルエラーを記憶する可能性があります。真の学習、ひいては一般化を可能にするのは、実際のデータを記憶する前に、データ内で繰り返されるモチーフがネットワークによって学習されることです19。したがって、ネットワークは入力を直接記憶しなくても、予測特徴を認識できます。したがって、ディープニューラルネットワークは、真のラベルに対して 100:1 の誤りがあるデータセットから真の信号を学習できます20。ディープニューラルネットワークのラベルエラー許容範囲をさらに拡張するために、いくつかの戦略が実装されています。これらの方法は、大きく 4 種類のアプローチに分類できます: (1) ラベルエラーロバスト技術 20、21、22、(2) ラベルエラー削減方法 23、24、(3) ラベルエラー推定 25、26、(4) 前処理パイプライン 27。このペーパーでは、ラベルエラーの堅牢性とラベルエラーの削減戦略に焦点を当てます。これらのメソッドに関するこれまでの研究は、多数のクラスを持つ実際の画像の非常に大規模なデータセットに対してこれらのメソッドがどのように実行されるかに焦点を当てていました。対照的に、顕微鏡データには、標準のコンピュータービジョンデータセットよりもクラスの数が少なく、はるかに小さいデータセットが含まれています。

制御された方法でラベル誤差の影響をテストするために、粒子の利き手のみがラベル誤差と相関する理想的なデータセットを作成します。理想的なデータセットを作成するには、すべての右手粒子の正確にラベル付けされたデータセットを手動で取得し、粒子の特定の部分をミラーリングして、図 1 で説明されているように指定されたラベル誤差部分を作成します。これにより、さまざまな可能な合成結果をモデル化できます。。これらの理想化されたデータセットを使用して、さまざまなラベル誤り率でトレーニングしたときのいくつかのニューラルネットワークのパフォーマンスをテストします。ネットワークが実際のラベル誤差に対して同じように機能するかどうかをテストするために、合成したままの左手粒子と右手粒子の顕微鏡写真でもニューラルネットワークをテストします。次に、理想化されたラベルエラーデータセットと実際のラベルエラーデータセットに対する 3 つのニューラルネットワークのパフォーマンスを調べます。

この研究では、大規模なラベル付きデータセットの作成やその他の監視を必要としない、ラベルエラーの堅牢性とラベルエラーを低減する方法に焦点を当てます。まず、標準的な畳み込みニューラルネットワーク (CNN) のパフォーマンスを調べます。ネットワークのアーキテクチャを図 1a に示します。これは、最終ドロップアウトおよび高密度ユニットを備えた 2 つの畳み込みブロックと最大プーリングブロックで構成されます。この標準 CNN を Han らによって開発された共同指導トレーニング手順と比較します 24。共同学習法では、エラーを含むデータセットで並行して学習した 2 つのネットワーク間の損失の差を使用して、誤ってラベル付けされたデータを削除します。クリーンアップされたデータセットは、パートナーモデルのトレーニングに使用されます。データセットのクリーニングと取引のこのプロセスが繰り返されます。一貫性を保つために、図 1a に示すように、共同教育の研究で使用した 2 つのタンデムネットワークは、テストした標準 CNN と同じアーキテクチャで構成されています。共同指導トレーニング手順の概略図を図 1c に示します。最後に、ラベルエラー推定とカリキュラム学習に触発された新しい方法を提案します28、29、30、31。この 2 ステップのトレーニング方法では、ラベルエラーのあるデータセットでトレーニングする前に、ラベルエラーのない非常に小さなデータセットを使用してネットワーク学習を開始します。ニューラルネットワークのアーキテクチャは、図 2a に示す標準 CNN と同じであり、トレーニング手順は図 2b に示されています。この新しい 2 段階の方法は、誤ったラベルを削除することでデータ損失を回避しながら、高いエラー率 32 であってもネットワークが関連する機能を学習できるようにするために、記憶効果を活用します。

すべてのネットワークは、パート a に示されているアーキテクチャを使用します。高さと幅でラベル付けされた機能を実装した畳み込みニューラルネットワークアーキテクチャの概略図。 b 2 ステップのトレーニング手順の概略図。ランダムにインスタンス化されたネットワークは、ネットワークの重みが転送され、ラベルエラーのあるデータセットを使用してトレーニングされる前に、エラーのないデータを使用して 1 つのトレーニングラウンド、つまりエポックでトレーニングされます。 c 共同指導トレーニング手順の概略図。 2 つのネットワークは並行してトレーニングされ、各トレーニングラウンド後に、十分に低い損失のデータのみをツインネットワークに渡すことによって、誤っていると判断されたラベルが削除されます。

これらの実験から、理想化されたデータセットの場合、ラベルエラー削減戦略と共ティーチング戦略は同様の精度率を達成しますが、その共ティーチング手法がラベルエラー率全体で最も一貫した結果をもたらすことを示します。合成されたままのデータセットで見られるように、ラベル誤差がキラリティー以外の粒子の外観の変動と相関している場合、共教法のみが高い精度を維持していることがわかります。私たちは、これらの方法の探求により、弱標識の幅広い応用が可能になり、ひいてはキラル材料コミュニティと材料コミュニティのより広範な深層学習が可能になることを願っています。

各手法について、異なるラベル誤差率のデータセットでトレーニングした後、50% の左手画像と右手画像を含むエラーのないグラウンドトゥルーステストセットでネットワークのパフォーマンスを評価しました。また、テストデータセット内の誤ってラベル付けされた左巻き粒子と誤ってラベル付けされた多数の右巻き粒子のヒストグラムをプロットすることにより、2 つのクラス間の誤差の分布を分析しました。一方のラベルを大幅に誤分類し、もう一方のラベルを誤分類しないと、計算されたクラス間の比率に大きな偏りが生じる可能性があり、これはキラリティーを研究する際に非常に重要な指標です。最後に、実際の合成手順からのデータに対するこれらの方法の使用をシミュレートするために、少数派の集団に属する粒子の一部を回収するネットワークの能力を評価します。少数派の母集団を正確に回復する能力を分析するために、トレーニングセットと同じ誤ったラベルの割合を持つテストセットを使用します。この 2 番目のテストセットを使用して、\(f(x)=\frac{{n}_{{left}}(x)}{{n}_{{{total}}}}\) をプロットします。ここで、x はトレーニングセットの誤ってラベル付けされた部分、nleft(x) はそのテストセットのネットワークによって左利きとラベル付けされた粒子の総数、ntotal はテストセット内の粒子の総数です。すべてのネットワークは、ラベルエラーを含むデータセットでトレーニングされました。ラベルエラー生成プロセスの概要は「方法」セクションで説明されており、図 1a に示されています。各メソッドについて、そのメソッドを使用して 3 つの別々のネットワークをトレーニングし、平均パフォーマンスメトリックと標準誤差をプロットしました。

3 つのラベルエラーに堅牢なニューラルネットワークのアプローチをテストする前に、まず、MNIST データセットの 7 の画像を使用して、さまざまな量のラベルエラーが存在する中でキラル画像を分類する学習を行う標準畳み込みニューラルネットワークの機能をテストしました。モデルのトレーニングセットには 10,024 個の画像が含まれ、テストセットには 1258 個の画像が含まれていました。使用されるアーキテクチャを図 2a に示します。図 3a は、標準 CNN が最大 42% のラベル誤差まで正確にクラスを学習できることを示しています。図 3b は、誤って分類された粒子の左利きと右利きの割合を示しており、分類誤差においても利き手に関する偏りが最小限であることを示しています。図 3c は、母集団が鏡像異性的に歪んでいる場合、対応する量のラベル誤差でトレーニングされたニューラルネットワークが、少数の利き手を持つ 7 の割合を正確に予測できることを示しています。これらすべてのメトリクスは、ミラーラベル付け手順が機能し、標準の CNN でさえも表示されたラベルエラーを処理できることを示唆しています。

a トレーニングセット内の誤差が増加した場合の、MNIST 7 つのエラーのないグラウンドトゥルーステストセットにおける標準 CNN の精度。 b テストセット内で誤って左利きまたは右利きとラベル付けされたセブンの割合。 c 左利きの割合を含むデータを使用してトレーニングされたネットワークによって予測された、人口における左利きの 7 の割合。誤差範囲は、各アーキテクチャを複数回トレーニングし、ネットワークの複数のバージョンによるテストセットの精度に関する標準誤差を計算することによって取得されます。

次に、MNIST データセットからの同じミラーラベリングとトレーニングプロトコルをキラル Te ナノ粒子の SEM 画像に適用しました。キラル粒子のサンプル画像を図1bおよび補足図に示します。 1～3。キラルナノ粒子モデルのトレーニングセットには拡張前の 3062 枚の画像が含まれ、テストセットには 382 枚の画像が含まれていました。拡張の詳細については、「方法」セクションに記載されています。左利きと右利きの集団の間に構造的な違いがある可能性はありますが、利き手が照明などの任意の画像特徴と相関しないことを保証するためにデータが増強されました。 SEM 画像上の標準 CNN では、図 4a に見られるように、エラーのないテストセットの精度はラベルエラーが 10% を超えると低下し始めます。ラベル誤差が 30% までは、妥当な精度が回復されます。処理できるラベルエラーの最大量を調べるために、サンプリングを 50% 近くの反転エラー (ランダムなラベル付けに近い) に増やしました。図 4b は、誤って分類された粒子のうち、左巻きと右巻きの割合を示しています。これは、ネットワークが平均して、高いラベル誤差で一方の利き手を他方の利き手よりも誤分類するかどうかに関してかなり一貫性がないことを示しています。図 4c は、鏡像異性的に歪んだ集団に対して、集団の誤ってラベル付けされた部分の正しい部分を回復するネットワークの能力を示しています。標準の CNN は、少数派の母集団の一部 (したがってトレーニングセット内で誤ってラベル付けされる) を最大 40% のラベルエラーまで正確に予測できます。

a Te トレーニングセット内のラベル誤差が増加した場合の、Te SEM データのエラーのないグラウンドトゥルーステストセットに対する各手法からのネットワークの平均精度。 b 各ネットワークによって誤分類された右手粒子と左手粒子の割合。 c 指定されたパーセントの左利き粒子を含む母集団について、そのパーセントの左利き粒子を使用したトレーニングに対応するネットワークを使用して予測された左利きの Te 粒子の割合。誤差範囲は、各アーキテクチャを複数回トレーニングし、ネットワークの複数のバージョンによるテストセットの精度に関する標準誤差を計算することによって取得されます。

共指導トレーニング法を使用した、さまざまなラベル誤り率の精度結果を図 4a に示します。非常に低いラベル誤差では、標準 CNN が共教示よりも高い精度を達成していることがわかります。ただし、ラベル誤差が 10% を超えて増加した場合、共教法は標準 CNN よりもはるかに高い精度を達成できます。共同指導ネットワークの利点の 1 つは、ラベルエラーが 0% から約 40% まで回復される精度が非常に安定していることです。共同教育ネットワークの約束の 1 つは、ラベルエラーが大量に含まれるデータセットでも正確なトレーニングに使用できることです。ただし、図 4a では、許容できるラベルエラーの量には依然として制限があることがわかります。ラベル誤差が 40% を超えると、精度が大幅に低下することが依然として観察されています。図4bに示すように、共教ネットワークは、ラベル誤り率が低い場合には一方の利き手をもう一方の利き手よりも多く誤分類することはありませんが、ラベル誤り率が42%を超えると、ネットワークは左利きの粒子を大幅に過剰予測しているように見えます。この誤分類の偏りは、検出された左巻き粒子の割合にも反映されています。図 4c は、共同教育ネットワークが平均して、ラベル誤差 42% を超えて少数ハンド粒子の数を大幅に過小評価していることを示しています。

共同指導と同様に、2 ステップトレーニングでは、ラベルエラーが約 40% まで良好に機能するネットワークが作成されます。共同ティーチングと標準 CNN は、精度の点で 2 ステップ法よりもわずかに優れている場合がありますが、2 ステップトレーニングがおそらく最も一貫した結果を生み出します。これは、2 段階のトレーニング手順が少数粒子の最も一貫した検出につながるという事実に反映されています。他の方法とは異なり、図 4c に見られるように、どの時点でも左巻き粒子の母集団を大幅に過大評価したり過小評価したりすることはありません。これは、図 4b に見られるように、トレーニング手順がトレーニングラベルエラーにおいていずれかのクラスに対して高いバイアスをもたらさないという事実の結果です。

実際のデータのパフォーマンスを評価するために、これらの方法を合成されたままの Te 粒子のデータセットに適用しました。合成されたままのケースと理想的なケースの違いは、理想的なケースではすべての右手系粒子から開始するため、すべての「左手系」粒子は右手系粒子の鏡像であることです。合成されたままのデータセットは、22% の左巻き粒子と 78% の右巻き粒子を含むサンプルからの粒子画像で構成されています。これらの粒子の調製は他の場所で見ることができます5。 2461 個の粒子画像のトレーニングセットを作成しました。次に、左手系粒子がサンプルの一部になったため、エラー作成ステップを行わずにミラーラベリング手順を使用しました。結果を表 1 に示します。標準 CNN および 2 ステップのトレーニング手順のパフォーマンスは、理想的なデータセットで得られたパフォーマンスと一致しません。標準的な CNN と 2 ステップのトレーニング手順では、許容できる精度に達していないことがわかります。高い精度を維持できるのはコティーチング方式だけです。

エラーのないテストセットでの精度を比較すると、CNN を MNIST データに適用すると、ほとんどのエラーレベルでキラルナノ粒子データセットを使用したトレーニングの結果よりも高い精度が得られることがわかります。キラルナノ粒子データセットと比較したネットワークの精度は、ネットワークがキラルナノ粒子の場合よりも単純な特徴空間に適合していることを示唆しています。 MNIST 入力画像は Te よりもはるかに小さいことに注意してください。これは、ネットワークサイズを同じに保つことで、MNIST ネットワーク内のピクセル数に比べてより多くの畳み込みカーネルが存在することを意味します。さらに、人間の観察者にとって、MNIST データセットには数字の 7 のプロトタイプの例がわずかしかなく、これらのプロトタイプからの逸脱がほとんどないことが容易にわかります。図 1a、b のデータを検査すると、7 つの画像の大部分がキラル形状に寄与している一方で、キラル粒子には粒子のキラリティーとは無関係な多くの特徴があることが明らかです。実際、キラル粒子の中心ファセットのみが粒子の利き手を決定します。したがって、各データセットでのトレーニング中にすべてのハイパーパラメーターを一定に保ったため、精度の違いの少なくとも一部は特徴空間の豊富さの違いによるものと解釈するのが合理的です。さらに、実際に分類タスクに寄与する特徴が少なく、より複雑な特徴空間を学習することが、キラルナノ粒子データセットでトレーニングされた CNN の精度が低くなる理由と考えられます。

MNIST データセットとキラルナノ粒子の特徴空間が制限されているのは、「ハードサンプル」 (ネットワークにとって学習が難しいサンプル) を含むデータセットと含まないデータセットに適用した場合のネットワークのラベルエラー堅牢性を比較する目的で設計されたものです。以前の研究で、CNN が難しい例を扱い、エラーにラベルを付けることが同様の方法で行われるという証拠が見つかったため、これは考慮することが重要でした 18,33。 MNIST データセット上で私たちが提案する標準 CNN のラベルエラーに強い性質を証明することで、より多くの可能な表現を持つ実際のキラル材料に同じミラーラベルスキームを適用する際の課題を切り分けることができます。我々は、この特徴空間の増加が、MNIST でトレーニングされたネットワークと比較して、高いラベル誤差が存在する場合のキラルナノ粒子データ、特に標準 CNN のネットワークのパフォーマンスが低下する原因であると仮説を立てています。この比較は、標準ニューラルネットワークのラベルラベル誤差のロバスト特性が特徴空間の豊富さに大きく依存していることを強調しています。

理想的な SEM データセットに関する私たちの結果は、採用する最適な方法はラベルのエラーと許容されるエラーの種類に依存することを示唆しています。一般に、2 ステップのトレーニングと共同ティーチングは、ラベルエラーが約 40% 以上になるまで高い分類精度を達成するため、ラベルエラーに対する堅牢性が向上します。

標準 CNN は、他の 2 つの方法ほどラベルエラーに対する堅牢性を示しません。これは、MNIST セブンでの標準 CNN の結果から逸脱しており、Te データセットによって提示されるより複雑な特徴空間では、標準 CNN のラベルエラー堅牢性がそれほど一貫していないことを示唆しています。

共同ティーチングは、ラベルのエラーを軽減する方法を検討する方法を提供します。ラベルエラーが非常に低い場合、共同ティーチングでは最も低い精度が達成されますが、これはトレーニング中に難しいサンプルを捨てることに関連している可能性があります18,33。ただし、トレーニングエラーが増加するにつれて、共同ティーチングが最も正確なトレーニング方法になります。ただし、トレーニングラベル誤差が高すぎると、共教法の精度が急速に低下し、精度が低下するものの誤分類のスキューの増加が示されない2ステップ法とは異なり、利き手を誤って分類する強いスキューが表示されます。おそらく、共教法には左手と右手の表現に関する事前知識が含まれていないため、一定のラベル誤り率を超えると、ラベル誤りと利き手の違いを区別できなくなり、その結果、パフォーマンスが急激に低下する可能性があります。

2 ステップ法は、低いトレーニングラベル誤差で標準 CNN とほぼ同じレベルの精度を達成しますが、共教法と同様に 40% を超えるラベル誤差でも高レベルの精度を維持することもできます。他のいくつかの事前トレーニング方法とは異なり、ラベルエラーのあるデータでトレーニングするときに、このデータを使用して追加の情報や重み付けスキームを推論しないため、高ラベルエラーでのこのパフォーマンスの向上は興味深いものです28、31。私たちの知る限り、この分野の他の研究では、ラベルエラー推定層やその他の修正手段をトレーニングするために小さな教師ありトレーニングセットが使用されていますが、ネットワークを初期化するための転移学習手順としては使用されていません。したがって、私たちが提示した結果は、ネットワークが主要な特徴間の正しい関係を学習できるように、厳選された、手動でラベル付けされた小さなデータセットを利用することによっても利益が得られることを示唆しています。私たちは、2 段階の方法は、ネットワークが初期のトレーニングラウンドでデータを記憶するのではなく単純な特徴を学習する傾向があるという事実を利用していると仮説を立てています 19,32。クラスの特徴を正しく学習するために、初期のトレーニングラウンドで小さなデータセットから簡単な表現を学習することに依存していますが、非常に小さなデータセットでネットワークを初期化することで、ネットワークが敏感に反応する表現を制限している可能性があります。これは、ラベル表示要件と一般化の間の 2 段階の方法に固有のトレードオフがあることを示しており、これについては今後の研究で検討する必要があります。学習される初期表現を制限することも、トレーニングラベルの誤差が低い場合にわずかに低い精度が得られる理由を説明する可能性があります。

共同ティーチング法と 2 ステップ法の間の誤分類バイアスの違いが、提示された条件下でこれら 2 つの手法を真に区別するものです。これまでの研究では、教師なしデータセットを使用してネットワークを事前トレーニングすると、事前トレーニングが正則化機能として機能するため、一般化が向上することが示されています 34。事前トレーニングには教師ありトレーニングセットを使用しますが、2 つのネットワーク間の誤分類バイアスの違いは、特に高レベルのトレーニングラベルエラーでは、最初のトレーニングラウンドでネットワークがよりバランスの取れた学習に制約されていることを裏付けています。開発材料の利き手に及ぼす合成パラメータの影響を理解するには、利き手の比率を一貫して回復できることが不可欠であるため、この観察は提案されたアプリケーションにとって重要な発見です。

理想的なデータセットと合成されたままのデータセットにおける 3 つの方法のパフォーマンスの違いは、合成されたままの左巻き粒子と右巻き粒子の間に存在する交互の特徴の重要性を浮き彫りにします。合成されたままの画像（補足図3に示す）を分析すると、サンプル中の少数の左巻き粒子につながる成長により、それらの左巻き粒子のキラルファセットが小さくなったことも明らかです。全体的に粒子も小さくなりました。したがって、合成されたままの場合、学習すべき複雑な特徴空間だけでなく、ラベル誤差と直接相関する画像特徴も存在します。この特徴相関ラベルのエラーは、調査した方法に明らかに影響を及ぼします。拡張によって標準的な CNN および 2 ステップのトレーニング方法での学習が可能でなかったという事実は、粒子の形状とコントラストには相関関係のある他の側面があることを示唆しています。全体として、これらの結果は、ラベルノイズが他の特徴の変動と相関している場合、ここで検討した方法のうちでは共教アプローチが最良の方法であることを示しています。少数派のクラスを区別する特徴 (したがって、誤ったラベルが付けられたデータ) は、実際に共同指導法の成功に貢献している可能性があります。これらの特徴は学習され、パフォーマンスの向上に除外される可能性があるためです。今後の作業では、理想的なデータセットと実際のアプリケーションとの間のこれらの違いを認識する必要があります。

合成されたままの分析は、ほとんどの実験アプリケーションでは、共教法が最良のアプローチであることを示しています。合成されたままのデータセットには、22% のラベルエラーに対応する 22% の少数利き手が存在しました。これは比較的高いラベル誤差であり、たとえ左利きと右利きの集団の間に構造的な違いがあるとしても、共教法が実験条件に対処できることを示唆しています5。理想的なデータセットのように、サンプルが真のエナンチオマーであり、したがってミラー操作によってのみ変化する場合、キラルナノマテリアルコミュニティでミラー標識アプローチを実際に適用するには、これらのネットワークから選択する必要がある 2 つの明確なユースケースが存在します。一方の利き手が他方の利き手よりもはるかに優先される合成ルートの場合、標準 CNN をトレーニングすると、最も正確な母集団統計が得られる可能性が最も高くなります。これは、この条件下では、ミラーラベリング手法によりラベルエラーが低くなるためです。合成条件により左右の粒子のバランスが取れ、ラベル誤差が高くなるキラリティー研究の場合、2 ステップニューラルネットワークが最適なオプションです。このネットワークは正確な結果を提供し、集団間のクラス予測に偏りがほとんどないためです。。

ここで開発された 3 つのメソッドにはいくつかの使用例があります。説明した自動ミラーラベリングシステムは、SEM キラル画像解析の領域だけでなく、キラル構造が幾何学的に関連する画像をもたらすあらゆるイメージング方法にも使用できます。キラリティー分類以外にも、開発されたラベルエラーに強い手法は、顕微鏡コミュニティ全体で幅広い使用例が考えられます。

要約すると、これらの結果は、他の顕微鏡データセットに対して当社のような自動ラベル付けシステムを活用するための洞察を与えます。私たちは自動ラベル化を、キラリティーコミュニティだけでなく、データセットが大きすぎて現実的に手動でラベル付けできないその他の材料の間でも、分析のための潜在的な手段であると考えています。特徴空間の豊富さと CNN のラベルエラーの堅牢性の間のトレードオフを示しました。これらの手法を他の研究に使用する場合は、これを考慮する必要があります。ラベルエラーロバストな手法とラベルエラーを低減する手法の両方が、小規模なデータセットに対して良好に機能することを示しました。ただし、2 ステップトレーニングと共同ティーチングの両方が、標準 CNN に固有のラベルエラーの堅牢性をはるかに上回っていることがわかりました。実際の応用では、共同指導法は他の方法よりもはるかに優れています。これらの結果は、これらの方法を適用すべき条件を示しています。

既知のラベルエラー (誤ってラベル付けされた画像の既知のパーセンテージ) のデータセットは、エラーのない右手画像のデータセットから開始することによって生成されました。データセットを生成する前に、MATLAB データラベラーソフトウェアを使用して粒子を手動でセグメント化しました。図 1 に示すように、画像の設定パーセンテージ (0 ～ 50% の範囲で変化) がランダムに選択され、ミラーリングされました。その後、データセット内のすべての画像が右利きであるとラベル付けされました。次に、すべての画像がミラーリングされ、すべての画像が左利きとしてラベル付けされたデータセットが作成されました。この手順により、特定の画分が常にそのラベルとは反対の方向を向くことが保証されます。トレーニングのためのすべての画像拡張は、この操作の後に実行されました。この方法を 2 つのデータセットに適用しました。 1 つ目は、MNIST データセットの Keras 実装からの 7 番目のサンプルです。 7 はキラルな形状であるため、7 という数字を使用することにしました。 2 番目のデータセットは、専門家によって手動でセグメント化され、ラベル付けされた右巻き Te キラルナノ粒子で構成されていました。完全なデータセットは 1914 個の右手系粒子で構成されており、これらがミラーリングされて合計 3828 個の左手系および右手系ナノ粒子画像のセットが作成されます。全体として、データの 80% がトレーニングセット、10% が検証セット、10% がテストセットで使用されます。トレーニング中、画像は 180 度回転、5 度回転、画像の最大 30% ズーム、および 10% シャーリングの組み合わせを使用して拡張されます。拡張は、Keras ネットワークのトレーニング用にエポック (トレーニングラウンド) ごとに 91,840 枚の画像、PyTorch ネットワーク用の 97,984 枚の画像のデータセットを作成するために使用されます。画像数の違いは、Keras と PyTorch の拡張実装の違いによるものです。

ニューラルネットワークは Keras で開発されました。シンプルな CNN が MNIST と Te の両方のナノ粒子データセットに実装されました。これには 2 つの畳み込み残差ユニットが含まれており、その概略図を図 2a に示します。各残りのユニットには、畳み込み層、ReLu 層、および最大プーリング層が含まれていました。残りのユニットの後、フィーチャは平坦化され、緻密層、ドロップアウト、および最後の緻密層に渡されます。次に、高密度層からのロジットがソフトマックス活性化関数に渡されます。トレーニングは、カテゴリカルクロスエントロピー損失関数と adadelta オプティマイザーを使用して行われました。学習率は 0.001、バッチサイズは 32、100 エポック実行されました。検証損失が減少した場合にのみモデルの重みが保存されるように、モデルのチェックポイント設定が使用されました。

2 ステップのトレーニング用に実装されたネットワークも Keras で開発され、標準の CNN と同じニューラルネットワークアーキテクチャが採用されています。概略図を図 2b に示します。ネットワークのトレーニングは 2 つの異なるステップで構成されます。まず、ネットワークは、エラーのないラベルが付いた非常に少数の画像セットでトレーニングされます。この最初のステップでは、10 個の左手粒子イメージと 10 個の右手粒子イメージを使用しました。これらは、エポックあたり 288 個のサンプルを表すように拡張されました。ネットワークは、10 エポックの間、エラーのない小さなトレーニングセットでトレーニングされます。その後、ネットワークは標準 CNN と同じ方法で 100 エポックにわたってトレーニングされます。

ネットワークは PyTorch を使用して開発されました。コードと手順は、Han らの研究から採用されました 24。共教法では、2 つの同一の CNN が作成されます。トレーニングのために、2 つの別々のデータバッチが各ネットワークに与えられます。損失が特定のしきい値を下回るデータはトレーニングのために他のネットワークに渡され、それを超えるデータは削除されます24。手順の概略を図 2c に示します。このようにして、誤ったラベルが付いたデータは損失が大きくなるという想定の下、誤ったラベルが削除されます。 2 つの CNN のアーキテクチャは、Keras ベースの利き手分類器で使用される CNN アーキテクチャと一致するように変更されました。唯一の違いは、層実装の違いを補うために平均プーリング層が追加されたことです。モデルは同じデータセットでトレーニングされました。学習率は 0.001、バッチサイズは 128、エポックの最大数は 40 でした。

水溶液中に懸濁したテルルナノ粒子をシリコンウェーハ上にドロップキャストした。顕微鏡写真は、作動距離 2 mm のスルーレンズ検出器を使用して、FEI Helios G4 UX で 2 kV で取得しました。画像は Maps 2.5 ソフトウェアを使用して収集されました。このソフトウェアは、ナノ粒子の集合の約 1200 枚の画像 (それぞれ約 1400 x 900 ピクセル) のグリッドを収集しました。この大規模な買収は、同じ Maps 2.5 ソフトウェアを使用してつなぎ合わされました。大きな画像からナノ粒子を手動でセグメント化し、ニューラルネットワーク用の小さな入力画像を作成しました。サンプル画像を補足図2に示します。

この合成は、Ben-Moshe et al.4 によって開発された方法論にいくつかの変更を加えたものに従っています。５．５ｍｌの水、１５ｍｇのＴｅＯ２、および２０μｌのＮａＯＨ（Ｈ２Ｏ中１Ｍ）を２０ｍｌのガラスバイアル中で（室温で）激しく撹拌し、その後２．５ｍｌのヒドラジン水和物（８０％溶液）を一度に加えた。次いで、ヒドラジンの添加から２５秒後、１ｍｌのＤ－ペニシラミンの１００ｍＭ溶液（ＮａＯＨ溶液を使用してｐＨ１１に調整）を一度に添加した。３時間後に、１００ｍＭＳＤＳ溶液で２倍に希釈することによって反応を停止させ、その後、遠心分離（６０００ＲＰＭ、１０分間）および水への分散を使用する洗浄サイクルを繰り返した。

この研究の結果を裏付けるすべての画像とラベルのデータは、Zenodo: https://doi.org/10.5281/zenodo.500904235 で入手できます。

この研究のすべてのコードは、https://github.com/ScottLabUCB/LabelFreeChirality で入手できます。

Ma、W.ら。キラルナノロッドアセンブリによるアトモルDNA検出。ナット。共通。 4、2689 (2013)。

Wang, P.-p、Yu, SJ & Ouyang, M. 無機キラルナノ結晶と階層的キラリティの構築された超構造。混雑する。化学。社会 139、6070–6073 (2017)。

記事 CAS Google Scholar

Zhang、H.ら。生体模倣触媒のためのキラルナノ材料の工学。化学。科学。 11、12937–12954 (2020)。

記事 CAS Google Scholar

Ben-Moshe、A. et al. キラル生体分子を用いた無機ナノ構造における格子および形状キラリティーのエナンチオ選択的制御。ナット。共通。 5、4302 (2014)。

Ben-Moshe、A. et al. テルルナノ結晶におけるキラリティ転移の連鎖。サイエンス 372、729–733 (2021)。

記事 CAS Google Scholar

Wang, P.-p、Yu, S.-J.、Govorov, AO & Ouyang, M. 無機ナノ構造における原子キラリティーの共同発現。ナット。共通。 8、14312 (2017)。

記事 CAS Google Scholar

Ma、W.ら。キラル無機ナノ構造。化学。改訂 117、8041–8093 (2017)。

記事 CAS Google Scholar

Hananel, U.、Ben-Moshe, A.、Tal, D. & Markovich, G. 本質的にキラルなナノ結晶のエナンチオマー制御。上級メーター。 32、e1905594 (2020)。

ディ・グレゴリオ、MC 他分子レベルおよび形態レベルでの単結晶におけるキラリティーと構造の複雑さの出現。ナット。共通。 11、380 (2020)。

記事 Google Scholar

シン、V.ら。キラル結晶および単結晶の異常な表面テクスチャ、寸法および形態の変化。アンジュー。化学。内部。エド。 60、18256–18264 (2021)。

記事 CAS Google Scholar

キム、H.ら。 γ-グルタミルシステインおよびシステイニルグリシンによるキラル金ナノ粒子の成長とその結晶学的解析。アンジュー。化学。内部。エド。 59、12976–12983 (2020)。

記事 CAS Google Scholar

チョー、NHら。システインは、パラジウムナノ粒子におけるキラル形態を誘導した。一部。一部。システム。キャラクター。 36、1–5 (2019)。

Google スカラー

Rafiei Miandashti, A.、Khosravi Khorashad, L.、Kordesch, ME、Govorov, AO & Richardson, HH 金ナノ粒子ヘリコイドにおける光熱キラリティーの実験的および理論的観察。 ACS Nano 14、4188–4195 (2020)。

記事 CAS Google Scholar

Dong, Z. & Ma, Y. 収差補正された走査透過型電子顕微鏡を使用したキラル結晶の原子レベルでの利き手の決定。ナット。共通。 11、1–6 (2020)。

記事 CAS Google Scholar

JM Ede、電子顕微鏡における深層学習。マッハ。学ぶ: 科学。テクノロジー。 2、011004 (2021)。

Google スカラー

Chollet、F.ら。ケラス。 https://keras.io (2015)。

Paszke、A. et al. PyTorch: 命令型スタイルの高性能深層学習ライブラリ。 In Advances in Neural Information Processing Systems 32 (Wallach, H. et al. 編) 8024–8035 (Curran Associates, Inc.、2019)。

Zhang, C.、Recht, B.、Bengio, S.、Hardt, M.、Vinyals, O. 深層学習を理解するには、一般化を再考する必要があります。第 5 回学習表現に関する国際会議、ICLR 2017 – Conference Track Proceedings (ICLR、2017)。

Arpit、D. et al. ディープネットワークにおける記憶を詳しく見てみましょう。第 34 回機械学習国際会議議事録、Vol. Proceedings of Machine Learning Research (Precup, D. & Teh, YW 編) 233–242 (PMLR、2017) の 70。

Rolnick, D.、Veit, A.、Belongie, S.、Shavit, N. 深層学習は、大量のラベルノイズに対して堅牢です。プレプリントは https://arxiv.org/abs/1705.10694 (2017) にあります。

Wang, Y. et al. ノイズの多いラベルを使用した堅牢な学習のための対称クロスエントロピー。コンピュータービジョンに関する IEEE/CVF 国際会議議事録 (ICCV、2019 年)。

Patrini, G.、Rozza, A.、Krishna Menon, A.、Nock, R. & Qu, L. ディープニューラルネットワークをラベルノイズに対して堅牢にする: 損失補正アプローチ。コンピュータービジョンとパターン認識に関する IEEE 会議議事録 (CVPR、2017)。

Thulasidasan, S.、Bhattacharya, T.、Bilmes, J.、Chennupati, G.、Mohd-Yusof, J. 棄権を使用した深層学習におけるラベルノイズとの闘い。 Chaudhuri, K. & Salakhutdinov, R. (編著) 第 36 回機械学習国際会議議事録、Vol. Proceedings of Machine Learning Research、6234–6243 (PMLR、2019) の 97。

ハン、B.ら。共同教育: 非常にノイズの多いラベルを使用したディープニューラルネットワークの堅牢なトレーニング。神経情報処理システムの進歩、Vol. 31 (Bengio, S. 他編) (Curran Associates, Inc.、2018)。

Arazo, E.、Ortego, D.、Albert, P.、O'Connor, N. & Mcguinness, K. 教師なしラベルノイズモデリングと損失補正。第 36 回機械学習国際会議議事録、Vol. Proceedings of Machine Learning Research (Chaudhuri, K. & Salakhutdinov, R. 編) 312–321 (PMLR、2019) の 97。

Dgani, Y.、Greenspan, H.、Goldberger, J. 医療画像に対する信頼性の低い人間による注釈に基づいてニューラルネットワークをトレーニングします。 2018 年、IEEE 15th International Symposium on Biomedical Imaging 39-42 (ISBI、2018)。

Karmi, D.、Dou, H.、Warfield, SK、Gholipour, A. ノイズの多いラベルを使用したディープラーニング: 医療画像分析における技術と救済策の探索。医学。アナル画像。 65、101759 (2020)。

記事 Google Scholar

Hendrycks, D.、Mazeika, M.、Wilson, D. & Gimpel, K. 信頼できるデータを使用して、深刻なノイズによって破損したラベル上のディープネットワークをトレーニングします。神経情報処理システムの進歩、Vol. 31 (Bengio, S. 他編) (Curran Associates, Inc.、2018)。

クラウス、J.ら。ノイズの多いデータが、きめ細かい認識に不合理に有効であること。『コンピュータービジョン – ECCV 2016』 (Leibe, B.、Matas, J.、Sebe, N.、Welling, M. 編) 301–320 (Springer International Publishing、Cham、2016)。

Frénay, B. & Verleysen, M. ラベルノイズ存在下での分類: 調査。 IEEEトランス。ニューラルネットワーク。学ぶ。システム。 25、845–869 (2014)。

記事 Google Scholar

Veit、A.ら。最小限の監視でノイズの多い大規模データセットから学習します。コンピュータービジョンとパターン認識に関する IEEE 会議議事録 (CVPR、2017)。

ヤオ、Q.、ヤン、H.、ハン、B.、ニウ、G.、クォック、JT-Y. ノイズの多いラベルを使用した学習における暗記効果を活用する検索。第 37 回機械学習国際会議議事録、Vol. 機械学習研究論文集の 119 (編 III、HD & Singh、A.) 10789–10798 (PMLR、2020)。

Feldman, V. 学習には暗記が必要ですか? 長い尾についての短い物語。 954–959 (Association for Computing Machinery、米国ニューヨーク州ニューヨーク、2020)。

Erhan, D.、Manzagol, P.-A.、Bengio, Y.、Bengio, S.、Vincent, P. ディープアーキテクチャのトレーニングの難しさと教師なし事前トレーニングの効果。第 12 回人工知能と統計に関する国際会議議事録、Vol. Proceedings of Machine Learning Research (van Dyk, D. & Welling, M. 編) 153–160 (PMLR、ヒルトンクリアウォータービーチリゾート、クリアウォータービーチ、米国フロリダ州、2009 年)。

Groschner, C. et al. ラベルノイズに強い深層学習を使用したキラルナノ材料の利き手の分類。 https://doi.org/10.5281/zenodo.5009042 (2021)。

リファレンスをダウンロードする

分子鋳造所での作業は、契約番号 DE-AC02-05CH11231 に基づき、米国エネルギー省基礎エネルギー科学局科学局の支援を受けました。この資料は、助成金番号 DGE-1752814 に基づいて米国科学財団大学院研究フェローシップによって支援された研究に基づいています。この研究は、国立科学財団 STROBE 助成金 DMR-1548924 によっても支援されました。著者らは、SEM データを収集してくれた Alexander Mueller に感謝したいと思います。

米国カリフォルニア州バークレーのカリフォルニア大学バークレー校材料科学工学部

CK グロシュナー & MC スコット

バーミンガム大学物理天文学部（バーミンガム、英国）

アレクサンダー・J・パティソン & ヴォルフガング・タイス

カリフォルニア大学バークレー校化学科、バークレー、カリフォルニア州、米国

アサフ・ベン・モシェ & A. ポール・アリビサトス

ローレンス・バークレー国立研究所、材料科学部門、米国カリフォルニア州バークレー

アサフ・ベン・モシェ & A. ポール・アリビサトス

分子鋳造所、ローレンス・バークレー国立研究所、バークレー、カリフォルニア州バークレー

MCスコット

PubMed Google Scholar でこの著者を検索することもできます

MCS と WT がプロジェクト全体を構想しました。 AB-M。ナノ粒子を合成した。 CKG はミラーエラーラベル付け手順を実装し、ニューラルネットワークをトレーニングしました。 CKG と AJP はネットワークを最適化しました。 MCS と CKG が原稿を書きました。すべての著者が原稿についてコメントしました。

MCスコットへの手紙。

著者らは競合する利害関係を宣言していません。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Groschner、CK、Pattison、AJ、Ben-Moshe、A. 他ラベルエラーロバストディープラーニングを使用したキラルナノマテリアルの利き手の分類。 npj コンピューティングメーター 8、149 (2022)。 https://doi.org/10.1038/s41524-022-00822-7

引用をダウンロード

受信日: 2021 年 6 月 20 日

受理日: 2022 年 6 月 3 日

公開日: 2022 年 7 月 12 日

DOI: https://doi.org/10.1038/s41524-022-00822-7

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

KHS の InnoPET TriBlock 用自動ライン切り替え

ChatGPT を使用すると、5 つのステップで Python でグラフを作成できます

ブログ

ラベルエラーロバストディープラーニングを使用したキラルナノ材料の利き手の分類