ディープラーニングモデルとLiDARカメラを使用した圧迫損傷の自動セグメンテーションと測定

Rapporti scientifici Volume 13,

Scientific Reports volume 13、記事番号: 680 (2023) この記事を引用

1221 アクセス

1 引用

3 オルトメトリック

メトリクスの詳細

褥瘡は、予後不良、長期入院、高齢化社会における医療費の増大を引き起こす一般的な問題です。この研究では、深層学習モデルと光検出測距 (LiDAR) カメラを使用して、褥瘡の自動セグメンテーションと領域測定を行う方法を開発しました。私たちは、2016 年から 2020 年までに国立台湾大学病院で合計 528 枚の褥瘡を負った患者の最も優れた写真を選択しました。褥瘡の縁は、3 人の認定形成外科医によってラベル付けされました。ラベル付きの写真は、Mask R-CNN と U-Net によってセグメンテーション用にトレーニングされました。セグメンテーションモデルを構築した後、LiDAR カメラを介して創傷面積の自動測定を行いました。私たちは、このシステムの精度をテストするために前向き臨床研究を実施しました。自動創傷セグメンテーションについては、外部検証において U-Net (ダイス係数 (DC): 0.8448) のパフォーマンスがマスク R-CNN (DC: 0.5006) よりも優れていました。この前向き臨床研究では、自動創傷面積測定システムに U-Net を組み込み、従来の手動方法と比較して平均相対誤差 26.2% を達成しました。当社のセグメンテーションモデル、U-Net、面積測定システムは許容可能な精度を達成し、臨床環境に適用できるようになりました。

軟部組織の長時間にわたる圧迫によって引き起こされる褥瘡は医療システムに大きな負担を与え、世界中で何百万人もの患者が影響を受けています。米国では褥瘡の治療に年間 110 億ドル以上の費用がかかります。個々の患者のケアにかかる費用は、褥瘡 1 件あたり 20,900 ドルから 151,700 ドルの範囲です1。

新型コロナウイルス感染症（COVID-19）のパンデミックが蔓延するこの時代、医療施設で治療を受けるために患者を搬送することは、新型コロナウイルス（COVID-19）に感染するリスクを高めます。したがって、これらの患者の創傷ケアのための遠隔医療は、医療費の削減、感染源の回避、治療の効率化に役立つ可能性があります。遠隔医療では、創傷治癒の軌跡を監視し、将来の介入を決定するための慢性創傷の評価と管理には、創傷領域の正確な測定が不可欠です。しかし、手動測定は時間がかかり、第一線の介護者にとっては不便です。創傷領域を自動的に測定できるシステムを構築するには、まず創傷のセグメンテーションを行う必要があります。

創傷セグメンテーションに関するこれまでの研究は、従来の手法と深層学習手法の 2 つのグループに大別できます。最初のグループの研究では、K 平均法クラスタリング、エッジ検出、しきい値処理、領域拡大などの従来のアルゴリズムを使用した手動の特徴抽出が適用されます2、3、4、5、6。これらの方法には次の制限があります。(1) 多くのコンピュータビジョンシステムと同様に、手作りの特徴は環境と画像解像度の影響を受けます。 (2) 重篤な病状やまれなケースに対して免疫がありませんが、これらは臨床状況では非常に非現実的です。

従来の方法とは異なり、人間の脳のニューラルネットワークの構造に基づく深層学習方法は、医療画像処理において有望なパフォーマンスを示しています7。 2012 年の ImageNet の大規模視覚認識チャレンジで AlexNet8 が成功を収めて以来、ディープ畳み込みニューラルネットワーク (CNN) を使用したコンピュータービジョンの分野でのディープラーニングのアプリケーションの開発が始まりました。 CNN は特徴を抽出し、トレーニング時にその重要性を判断します。セグメンテーションに成功した CNN アーキテクチャの 1 つは、完全畳み込みニューラルネットワーク (FCN)9 です。 FCN は、全結合層を持たず、畳み込み層のみで構成されます。創傷セグメンテーションの問題を解決するために、いくつかの FCN ベースのモデルが提案されています。たとえば、Wang et al. は、創傷セグメンテーションのためのバニラ FCN アーキテクチャを提案しました 10。ただし、セグメンテーションの Dice 係数は 64.2% にすぎませんでした。ゴヤルら。は、創傷画像に関する FCN-16 アーキテクチャを提案しました 11。彼らは、データセットで 79.4% の Dice 係数を達成することができました。ただし、ネットワークは滑らかな輪郭を描く傾向があるため、小さな傷や不規則な境界を持つ傷を区別する場合、ネットワークのセグメンテーション精度は制限されます。劉ら。は、バニラ FCN のデコーダを双線形補間でアップサンプリングされたスキップ層連結に置き換える新しい FCN アーキテクチャを提案しました。複雑な背景を持つ制御されていない照明環境下で撮影された 950 枚の画像のデータセットで、Dice の精度 91.6% が達成されました。ただし、データセット内の画像には、分水界アルゴリズムを使用して半自動的に注釈が付けられました。王ら。は、MobileNetV2 に基づく新しい畳み込みフレームワークと、自然画像から創傷領域をセグメント化するためのコンポーネントのラベル付けを接続し、90.47% の Dice 係数を達成しました13。チャンら。褥瘡をセグメント化するためのスーパーピクセルセグメンテーション支援ラベリングに基づいて、U-Net、DeeplabV3、PsPNet、FPN、Mask R-CNN の 5 つの深層学習モデルをテストしたところ、DeeplabV3 が精度 0.992514 で最高のパフォーマンスを示しました。ただし、外部検証は行われませんでした。創傷セグメンテーションのための深層学習は現在信頼できる技術となっており、いくつかの研究で包括的な結果が得られています。

創傷の自動セグメンテーションが実行された後、創傷の長さと面積を計算するために深さ情報を取得するために別のハードウェアデバイスが必要になります。 LiDAR (光検出および測距) は、レーザーで物体をターゲットにし、反射光が受信機に戻る時間を測定することによって範囲 (可変距離) を決定する技術です。カメラと LiDAR デバイスを併用すると、3D および 2D 情報を取得し、理論的には現実世界の物体の長さと面積を取得できます。

私たちの研究の目的は、(1) 高精度の完全自動セグメンテーションモデルの実行、(2) LiDAR を備えたカメラによる自動創傷面積測定の実行に焦点を当てました。

セグメンテーションモデルをトレーニングするには、ラベル付けされた臨床写真の大規模なサンプルが必要でした。私たちは、2016年から2020年に国立台湾大学病院で褥瘡と診断された患者の医療記録を遡及的に調査しました。記録から収集した 1,038 枚の写真のうち、ぼやけている写真、露出オーバー、露出不足、不明瞭な写真、または傷以外の識別可能な物体や特徴が多すぎる写真を除外しました。最後に、合計 528 枚の褥瘡の写真を選択して含めました。トレーニングと内部検証には 2016 年から 2019 年の 327 枚の写真を使用し、外部検証には 2019 年から 2020 年の 201 枚の写真を使用しました。自動面積測定システムを構築した後、その精度を検証するための前向き研究を実施しました。詳細については後のセクションで説明します。私たちの研究のすべての方法が関連するガイドラインと規制に従って実行されたことを確認し、この研究は国立台湾大学病院の倫理委員会（202005032RINB）によって承認されました。すべての患者の名前とその他の識別情報は分析前に削除されました。

3 人の学会認定の形成外科医が採用され、ラベル付けツール「LabelMe」を使用して、病期分類に関係なく褥瘡の縁にラベルを付け、json ファイルとして保存しました。和田健太郎氏によるオープンソースプログラムである LabelMe アノテーターツールを使用すると、多角形、長方形、円形、および尖った形状に注釈を付けることができます15。単一のコンセンサス結果を得るために、すべての写真に共同ラベルが付けられました。

褥瘡の写真はさまざまな医療記録から収集したものであるため、サイズが均一ではありませんでした。すべてのラベル付き画像は 512*512 ピクセルにサイズ変更されました。これらの画像をセグメント化するために、U-Net と Mask R-CNN という 2 つの深層学習アーキテクチャを ResNet101 バックボーンと組み合わせて適用しました。

Olaf らによって提案された U-Net16 は、オブジェクトセグメンテーションタスクの特徴を抽出して保存するための U 字型アーキテクチャを備えた畳み込みネットワークの一種です。最初に生物医学画像を処理するために設計された U-Net は、入力結果と出力結果のサイズが同一になるように各ピクセルを各クラスに分類することで、セグメンテーションを位置特定して区別する機能を備えています。

U-Net アーキテクチャの主な部分は、縮小 (ダウンサンプリング) パスと呼ばれる左側のパスと、拡張層の転置 2 次元畳み込み (アップサンプリング) で構成される右側のパス、およびスキップ接続です。ダウンサンプリングパスからアップサンプリングパスへの機能マップを共有します。 CNN の繰り返し適用であるダウンサンプリングパスは、それぞれ 2 つの 3 × 3 畳み込みで構成され、その後に修正線形ユニット (RELU) のアクティブ化と特徴チャネルの 2 × 2 最大プーリングが続き、特に画像から特徴を抽出するために使用されます。空間情報が減少します。一方、アップサンプリングパスは、各ステップが 2 × 2 の畳み込み (「アップ畳み込み」) で構成され、特徴チャネルの数を半分にしてマージする一連のアップ畳み込みを通じて特徴と空間情報を結合します。ダウンサンプリングパスからの特徴マップを使用して各ピクセルを分類します。さらに、ダウンサンプリングパスで発生する空間情報の損失に対処するために、著者らはスキップ接続を導入しました。スキップ接続の主な機能は、アップサンプリングパスがダウンサンプリングパス中に減少した情報を再構築し、より適切な特徴表現を学習できるように、ダウンサンプリングパスからアップサンプリングパスに高解像度の特徴マップを配信することです。次の畳み込みを伴う。

私たちの研究では、回転、シフト、スケール、ガウスぼかし、コントラスト正規化などの標準的な拡張を使用してモデルをトレーニングしました。私たちは、畳み込みパスを ResNet-101 バックボーン 17 に置き換えて U-Net をトレーニングしました。これにより、データからより多くの特徴を探索して学習できるようになります。次に、1,400 万枚以上のラベル付き写真が存在する ImageNet18 などの大規模な物体検出、セグメンテーション、およびキャプションデータセットから導出された事前トレーニング済みモデルの重みを使用してネットワークを初期化できます。標準的な Dice 損失が損失関数として選択されました。式は次のように与えられます。

∈ 項は、精度と再現率が空の場合に 0 で除算する問題を回避するために使用されます。

Mask R-CNN19 は、2017 年 4 月に Facebook AI 研究チーム (FAIR) によって開発された最先端の深層学習モデルです。Mask R-CNN は、インスタンスのセグメンテーションの問題を解決する Faster R-CNN の拡張バージョンであり、同じクラス内のオブジェクトを個々のインスタンスとして区別できます。

マスク R-CNN は、バウンディングボックス予測ブランチの組み合わせと並行して、マスク予測を別のブランチに独立して分離します。それは 2 つの段階で構成されます。最初の段階では、地域提案ネットワーク (RPN) が画像内のオブジェクトの地域提案を生成します。第 2 段階では、分類を行う機能を持つバイナリマスク分類器が、RPN から提案された境界ボックスを改善し、オブジェクトにマスク予測を追加します。

マスク R-CNN の実装では、大規模なオブジェクト検出、セグメンテーション、およびキャプションデータセットである事前トレーニング済み Microsoft COCO (common object in context) データベース 20 からの重みを使用して ResNet-101 バックボーンを使用してモデルをトレーニングしました。。マスク R-CNN は、L = Lclass + Lbox + Lmask で与えられるマルチタスク損失関数を使用します。 Lclass コンポーネントには、マスク R-CNN クラス損失 (マスク R-CNN オブジェクト分類の失敗) に追加された RPN クラス損失 (オブジェクト予測を背景から分離する領域提案ネットワークの失敗) が含まれています。 Lbox コンポーネントには、マスク R-CNN 境界ボックス損失 (オブジェクト位置特定またはマスク R-CNN による境界の失敗) に追加された RPN 境界ボックス損失 (オブジェクト位置特定または RPN による境界の失敗) が含まれます。最後のコンポーネント Lmask 損失は、Mask R-CNN オブジェクトマスクセグメンテーションの失敗を構成します。

iPhone 12 ProやiPad Pro、あるいはそれ以上の高度なタイプのスマートフォンやタブレットに搭載されているLiDAR（光検出測距）技術は、レーザーで物体をターゲットにし、距離を測定することで距離（可変距離）を決定する方法です。反射光が受信機に戻るまでの時間を測定します。

最初にカメラは 2 次元 (2D) 画像を取得し、LiDAR センサーは検出したいシーン内の褥瘡の深度情報を取得します。カメラと LiDAR モジュールの中心点は異なり、これら 2 点間の距離は約 1.5 cm ですが、Apple Inc. はユーザー向けにカメラと LiDAR の間の点一致キャリブレーションをすでに行っています。したがって、ユーザーはカメラからの 2D 画像と LiDAR センサーからの深度画像の点一致について心配する必要はありません。

したがって、以前に構築したセグメンテーションモデルを使用して 2D 画像を分析し、2D 座標で創傷の境界を取得します。 2D 画像と深度情報を使用すると、カメラの内部行列と外部行列を使用して 2D 座標を 3 次元 (3D) の創傷座標に変換できます。最後に、創傷輪郭の 3D 座標を使用して創傷面積を測定します (図 1)。

褥瘡の面積を自動測定するアルゴリズム。

カメラからの 2D 画像と LiDAR からの深度データを使用すると、(2) を使用して情報を 3D 現実世界座標に変換できます。ここで、mimage は画像の 2D 座標ベクトル [uvl]T で、Mworld は 3D 座標ベクトルです。現実世界の創傷の [xyzl]T、K はカメラの内部行列、[R|t] はカメラの外部行列です。

カメラの組み込み行列を使用すると、(3) を使用して、ピンホールカメラモデルを使用して、3D カメラ座標を画像平面上の 2D 画像座標に変換できます。 fx と fy の値はピクセルの焦点距離です。 ox と oy は、画像フレームの左上隅からの主点のオフセットです。 mimage は既知であり、Mcamera の z 値は LiDAR によって取得された深度情報に置き換えることができるため、Mcamera の残りの x、y 値を解決できます。

カメラ外部行列 [R|t] は、世界またはシーン座標系に対するカメラの位置と向きに関連する行列で、3*3 回転行列 R と 3*1 列ベクトル変換 t の行列連結です。 Mcamera を取得したら、カメラの外部行列を使用して、(4) を使用して 3D カメラ座標から 3D 現実世界座標に変換できます。

傷の境界のすべての 3D 座標は、次の式を使用して最短の平均距離で平面 A に投影できます。

傷の境界の複数の座標 (xi、yi、zi) が与えられると、変数 a、b、c は次の手順で見つけることができます。

ａ．すべての x、y 座標が行列 A の最初の 2 列を形成すると仮定します。

b. 解決したい変数 a、b、c がベクトル x を構成すると仮定します。

c. すべての Z 座標がベクトル B を形成すると仮定します。

行列 A とベクトル B が与えられているので、(6)、(7)、(8) を組み合わせると、次のようになります。

ベクトル x、つまり係数を解くには、重回帰の方程式、つまりこの場合は回帰平面を解くことに帰着します。

平面 A が見つかったら、すべての傷の境界座標 (x'i、y'i、z'i) の平面 A への投影点を簡単に見つけることができます。次に、投影点を使用して、ヘロンの公式 21 と三角関数によって傷の面積を推定できます。方程式は次のとおりです。

ここで、 a は面積推定、座標 (x'1, y'1), …, (x'n-2, y'n-2), (x'n-1, y'n-1), ( x'n、y'n) は、すべての傷の境界点の平面 A 上の投影点です。 θ は、平面 A と x-y 平面との間の角度です。

自動創傷面積測定の精度と信頼性を検証するために、前向き臨床試験を実施しました。 2021 年 6 月から 2022 年 1 月まで、当社は従来の手動方法と自動面積測定システムを使用して、国立台湾大学病院 (NTUH) の外来部門 (OPD) を訪れた患者の褥瘡の面積を測定しました。創傷面積の測定を行う前に、すべての患者からインフォームドコンセントを得ました。 20 件の圧迫損傷が収集された時点で研究は完了し、統計分析が開始されました。各患者について、システムが機能するのに十分な鮮明な写真が撮影され、画像ごとに傷が 1 つありました。すべての患者の名前とその他の識別情報は分析前に削除されました。

伝統的な方法は、スケール付きの透明フィルムを使用して傷を覆い、次にマーカーペンで境界線を描くことです。輪郭線の面積と幅は、2 人の認定形成外科医によってチェックされ、オープンソースの Java ベースの信頼性の高いイメージングツールであるソフトウェア ImageJ (米国国立衛生研究所、米国) によって測定されました 22 (図 1)。 2)。

創傷面積を測定するための伝統的な手動方法。 (右上) ソフトウェア ImageJ による最終測定。

ダイス係数 (DC) と和集合交差 (IoU) はセグメンテーションのパフォーマンスを評価するために使用される 2 つの一般的な指標であり、精度、再現率、精度は分類パフォーマンスを評価する一般的な指標です。 DC は、グラウンドトゥルースと予測の交差面積の 2 倍をそれらの面積の合計で割ったものです。それは次のように与えられます。

ここで、TP (真陽性) は正しく分類された褥瘡 (PI) ピクセルの数を示します。 FP (偽陽性) は、誤って分類された PI ピクセルの数を示します。 FN (偽陰性) は、誤って分類された非 PI ピクセルの数を示します。

和集合上の交差 (IoU) は、グラウンドトゥルースと予測の交差領域をそれらの和集合の領域で割ったものを示します。それは次のように与えられます。

精度は、すべての予測ピクセル数に対する正しく分類された PI ピクセル数の比率として定義されます。これは陽性的中率とも呼ばれ、次の式で求められます。

再現率は、PI ピクセルの総数に対する正しく分類された PI ピクセル数の比率として定義されます。これは感度とも呼ばれ、次の式で与えられます。

精度は、正しく分類されたピクセルの割合を示します。それは次のように与えられます。

ここで、TN (真陰性) は、正しく分類された非 PI ピクセルの数を示します。

自動創傷面積測定のパフォーマンスを評価するために、2 つのモデル、U-Net と Mask R- のそれぞれの平均相対誤差 (MRE) と MRE の標準偏差 (SD,\(\sigma \)) を計算しました。 CNN。 MRE は次のように与えられます。

ここで、Ai は従来の方法による面積の測定値を示し、A*i は自動方法による面積の測定値を示します。標準偏差 (SD,\(\sigma \)) は次の式で求められます。

ここで、xi は i 番目 (i = 1 ~ 20) の自動測定の RE を示し、\(\overline{x }\) は MRE を示します。

ほとんどの写真には、トレーニングセットの画像ごとに 1 つの傷が含まれていました。画像あたりの傷の平均数は 1.14 でした。 ResNet101 バックボーンを備えた U-Net と Mask R-CNN は両方とも、内部検証で良好なパフォーマンスを示しました。両方のモデルを 1,000 エポックの間、学習率 0.0001 でトレーニングしました。内部検証タスクでは、Mask R-CNN は U-Net よりも優れたパフォーマンスを示しました (DC: 0.9464 対 0.9441、IoU: 0.9337 対 0.8982)。他の統計の詳細を表 1 に示します。

外部検証は、モデルが満足のいく程度に機能するかどうか、および過剰適合が発生したかどうかを判断するために、一連の新しいデータで元のモデルをテストすることです。 U-Net とマスク R-CNN はどちらも外部検証のパフォーマンスが悪く、U-Net のパフォーマンスがマスク R-CNN よりも優れていることがわかりました (DC: 0.8448 対 0.5006; IoU: 0.7773 対 0.4604)。他の統計の詳細を表 1 に示します。

従来の手動方法に関する U-Net と Mask R-CNN による自動創傷面積測定の比較を表 2 と図 3 に示します。創傷 No. 16 と No. 20 の 2 つの外れ値があることに気付きました。セグメンテーションプロセスでは、これらの外れ値の原因を確認します。外れ値の詳細については、考察セクションで詳しく説明します。

手動と自動の創傷面積測定の比較。 * 外れ値。

U-Net と Mask R-CNN の MRE は、それぞれ 31.8% と 566% でした。外れ値を除外した後、U-Net と Mask R-CNN の MRE は 26.2% と 53% でした。 U-Net とマスク R-CNN の相対誤差の SD は 0.23 と 0.75 でした。 U-Net のパフォーマンスはマスク R-CNN よりも優れており、自動セグメンテーションの外部検証の結果と一致していました。

U-Net と Mask R-CNN は、どちらもセグメンテーション用の古典的な CNN モデルであるため、褥瘡のセグメンテーション用のモデルとして選択されました。 U-Net はセマンティックセグメンテーションを提供し、生物医学画像のセグメンテーションで最も人気のあるモデルです23。 U-Net は、さまざまな臓器の病変の CT24、MRI25、PET26 スキャンや顕微鏡画像など、さまざまな種類の医療画像に利用されています 27、28。マスク R-CNN はインスタンスのセグメンテーション 19 を提供し、膝の MRI スキャン 29、肺の PET スキャン 30、乳房の超音波検査 31 および顕微鏡画像 28 など、さまざまな種類の医療画像にも利用されています。

私たちの研究では、内部検証におけるマスク R-CNN は、褥瘡セグメンテーションにおいて U-Net よりもわずかに優れていました (IoU: 0.9337 対 0.8982)。ただし、外部検証では、Mask R-CNN のパフォーマンスは非常に低く (IoU: 0.4604)、U-Net のパフォーマンスは比較的許容範囲内でした (IoU: 0.7773)。

これについてのもっともらしい説明は、以下の考察によって裏付けられ、Mask R-CNN はトレーニングセット内で過剰適合していたが、U-Net はそうではなかったということです。まず、U-Net は、限られたデータセットでトレーニングした場合に生物医学画像のセグメンテーションで優れたパフォーマンスを達成することで知られています。 U-Net の発明者である Ronneberger らによる研究では、わずか 30 枚の画像のデータセットを使用して U-Net をトレーニングし、データ拡張を組み合わせて、2015 年に生物医学画像国際シンポジウム (ISBI) コンペティションで優勝しました16。第 2 に、褥瘡 (PI) は色に基づいて 4 つのタイプに分類されます。、色相と質感が異なり、不規則な形とさまざまなサイズがあります。マスク R-CNN などのインスタンスセグメンテーションモデルは、最初にオブジェクト検出を行ってからマスクセグメンテーションを行う必要があります。マスクだけでなく、境界ボックスとクラスの推定から損失関数コンポーネントを考慮する必要があります。正確なインスタンスの位置を取得するために、バウンディングボックスとクラスコンポーネントの重みがマスクコンポーネントの重みの前に計算されます。言い換えれば、彼らは PI を背景から区別するだけでなく、PI の一部のクラスを他のクラスから区別できるように訓練されています。この意図と個々の PI の性質を組み合わせると、特にトレーニングデータセットが限られている場合、モデルが特定の PI で他の PI を見つけたり、個々の PI の一部を見落としたりする可能性があります。「オブジェクト内オブジェクト」と「カットオフヘッド」と呼ばれるこれら 2 つの現象は、図 3 と図 4 に説明されています。一方、意味拡張の一種である U-Net には、この種の問題はありません。ただし、これら 2 つの現象は、トレーニングセットが限られていることが原因である可能性があります。生物医学画像の限られたトレーニングセットを扱う場合、U-Net は Mask R-CNN よりも優れていると結論付けることができます。

「オブジェクトの中のオブジェクト」現象。 (A) インスタンスのセグメンテーションは、互いに重なり合うさまざまな人々の識別に適しています。 (このサンプル画像は COCO データセット 20 上のマスク R-CNN の予測です。) (B) ただし、1 つの傷に複数のテクスチャが含まれる場合があります。 (C) トレーニングセットでは、これら 2 つの孤立した傷の異なるテクスチャを識別できました。 (D) Mask-RCNN はセグメンテーションを不正確に実行し、より大きな傷 (赤) 内で異なるテクスチャ (青) を持つ 2 番目の小さな「傷」を識別しました。しかし、実際には傷は一つしかなかった。

「頭が切れる」現象。 (A) Mask R-CNN のアーキテクチャにより、インスタンスのセグメンテーションは、以前に特定された ROI (関心領域) によって「トラップ」される可能性があります。赤い点線の円は、羊の足が正確にセグメント化されていないことを示しています。 (このサンプル画像は、COCO データセット 20 上のマスク R-CNN の予測です。) (B) 単一の創傷は不規則な形状の異なるテクスチャを持つ可能性があるため、複数の創傷として不正確にセグメント化されやすくなります。 (C) トレーニングセットでは、規則的な円形の単一テクスチャの傷がいくつか見つかりました。 (D) Mask-RCNN は、創傷の上部を「欠落」させることにより、より複雑な創傷を不正確にセグメント化しました。

U-Net は、自動創傷面積測定においてマスク R-CNN よりも優れたパフォーマンスを示しました (MRE: 19.14% 対 565.98%)。これは、セグメンテーションの外部検証の結果と一致しています。異常値が 2 つあることに気付きました。 16といいえ。２０（図６および７）。創傷番号 16 のセグメンテーションプロセスでは、全体像に占める創傷の割合が小さすぎてセグメンテーションを正常に実行できないことがわかりました。したがって、創傷が中央に配置され、画像全体の少なくとも 20% を占める必要があるという指示をシステムに追加し、カメラを中央に配置し、そうでない場合はカメラを創傷に近づけるようにユーザーに指示しました。

創傷 No.16 の分割プロセス。

創傷 No.20 の分割プロセス。

傷番号の分割プロセスでは、 20 (図 7) では、2 つの異なるセグメンテーションの問題に遭遇しました。元の写真には 2 種類の傷の質感が示されていました。1 つはピンク色で浅いもの、もう 1 つは暗赤色で深いものです。定義どおり、それらはすべて 1 つの傷とみなされますが、Mask R-CNN は暗赤色の傷のみをセグメント化しました。 U-Net は、これら 2 種類の創傷のテクスチャを 1 つの創傷としてセグメント化することに成功しました。しかし、写真には血液とガーゼが多すぎるため、写真が手術直後に撮影されたことが原因である可能性があり、U-Net は血液とガーゼのある領域の一部を傷領域の一部として不正確にセグメント化しました。その結果、Mask R-CNN はエリアを過小評価しましたが、U-Net はエリアを過大評価しました。画像に傷の内容のみが含まれているクリーンな状態であれば、U-Net がその領域を過大評価することはなかったはずであるため、この状況は異常値であると考えました。したがって、当社のシステムのユーザー向けに、写真は背景をきれいにして、気を散らす要素を含まない状態で撮影する必要があるという指示を追加しました。今後の作業でシステムの結果を改善するためのもう 1 つのアプローチは、傷を他の特徴からよりよく区別できるようにモデルをトレーニングするために、背景が汚いトレーニングセットでより多くの写真を収集することです。

もう一つの問題は、なぜ傷の「体積」ではなく「面積」を使ったのかということです。その理由は、創傷の深さも同様に重要であるため、創傷の体積は創傷の重症度をよりよく反映しているにもかかわらず、従来の方法では実際に体積のグラウンドトゥルースを取得できなかったためです。従来の手作業による方法と比較して、LiDAR 技術が創傷の領域を確認することで正確な 3D 座標を取得できることを証明できれば、LiDAR 技術による数学を介して正確な創傷の深さと体積を取得できることを間接的に証明できます。

前述したように、創傷セグメンテーションを行うためのさまざまな深層学習アルゴリズムを提案する、以前に発表された研究がいくつかあります10、11、12、13、14、32、33、34。深層学習の種類、そのパフォーマンス、その他の詳細を表 3 に示します。それらの一部はセグメンテーションで優れたパフォーマンスを達成しましたが、これらの研究は創傷面積の測定方法を提案していませんでした。

以前の研究では、創傷面積の測定にも取り組んでいます。 Ahmad Fauzi et al.3 は、修正色相彩度値 (HSV) と組み合わせた赤-黄-黒-白 (RYKW) 確率マップに基づく従来のセグメンテーションモデルを使用して、創傷の横にある「ラベルカード」による創傷面積の測定を提案しました。）モデル。彼らは約 75.1% の精度を達成しました。 Wang et al.35 は、未公開の深層学習モデルに基づいて、Swift Wound アプリによって実行されるセグメンテーションプロセスで創傷の隣に「参照マーカー」を使用する方法を提案しました。彼らは高い評価者間信頼性 (ICC = 0.97 ～ 1.00) を獲得しました。 Kompalliy et al.36 は、創傷の横にある「スケール」と、ユーザーが創傷の外側と内側をマークするセグメント化ソフトウェアを使用する方法を提案しました。 Lucas et al.37 のレビュー記事では、著者は将来の方向性として、アドオンの空間センサーとセグメンテーションのための機械学習を組み合わせることを提案しました。

私たちの研究では、LiDAR テクノロジーと U-Net モデルによる自動エリア測定は、2 つの外れ値を削除した後、17.7% の MRE と 0.125 SD という許容範囲内の精度と精度を示しました。最も重要なことは、当社のシステムは LiDAR テクノロジーと最先端の深層学習セグメンテーションモデルによって構築されているため、使用に必要なのは高レベルのスマートフォンまたはタブレット (iPhone 12 Pro または iPad Pro、またはそれ以上の高度なタイプ) だけであることです。私たちが構築したアプリでは、アドオンの赤外線 3D センサーなどの追加のデバイスや、創傷の輪郭をマークするために指先を追加で動かす必要はありません。利便性と効率性を提供する完全に「自動」の面積測定ツールです。私たちの知る限り、私たちの研究は創傷測定に LiDAR 技術を利用した最初の研究です。

この研究の主な制限は、写真が限られていることです。セグメンテーションと自動領域測定タスクでは、トレーニングデータが限られていたため、Mask-RCNN によるオーバーフィッティングが発生しましたが、U-Net ではトレーニング写真の数が限られていましたので十分でした。これらの結果から、Mask R-CNN には U-Net よりも多くのトレーニング写真が必要であることがわかりました。有効性をさらに検証するには、大規模な前向き臨床研究とユーザーからのフィードバックが必要です。

もう1つの問題は、特に専門家ではない第一線の介護者が撮影した写真では、排水洞と深い死腔を明らかにできなかったことです。深い傷の場合、写真では傷の一部が暗く見える場合があります。したがって、深い創傷、特に副鼻腔やトンネルの排水は誤って測定される可能性があることをシステムに記録しておくことをお勧めします。

これは褥瘡のセグメンテーションに深層学習を利用した最初の研究ではありませんが、3D イメージング技術と深層学習セグメンテーションモデルを組み合わせた最初の研究です。最も重要なことは、当社の 3D イメージングは、iPhone 12 Pro、iPad Pro、およびより高度なタイプなどの高レベルのスマートフォンやタブレットに埋め込まれている LiDAR テクノロジーを適用しており、傷口の横にラベルカードや定規などの追加のデバイスを必要とせずに済みます。カメラに取り付けられたアドオン赤外線 3D センサー。このような利便性と効率性により、臨床応用がより実現可能になります。

自動創傷セグメンテーションでは、ResNet-101 バックボーンを備えた U-Net モデルのパフォーマンスが、ResNet-101 バックボーンを備えた Mask R-CNN よりも優れていました。小規模で限定されたデータセットの場合、U-Net は生物医学画像のセグメンテーションに適したモデルです。

自動創傷面積測定については、LiDAR テクノロジーと、事前にトレーニングされたセグメンテーションモデルである ResNet-101 バックボーンを備えた U-Net を組み合わせ、前向き臨床研究で許容可能な結果を得ました。

現在の研究中に生成および/または分析されたデータセットは、https://drive.google.com/drive/folders/15T2BBlxdYPpUKhXE7lrRdnIffYM0Nj_9 で入手できます。この研究の結果を裏付けるデータは国立台湾大学から入手可能ですが、これらのデータの入手には制限が適用され、現在の研究ではライセンスに基づいて使用されているため、一般には公開されていません。ただし、データは合理的な要求があり、国立台湾大学の許可を得た場合に著者から入手できます。

Sen, CK 人間の傷とその負担: 推定値の最新の概要。高度創傷ケア (ニューロシェル) 8、39–48。 https://doi.org/10.1089/wound.2019.0946 (2019)。

記事 Google Scholar

Song, B. と Sacan, A.、2012 年のバイオインフォマティクスおよび生物医学に関する IEEE 国際会議。 1～4。

アフマド・ファウジ、MF 他慢性創傷画像のコンピューターによるセグメンテーションと測定。計算します。バイオル。医学。 60、74～85。 https://doi.org/10.1016/j.compbiomed.2015.02.015 (2015)。

Hettiarachchi、NDJ、Mahindaratne、RBH、Mendis、GDC、Nanayakkara、HT、Nanayakkara、ND (2013 IEEE ポイントオブケアヘルスケアテクノロジー (PHT))。 298–301。

2012 年の第 4 回インテリジェントおよび先進システムに関する国際会議 (ICIAS2012) におけるハニ、AFM、アルシャド、L.、マリク、AS、ジャミル、A.、およびビン、FYB。 362–367。

第 4 回 2011 年生物医工学国際会議にて、Wantanajittikul, K.、Auephanwiriyakul, S.、Theera-Umpon, N.、Koanantakool, T.。 169–173。

LeCun, Y.、Bengio, Y.、ヒントン, G. 深層学習。自然 521、436–444。 https://doi.org/10.1038/nature14539 (2015)。

記事 ADS CAS Google Scholar

Krizhevsky, A.、Sutskever, I. & Hinton, G. ディープ畳み込みニューラルネットワークによる ImageNet 分類。神経情報プロセス。システム。 https://doi.org/10.1145/3065386 (2012)。

Long, J.、Shelhamer, E.、Darrell, T.、2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)。 3431 ～ 3440。

Wang, C. et al. 2015 年、IEEE Engineering in Medicine and Biology Society (EMBC) の第 37 回年次国際会議。 2415 ～ 2418 年。

2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC) における Goyal, M.、Yap, MH、Reeves, ND、Rajbhandari, S.、Spragg, J.。 618–623。

Liu、X.ら。 2017 年の第 10 回画像および信号処理、生物医工学および情報学に関する国際会議 (CISP-BMEI)。 1～7。

Wang, C. et al. 深層畳み込みニューラルネットワークによる完全自動の創傷セグメンテーション。科学。議員 10、21897。https://doi.org/10.1038/s41598-020-78799-w (2020)。

記事 ADS CAS Google Scholar

チャン、CW et al. スーパーピクセルセグメンテーションに基づく深層学習アプローチは、褥瘡自動診断のためのラベル付けを支援します。 PLoS ONE 17、e0264139、https://doi.org/10.1371/journal.pone.0264139 (2022)。

Wada, K. Labelme: Python を使用した画像ポリゴンアノテーション、https://github.com/wkentaro/labelme (2018)。

MICCAI の Ronneberger, O.、Fischer, P.、Brox, T.。

2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) における He, K.、Zhang, X.、Ren, S.、Sun, J.。 770 ～ 778 年。

デン、J.ら。 2009 年のコンピュータービジョンとパターン認識に関する IEEE 会議。 248～255。

2017 IEEE International Conference on Computer Vision (ICCV) における He, K.、Gkioxari, G.、Dollár, P.、Girshick, R. 2980 ～ 2988 年。

リン、T.Y. 他。 Microsoft COCO: コンテキスト内の共通オブジェクト。 arXiv:1405.0312 (2014)。

Peterson、D. 多角形の座標と面積、https://www.themathdoctors.org/polygon-coowned-and-areas/ (2019)。

カリフォルニア州シュナイダー、WS州ラズバンド、KWエリセイリ NIH Image to ImageJ: 25年にわたる画像解析。ナット。方法 9、671 ～ 675。 https://doi.org/10.1038/nmeth.2089 (2012)。

記事 CAS Google Scholar

Ronneberger, O.、Fischer, P. & Brox, T.、医療画像コンピューティングとコンピュータ支援介入—MICCAI 2015. (Nassir Navab、Joachim Hornegger、William M. Wells、Alejandro F. Frangi 編) 234–241 (スプリンガー）。

Dong, X. et al. U-net-GAN を使用した胸部 CT 画像の自動多臓器セグメンテーション。医学。物理学。 46、2157–2168。 https://doi.org/10.1002/mp.13458 (2019)。

記事 Google Scholar

Zhang、Y.ら。完全畳み込み残差ニューラルネットワーク U-Net による深層学習を使用した、乳房 MRI における乳房および線維腺組織の自動セグメンテーション。アカド。ラジオル。 26、1526–1535。 https://doi.org/10.1016/j.acra.2019.01.012 (2019)。

記事 Google Scholar

Blanc-Durand, P.、Van Der Gucht, A.、Schaefer, N.、Itti, E. & Prior, JO 神経膠腫における 18F-FET PET の自動病変検出とセグメンテーション: 完全な 3D U-Net 畳み込みニューラルネットワーク研究。 PLoS ONE 13、e0195798。 https://doi.org/10.1371/journal.pone.0195798 (2018)。

Fabijanska, A. U-Net ベースの畳み込みニューラルネットワークを使用した角膜内皮画像のセグメント化。アーティフ。知性。医学。 88、1-13。 https://doi.org/10.1016/j.artmed.2018.04.004 (2018)。

記事 Google Scholar

Vuola, AO、Akram, SU、Kannala, J.、2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)。 208～212。

Couteaux, V. et al. Mask-RCNN による膝半月板断裂の自動検出と方向分類。診断します。介入イメージング 100、235 ～ 242。 https://doi.org/10.1016/j.diii.2019.03.002 (2019)。

記事 CAS Google Scholar

Zhang, R.、Cheng, C.、Zhao, X. & Li, X. マルチスケールマスク PET イメージングを使用した R-CNN ベースの肺腫瘍検出。モル。イメージング 18、1536012119863531。https://doi.org/10.1177/1536012119863531 (2019)。

記事 Google Scholar

Chiao, JY 他超音波検査上のマスク R-CNN を使用した乳房腫瘍の検出と分類。医学 (ボルチモア) 98、e15200。 https://doi.org/10.1097/MD.0000000000015200 (2019)。

Garcia-Zapirain, B.、Elmogy, M.、El-Baz, A. & Elmaghraby, AS 3D 畳み込みニューラルネットワークによる褥瘡組織の分類。医学。バイオル。工学計算します。 56、2245–2258。 https://doi.org/10.1007/s11517-018-1835-y (2018)。

記事 Google Scholar

大浦直也ほか創傷検出のための畳み込みニューラルネットワーク: 創傷ケアにおける人工知能の役割。 J. 創傷ケア 28、S13–S24。 https://doi.org/10.12968/jowc.2019.28.Sup10.S13 (2019)。

記事 Google Scholar

Zahia, S.、Sierra-Sosa, D.、Garcia-Zapirain, B. & Elmaghraby, A. 畳み込みニューラルネットワークを使用した圧迫損傷の組織分類とセグメント化。計算します。メソッドプログラム Biomed。 159、51-58。 https://doi.org/10.1016/j.cmpb.2018.02.018 (2018)。

記事 Google Scholar

王SCら。ポイントオブケア創傷視覚化テクノロジー: 創傷測定アプリの再現性と精度。 PLoS ONE 12、e0183139。 https://doi.org/10.1371/journal.pone.0183139 (2017)。

Kompalliy, S.、Bakarajuy, V.、Gogia, SB 創傷サイズを測定するためのクラウド駆動型アプリケーション。スタッド。ヘルステクノロジー。知らせる。 264、1639–1640。 https://doi.org/10.3233/SHTI190573 (2019)。

記事 Google Scholar

Lucas, Y.、Niri, R.、Treuillet, S.、Douzi, H. & Castaneda, B. 創傷サイズのイメージング: スマートな評価とモニタリングの準備が整いました。上級創傷ケア (ニューロシェル) 10、641–661。 https://doi.org/10.1089/wound.2018.0937 (2021)。

記事 Google Scholar

リファレンスをダウンロードする

有益なアイデアや提案をくださった国立台湾大学医療情報学研究室の研究者の皆様に感謝いたします。この研究は、台湾科学技術省 (MOST) のプロジェクト no.1 によって支援されました。 110-2634-F-002-032。

国立台湾大学生体医用エレクトロニクス・バイオインフォマティクス大学院研究所（台湾、台北）

トム・J・リュー、メサク・クリスチャン、チェウェイ・チャン、フェイペイ・ライ

台湾、新北市、天主教福仁大学病院、外科学部形成外科

トム・J・リュー

国立台湾大学電気工学科、台北、台湾

ワン・ハンウェイ

台湾、新北市、極東記念病院外科、形成外科および美容外科部門

チェ・ウェイ・チャン

国立台湾大学病院および国立台湾大学医科大学、台北、台湾

ハオチー・タイ

PubMed Google Scholar でこの著者を検索することもできます

TJL: 評価システムの提案、研究デザイン、原稿の作成、写真のラベル付け、データの分析と解釈。筆頭著者を務める。 HW：評価システムの提案、研究設計、アプリケーション開発、アプリビルダー、原稿の修正。 MC: データ分析、深層学習エンコーダー、アプリビルダー。 C.-WC: 写真の取得と提供、写真のラベル付け。 FL: 研究デザイン、手順の実行、原稿の重要な改訂。 H.-CT: 研究デザイン、写真の取得と提供、写真のラベル付け、原稿の重要な修正。責任著者を務めています。

ハオ・チー・タイへの対応。

著者らは競合する利害関係を宣言していません。

シュプリンガーネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

補足ビデオ1.

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Liu、TJ、Wang、H.、Christian、M. 他ディープラーニングモデルとLiDARカメラを使用した圧迫損傷の自動セグメンテーションと測定。 Sci Rep 13、680 (2023)。 https://doi.org/10.1038/s41598-022-26812-9

引用をダウンロード

受信日: 2022 年 6 月 25 日

受理日: 2022 年 12 月 20 日

公開日: 2023 年 1 月 13 日

DOI: https://doi.org/10.1038/s41598-022-26812-9

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティガイドラインに従うことに同意したことになります。虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。

機能性ラベルの提供者: Schreiner MediPharm

Prati が DigifastOne フィニッシュラインを発表

ニュース

ディープラーニングモデルとLiDARカメラを使用した圧迫損傷の自動セグメンテーションと測定