ブログ

Nov 02, 2023

人間のタッチによるマシンスケールでのアラートスコアリング

La protezione dai rischi digitali è un elemento chiave di qualsiasi organizzazione attenta alla sicurezza.

デジタル リスク保護は、セキュリティを重視する組織の最新のインテリジェンス スタックの重要なコンポーネントです。 Mandiant Advantage デジタル脅威モニタリング (DTM) モジュールは、ソーシャル メディア、ディープ Web およびダーク Web、ペースト サイト、およびその他のオンライン チャネル上の資産を標的とする脅威を可視化する機能を顧客に提供します。 DTM は、機械学習を使用して、意味のあるエンティティやセキュリティ関連のトピックの検出に基づいて忠実度の高いアラートを表示する、高度な自然言語処理パイプラインで構成されています。 しかし、1 日に取り込まれる何百万ものドキュメントから、Mandiant の膨大なコレクション ファネルを厳選して、最も関連性の高いアラートのごく一部に絞り込んだ後でも、顧客は、結果として得られるアラートが最も適切であるかを判断するために貴重な時間を費やしていることに気づくかもしれません。

ハイライト

Mandiant の主要な脅威研究者、リバース エンジニア、インテリジェンス アナリスト、およびインシデント対応者の経験は比類のないもので、2004 年以来サイバー紛争の最前線であらゆる規模の組織を守ってきました。専門のアナリストはアラートの意味論的な複雑さを理解し、直接観察できない抽象的な概念を特定します。データ内でアラートを調査する必要があるかどうかを、翌日以内に調査する必要があるのか​​、次の 1 時間以内に調査する必要があるのか​​をすぐに確認できます。 しかし、人間によるレビューでは DTM のデータ量に対応できないため、アナリストによる実践的な対話の利点と、機械学習に基づく補完的な自動化レイヤーを組み合わせた、DTM 用の新しいアラート スコアリング機能を開発しました。

単一のスコアで脅威に関する全体像を伝えることはできません。また、アラートの優先順位付けに関しては、顧客ごとに独自の好みや要件があります。 そのため、人間と機械のコンピテンシーを注意深く織り交ぜるために、今年の mWISE カンファレンスで発表された Mandiant スコアリング フレームワークを開発しました。 これにより、Mandiant の専門知識を 1 日あたり数百万件の DTM アラートに拡張し、すべての顧客向けにプロセスを標準化し、アナリストの時間を他のタスクに割り当て、時間をかけて新しいソースに適応できるようになります。

DTM アラート スコアリングが開始され、現在お客様は一般提供されています。 現在、信頼性と重大度という 2 つの要素によって管理されています。

DTM アラートの信頼スコアは、既存の証拠に基づいて、アラートの悪意のあるコンテンツの品質の確実性を捉えます。 DTM アラートの信頼性は、弱い監視と呼ばれる半教師あり学習の形式を使用してモデル化されます。これは、アナリストが最終的な判断を下す前に、関連するアラート情報を収集して比較検討するために質問する方法を厳密に反映しています (図 1)。

私たちは、アラートを評価するアナリストが、単一の質問からの回答を単純に取り出して、それぞれの全体的な悪意を判断しているわけではないことに気付きました。 代わりに、一連の詳細な質問から集めた回答を使用し、それぞれに独自の期待と確実性の割合を加えて結論に達します。 各質問をラベル付け関数としてプログラム的にモデル化し、各回答を特定のアラートに関連付けられた結果としてモデル化できます。 アナリストは、質問の 1 つに対する回答が全体の信頼度判定の影響を決定する際にどの程度影響するかについて追加の事前知識を持っている可能性があり、事前確率を使用してこの期待をモデル化できます。

これらの初期事前分布と、蓄積された何百万ものアラートに対して一連のラベル付け関数を実行して得られた統計を組み合わせて使用​​すると、(1) ラベル付け関数が悪意のある結果または無害な結果を返す頻度に応じて重みを調整する弱教師モデルをトレーニングできます。 (2) お互いに同意または反対する頻度。 学習されたモデルを使用して、新しく生成された各 DTM アラートに対して重み付けされた投票、つまり 0 から 100 までのスケール値を返すことができます。 信頼スコアは、次の基準を使用してしきい値を設定し、調整できます。40 未満は良性を示し、40 ～ 60 の間は不定、60 ～ 80 の間は疑わしい、80 を超える場合は悪意があることを示します。

弱学習の最も魅力的な側面の 1 つは、このデータ駆動型分析とアナリストからの直接入力が自然に結合されることです。 技術的なノウハウがなくても、解釈可能なラベル付け関数を柔軟に定義でき、基本的に機械学習モデルを「プログラム」できます。 出力側では、アナリストはさらに対話してスコアを検証し、ノイズの多いラベル付け関数の弱点を特定し、新しい検出ロジックで弱点を改善できます。 場合によっては、アナリストの事前の予想がデータで裏付けられていない可能性があり、追加の反復の可能性が生まれ、専門家がアラートの悪意について自身の先入観を更新する機会が提供されます。

DTM アラートの重大度スコアは、信頼性の高いアラートで発生する可能性のある悪意のあるアクティビティの影響を分類します。 重症度は、信頼度の下流で追加のコンテキスト、エンリッチメント、および専門家の判断を使用して評価されます。 スコアリング フレームワークの分業では、信頼スコアは最初に明らかなノイズを除去するのに役立ち、その後、利用可能なコンテキストがあれば重大度スコアリング モデルによって使用され、アラートを高、中、または低のカテゴリにさらに反復的に分割します (図 2)。

信頼性モデルと同様に、重大度モデルも、さまざまな種類の脅威の影響について最新の深い理解を持っている専門アナリストからの入力に依存しています。 アナリストはアラートの重大度を計算するための式とルールを作成し、それらを内部エンジンに送信し、内部エンジンがデシジョン ツリーを構築します。 ルール エンジンはこのデシジョン ツリーを評価して、大量のアラート データの重大度統計を計算します。これにより、アナリストは後で統計をクエリし、特定のアラートにズームインし、ルールの微調整を繰り返すことができます。 このようにして、人間と機械のメリットが、信頼度スコアと同じように組み合わされます。アナリストは、内部の技術的な詳細についての知識を必要とせずに、大規模な観測やテレメトリーで脅威の傾向を長期的に分析できます。

このブログ投稿では、人間と機械の両方の機能を活用してインテリジェンスを拡張し、そのアプリケーションをカスタマイズするアラート スコアリング フレームワークを紹介しました。 アラート スコアリングは、これらの補完的なアプローチを使用することの重要性を示しており、人間と機械を組み合わせて、どちらか一方のみよりも優れた結果をもたらします。 これは Mandiant Advantage DTM モジュールで利用でき、ユーザーはアラート リスト ダッシュボードでアラートをランク付けし、各アラート モーダルに重大度スコアを表示できるようになりました (図 3 および図 4)。

アラート スコアリング モデルを実稼働環境に導入して以来、平均して、アラートの 35.4% が低信頼度に分類され、残りの信頼度の高いアラートはさらに 62.3% の低重大度、32.8% の中程度、4.9% の高重大度に分類されています。 結局のところ、重大度の高いカテゴリに分類されるのは、すべてのアラートのわずか 3.1%、取り込まれたすべてのドキュメントの 0.1% 未満です。 これにより、顧客はトリアージに優先順位を付けることで、時間とコストを大幅に節約できるようになります。

最近リリースされた DTM アラート スコアリング機能の詳細については、既存の顧客はドキュメントを参照してプラットフォームでのアラートの操作方法を理解することができ、将来の顧客は Mandiant Advantage を無料で試すか、営業に問い合わせることができます。

RSSフィードへのリンク

Mandiant の専門家があなたの質問にお答えします。