ニュース

Nov 18, 2023

スタンフォード大学の研究者が Parsel を発表: コード大規模言語モデル LLM を使用した複雑なアルゴリズムの自動実装と検証を可能にする人工知能 AI フレームワーク

Sebbene siano stati compiuti recenti progressi nell’inferenza del modello linguistico su larga scala (LLM),

大規模言語モデル (LLM) 推論は最近進歩しましたが、LLM は高度なプログラムの開発などの階層的な複数ステップの推論タスクに依然として苦労しています。 人間のプログラマーは、他のトークン生成者とは対照的に、(通常は) 困難なタスクを、単独で動作する (モジュール式) および連携して動作する (構成式) 管理可能なコンポーネントに分割することを学びました。 おまけに、人間が生成したトークンによって機能に問題が発生した場合でも、アプリケーションの残りの部分に影響を与えることなく、ソフトウェアのその部分を書き直すことができるはずです。 対照的に、コード LLM はエラーのないトークン シーケンスを生成すると単純に予想されます。

このため、スタンフォード大学の最近の研究では、問題の分解と構成的なソリューションの構築に LLM を使用することを検討するようになりました。 彼らは、自然言語で書かれた関数の説明と、実装された関数の望ましい動作を定義する制約を含む仕様を受け入れるコンパイラーである Parsel を提案しています。 Parsel を使用することで、コーダーは平易な言語でプログラムを作成でき、競技レベルでコーディングの問題に取り組むことができ、以前の SoTA を 75% 以上上回るパフォーマンスを発揮します。

コード LLM には、関数の説明と、それが依存する関数のシグネチャが与えられ、関数の実装を生成するように求められます。 制約が追加されると、コンパイラーは、機能するものが見つかるまで、考えられる実装の組み合わせを調べます。

これまでの研究では、人間とは異なり、コード言語モデルは多数の小さなタスクを順番に実行するプログラムを開発できないことが示されています。 Parsel は、分解プロセスと実装プロセスを分割することで問題を解決します。 彼らは自然言語コーディングを可能にすることを目的としていましたが、LLM は Parsel コーディングにも優れていることを発見しました。

抽象的な計画を自動的に解決できるまで分解することは、人間の推論における一般的なパターンであり、Parsel の生成と実装に反映されています。 この構成構造は言語モデルにも役立ちます。 この研究でチームは、LLM が少数のインスタンスから Parsel を作成できること、およびそのソリューションが APPS データセットからの競争レベルの問題に関して最先端の手法を上回るパフォーマンスを発揮することを実証しました。 Parsel を使用して高レベルのジョブから段階的なロボット計画を作成する LLM によって作成された計画は、興味深いことに、ゼロショット プランナーのベースラインの 3 分の 2 以上の精度があります。

Parsel の有効性を評価するために、経験豊富な競技プログラマーである Gabriel Poesia 氏は、Parsel を使用して、コーディング コンテストでよく見られる多数の APPS 課題を解決しました。 彼は 6 時間で、GPT-3 が以前に失敗した 3 つを含む、10 件の問題のうち 5 件の解決策を見つけました。

研究者らは、Parsel を汎用フレームワークとして定式化することで、定理証明やアルゴリズム推論を必要とするその他の活動に使用できることを示しています。

彼らは、近い将来、自律的な単体テスト生成を実装する予定です。 彼らは、1 つのアプローチとして、特殊な状況を検索し、既存のすべてのテストで一致する機能のグループが新しいテストでも一致するかどうかを確認することであると述べています。 実装の組み合わせにおける指数関数的な発展が回避され、自動分解が可能になる可能性があります。 また、言語モデルの「信頼しきい値」を調整することも目的としています。より重要なプログラムやプログラムのセクションについては、説明を明確かつ簡潔に保つ必要があるため、説明が明確かつ簡潔であることを確認する必要があります。

をチェックしてください紙、ギットハブ、そしてプロジェクトページ。この研究の功績はすべて、このプロジェクトの研究者に与えられます。 また、忘れずに参加してください13,000 以上の ML SubReddit、Discordチャンネル、 そしてメールニュースレターでは、最新の AI 研究ニュースやクールな AI プロジェクトなどを共有します。

Tanushree Shenwai は、MarktechPost のコンサルティング インターンです。 彼女は現在、ブバネシュワールのインド工科大学（IIT）で学士号を取得中です。 彼女はデータ サイエンスの愛好家であり、さまざまな分野での人工知能の応用範囲に強い関心を持っています。 彼女はテクノロジーの新たな進歩とその実際の応用を探求することに情熱を注いでいます。