拡散言語モデルとは

LLMの構造

文章に加えたノイズやマスクを段階的に取り除く過程を学習し、その逆の処理で文章を生成するモデルです。マスクされたトークンを予測して埋める方式などが研究されています。

実務で確認すること

LLaDAでは、学習時にトークンをマスクし、生成時に段階的に復元する方法が使われます。モデルを比較するときは、生成手順、処理速度、文章の品質、入力できる条件を確認します。性能や並列処理の方法は、採用する方式や実装によって変わります。

参考資料

確認日:

用語一覧へ戻る