文章に加えたノイズやマスクを段階的に取り除く過程を学習し、その逆の処理で文章を生成するモデルです。マスクされたトークンを予測して埋める方式などが研究されています。
実務で確認すること
LLaDAでは、学習時にトークンをマスクし、生成時に段階的に復元する方法が使われます。モデルを比較するときは、生成手順、処理速度、文章の品質、入力できる条件を確認します。性能や並列処理の方法は、採用する方式や実装によって変わります。
参考資料
確認日:
LLMの構造
文章に加えたノイズやマスクを段階的に取り除く過程を学習し、その逆の処理で文章を生成するモデルです。マスクされたトークンを予測して埋める方式などが研究されています。
LLaDAでは、学習時にトークンをマスクし、生成時に段階的に復元する方法が使われます。モデルを比較するときは、生成手順、処理速度、文章の品質、入力できる条件を確認します。性能や並列処理の方法は、採用する方式や実装によって変わります。
確認日: