許可しているだけでは、実際に本文を取得できるとは限りません。
robots.txtはクローラーへのアクセス方針を伝えるものです。ログインが必要なページ、アクセス制御で拒否されるページ、エラーになるページ、JavaScript実行後にしか本文が出ないページでは、別の理由で取得できないことがあります。
設定だけでなく、重要なURLへのアクセスが成功するか、返された内容に必要な本文があるかを確認しましょう。学習用・検索用など、どのクローラーを許可するかも用途に応じて整理します。取得できても、引用・推薦されることまで保証されるわけではありません。
クローラーのアクセス制御状況を確認する