Pytorch Fsdp

大きなモデルを完全シャーディングでデータ並列に学習します。

skill の情報

参考: SKILL.md 全文

Pytorch-Fsdp Skill

pytorch-fsdp を使った開発を助ける skill です。公式ドキュメントから作られています。

この skill を使うとき

次のようなときに呼び出されます:

• pytorch-fsdp を使った作業をしている
• pytorch-fsdp の機能や API について尋ねている
• pytorch-fsdp で何かを実装している
• pytorch-fsdp のコードの不具合を調べている
• pytorch-fsdp の使いこなし方を学んでいる

早見表

よく使うパターンをまとめた全文（そのまま動かせる FSDP のコード片が約 157k 文字）は references/common-patterns.md にあります。ラップの仕方、シャーディング方針、 チェックポイント、混合精度の例が必要になったら read_file で読み込んでください。記憶を頼りに FSDP の呪文を組み立て直すより、まずここを見るのが確実です。

参照ファイル

この skill には references/ に詳しい資料が入っています:

• other.md - そのほかの資料

細かい情報が必要になったら view で目的の参照ファイルを読んでください。

この skill の使い方

はじめて使う方へ

まずは getting_started や tutorials の参照ファイルから読んで、基礎になる考え方をつかんでください。

特定の機能を調べたいとき

該当する分類の参照ファイル（api、guides など）を開くと、詳しい情報が載っています。

コード例がほしいとき

上の早見表の節に、公式ドキュメントから抜き出したよく使うパターンが載っています。

参考リンク

references/

公式の情報源から抜き出して整理した資料です。次のものが入っています:

• 詳しい説明
• 言語の指定付きのコード例
• 元のドキュメントへのリンク
• すぐ目的の場所へ飛べる目次

scripts/

よくある作業を自動化する補助スクリプトはここに置きます。

assets/

ひな形や定型のコード、サンプルのプロジェクトはここに置きます。

補足

• この skill は公式ドキュメントから自動で作られました
• 参照ファイルは元のドキュメントの構成と例をそのまま残しています
• コード例には言語の判定が入っていて、色分けが見やすくなります
• 早見表のパターンは、ドキュメントのよくある使用例から抜き出したものです

更新の仕方

新しいドキュメントの内容でこの skill を作り直すには:

1. 同じ設定でスクレイパーをもう一度動かします
2. 最新の情報で skill が組み直されます