Hugging Face、hf-mount で Hub をローカルファイルシステムとして利用可能に
hf-mount は、Hub 上の Storage Bucket・モデル・データセットをローカルファイルシステムとしてマウントする。Storage Bucket は読み書き、モデルとデータセット用リポジトリは読み取り専用。ローカルディスクよりはるかに大きいリモート容量を、通常のパスとして扱える。エージェントが ls や cat などのファイル操作でストレージを扱う用途にも向く。
初回読み取り時に必要な範囲だけバイトを取得する遅延読み込み。バックエンドは NFS(推奨・root 不要)と FUSE(よりカーネルに近い統合、Linux の FUSE 利用時は fuse3、macOS は macFUSE が必要)がある。インストールは GitHub のスクリプトから行える。例は次のとおり。
bash
curl -fsSL https://raw.githubusercontent.com/huggingface/hf-mount/main/install.sh | sh非公開の Bucket やリポジトリでは、HF_TOKEN または --hf-token で認証情報を渡す必要がある。