202文字
1分
編集

Hugging Face、hf-mount で Hub をローカルファイルシステムとして利用可能に

hf-mount は、Hub 上の Storage Bucket・モデル・データセットをローカルファイルシステムとしてマウントする。Storage Bucket は読み書き、モデルとデータセット用リポジトリは読み取り専用。ローカルディスクよりはるかに大きいリモート容量を、通常のパスとして扱える。エージェントが ls や cat などのファイル操作でストレージを扱う用途にも向く。

初回読み取り時に必要な範囲だけバイトを取得する遅延読み込み。バックエンドは NFS(推奨・root 不要)と FUSE(よりカーネルに近い統合、Linux の FUSE 利用時は fuse3、macOS は macFUSE が必要)がある。インストールは GitHub のスクリプトから行える。例は次のとおり。

bash
curl -fsSL https://raw.githubusercontent.com/huggingface/hf-mount/main/install.sh | sh

非公開の Bucket やリポジトリでは、HF_TOKEN または --hf-token で認証情報を渡す必要がある。

#参考文献