Safetensors documentation
Safetensors
البدء
🤗 Safetensorsمقارنة السرعةمشاركة المصفوفات في PyTorchتحليل البيانات الوصفيةتحويل الأوزان إلى safetensors
واجهة برمجة التطبيقات
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.5.0-rc.0).
Safetensors
Safetensors هو تنسيق جديد وبسيط لتخزين المتجهات (tensors) بأمان (على عكس pickle) مع الحفاظ على السرعة (نسخة صفرية). إن Safetensors سريع حقًا 🚀.
التثبيت
باستخدام pip:
pip install safetensorsمع conda:
conda install -c conda-forge safetensorsالاستخدام
تحميل المتجهات
from safetensors import safe_open
tensors = {}
with safe_open("model.safetensors", framework="pt", device=0) as f:
for k in f.keys():
tensors[k] = f.get_tensor(k)تحميل جزء فقط من المتجهات (مثير للاهتمام عند التشغيل على وحدات معالجة رسومية متعددة)
from safetensors import safe_open
tensors = {}
with safe_open("model.safetensors", framework="pt", device=0) as f:
tensor_slice = f.get_slice("embedding")
vocab_size, hidden_dim = tensor_slice.get_shape()
tensor = tensor_slice[:, :hidden_dim]حفظ المتجهات
import torch
from safetensors.torch import save_file
tensors = {
"embedding": torch.zeros((2, 2)),
"attention": torch.zeros((2, 3))
}
save_file(tensors, "model.safetensors")الصيغة
لنفترض أن لديك ملف safetensors باسم model.safetensors، فإن model.safetensors سيحتوي على التنسيق الداخلي التالي:
المشاريع المميزة
يُستخدم Safetensors على نطاق واسع في شركات الذكاء الاصطناعي الرائدة، مثل Hugging Face وEleutherAI وStabilityAI. فيما يلي قائمة غير شاملة بالمشاريع التي تستخدم safetensors:
- huggingface/transformers
- ml-explore/mlx
- huggingface/candle
- AUTOMATIC1111/stable-diffusion-webui
- Llama-cpp
- microsoft/TaskMatrix
- hpcaitech/ColossalAI
- huggingface/pytorch-image-models
- CivitAI
- huggingface/diffusers
- coreylowman/dfdx
- invoke-ai/InvokeAI
- oobabooga/text-generation-webui
- Sanster/lama-cleaner
- PaddlePaddle/PaddleNLP
- AIGC-Audio/AudioGPT
- brycedrennan/imaginAIry
- comfyanonymous/ComfyUI
- LianjiaTech/BELLE
- alvarobartt/safejax
- MaartenGr/BERTopic
- rachthree/safestructures
- justinchuby/onnx-safetensors