Datasets documentation

Compartilhar um conjunto de dados no Hub

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.2.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Compartilhar um conjunto de dados no Hub

O Hub abriga uma extensa coleção de datasets de pesquisa populares e curados pela comunidade. Incentivamos você a compartilhar seu dataset no Hub para ajudar a fazer crescer a comunidade de ML e acelerar o progresso para todos. Todas as contribuições são bem-vindas; adicionar um dataset é apenas um arrastar e soltar!

Comece criando uma conta no Hugging Face Hub, caso ainda não tenha uma.

Upload com a interface do Hub

A interface baseada na web do Hub permite que usuários sem qualquer experiência em desenvolvimento façam o upload de um conjunto de dados.

Criar um repositório

Um repositório hospeda todos os arquivos do seu dataset, incluindo o histórico de revisões, o que torna possível armazenar mais de uma versão do dataset.

  1. Clique no seu perfil e selecione New Dataset para criar um novo repositório de dataset.
  2. Escolha um nome para o seu conjunto de dados e defina se ele será público ou privado. Um conjunto de dados público é visível para qualquer pessoa, enquanto um conjunto de dados privado pode ser visualizado apenas por você ou pelos membros da sua organização.

Enviar conjunto de dados

  1. Depois de criar um repositório, acesse a aba Arquivos e versões para adicionar um arquivo. Selecione Adicionar arquivo para enviar os arquivos do seu conjunto de dados. Suportamos muitas extensões de dados de texto, áudio e imagem, como .csv, .mp3 e .jpg, entre muitas outras. Para extensões de dados de texto como .csv, .json, .jsonl e .txt, recomendamos comprimi-los antes de enviá-los ao Hub (para a extensão de arquivo .zip ou .gz, por exemplo).

    As extensões de arquivos de texto não são rastreadas pelo Git LFS por padrão e, se tiverem mais de 10MB, não serão commitadas nem enviadas. Consulte o arquivo .gitattributes no seu repositório para obter a lista completa de extensões de arquivos rastreadas. Para este tutorial, você pode usar os seguintes arquivos .csv de exemplo, pois são pequenos: train.csv, test.csv.

  1. Arraste e solte os arquivos do seu conjunto de dados e adicione uma breve mensagem de commit descritiva.
  1. Após enviar os arquivos do seu conjunto de dados, eles são armazenados no repositório do seu conjunto de dados.

Criar um cartão de Dataset

Adicionar um card de dataset é extremamente valioso para ajudar os usuários a encontrar seu dataset e entender como usá-lo de forma responsável.

  1. Clique em Create Dataset Card para criar um cartão de Dataset. Este botão cria um arquivo README.md no seu repositório.
  1. No topo, você verá a Metadata UI com vários campos para seleção, como licença, idioma e categorias de tarefa. Essas são as tags mais importantes para ajudar os usuários a descobrirem seu dataset no Hub. Quando você seleciona uma opção de cada campo, elas são adicionadas automaticamente ao topo do cartão do dataset.

    Você também pode consultar as especificações do Dataset Card, que possuem um conjunto completo (mas não obrigatório) de opções de tags, como annotations_creators, para ajudá-lo a escolher as tags apropriadas.

  1. Clique no link Import dataset card template no topo do editor para criar automaticamente um modelo de cartão de dataset. Preencher o modelo é uma ótima maneira de apresentar seu dataset à comunidade e ajudar os usuários a entenderem como usá-lo. Para um exemplo detalhado de como um bom cartão de Dataset deve ser, confira o CNN DailyMail Dataset card.

Carregar o conjunto de dados

Quando seu conjunto de dados é armazenado no Hub, qualquer pessoa pode carregá-lo com a função load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Upload com Python

Usuários que preferem enviar um dataset programaticamente podem usar a biblioteca huggingface_hub. Essa biblioteca permite que os usuários interajam com o Hub a partir do Python.

  1. Comece instalando a biblioteca:
pip install huggingface_hub
  1. Para fazer o upload de um conjunto de dados no Hub em Python, você precisa fazer login na sua conta do Hugging Face:
hf auth login
  1. Use a função push_to_hub() para ajudá-lo a adicionar, commitar e enviar um arquivo para o seu repositório:
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Para definir seu conjunto de dados como privado, defina o parâmetro private como True. Este parâmetro funcionará apenas se você estiver criando um repositório pela primeira vez.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Para adicionar uma nova configuração (ou subconjunto) a um conjunto de dados ou adicionar uma nova divisão (treino/validação/teste), consulte a documentação de Dataset.push_to_hub().

Para adicionar linhas a um repositório de dataset existente, use append=True com Dataset.push_to_hub() ou DatasetDict.push_to_hub(). As novas linhas devem ter os mesmos recursos que a configuração existente.

>>> new_rows.push_to_hub("stevhliu/processed_demo", split="train", append=True)
>>> new_splits.push_to_hub("stevhliu/processed_demo", append=True, max_shard_size="500MB")

Quando o cartão possui estatísticas do conjunto de dados, o acréscimo de downloads baixa apenas o último shard Parquet selecionado pelo mapeamento data_files da configuração para o split solicitado, seguindo a ordem do mapeamento em todos os diretórios listados. Ele preserva os grupos de linhas codificados existentes desse arquivo e adiciona as novas linhas. Se o arquivo resultante exceder max_shard_size, o shard existente é mantido e as novas linhas são gravadas em shards adicionais. Uma única linha pode exceder esse limite. Shards inalterados são renomeados com cópias no servidor apenas quando a contagem de shards muda. O PyArrow 21 e versões posteriores habilitam o chunking definido por conteúdo para os grupos de linhas acrescidos, permitindo que o Xet reutilize chunks existentes.

Com num_shards, especifique o número total de shards da divisão após a adição, em todos os diretórios mapeados. Ele não pode ser menor que a contagem atual; manter a mesma contagem estende o último shard sem um limite de tamanho. Outras divisões e configurações são preservadas. Novos shards ou shards renumerados usam data_dir, e as contagens de linhas e tamanhos do card do dataset são atualizadas. Uma nova divisão é enviada normalmente. Se outro push alterar o repositório durante uma adição, o commit falha em vez de sobrescrever essas alterações; tente novamente contra o repositório atualizado. append=False (o padrão) mantém o comportamento usual de substituição. A adição é suportada para repositórios de datasets, não para buckets.

Se as estatísticas estiverem ausentes, elas são recuperadas dos arquivos mapeados da configuração. Recuperar as contagens de bytes exige ler esses arquivos em lotes para medir os tamanhos de memória do Arrow; os tamanhos de codificação Parquet não são usados como tamanhos de memória do dataset.

Privacidade

Um conjunto de dados privado é acessível apenas por você. Da mesma forma, se você compartilhar um conjunto de dados dentro da sua organização, os membros da organização também poderão acessar o conjunto de dados.

Carregue um conjunto de dados privado fornecendo seu token de autenticação ao parâmetro token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

E agora?

Parabéns, você concluiu os tutoriais! 🥳

A partir daqui, você pode seguir para:

Se você tiver alguma dúvida sobre 🤗 Datasets, sinta-se à vontade para participar e perguntar à comunidade no nosso fórum.

Update on GitHub