Giskard no Spaces

Giskard é um toolkit de testes de qualidade de modelos de IA para LLMs, modelos tabulares e de NLP. Ele consiste em uma biblioteca Python de código aberto para varredura e teste de modelos de IA e em um aplicativo de Testes de Qualidade de Modelos de IA, que agora pode ser implantado usando os Docker Spaces do Hugging Face. Estendendo os recursos da biblioteca de código aberto, o aplicativo de Testes de Qualidade de Modelos de IA permite que você:

• Depure testes para diagnosticar seus problemas

• Crie testes específicos para o domínio graças às informações automáticas do modelo

• Compare modelos para decidir qual modelo promover

• Colete o feedback do negócio sobre os resultados do seu modelo

• Compartilhe seus resultados com seus colegas para alinhamento

• Armazene todos os seus objetos de QA (testes, fatias de dados, critérios de avaliação, etc.) em um único local para trabalhar com mais eficiência

Acesse a documentação do Giskard e os Guias de Início Rápido para aprender a usar toda a gama de ferramentas fornecidas pelo Giskard.

Nas próximas seções, você aprenderá a implantar seu próprio aplicativo de Teste de Qualidade de Modelos Giskard AI e usá-lo diretamente do Hugging Face Spaces. Este aplicativo Giskard é um aplicativo autossuficiente totalmente hospedado no Spaces usando Docker.

Implante o Giskard em Spaces

Você pode implantar o Giskard em Spaces com apenas alguns cliques:

OBSERVAÇÃO IMPORTANTE SOBRE A PERSISTÊNCIA DE DADOS: Você pode usar o Giskard Space como está para exploração e experimentação iniciais. Para uso mais prolongado em projetos de pequena escala, anexe um Storage Bucket. Isso evita a perda de dados durante as reinicializações do Space, que ocorrem a cada 24 horas.

Você precisa definir o Owner (sua conta pessoal ou uma organização), um Space name e a Visibility. Se você não quiser compartilhar publicamente seus modelos e testes de qualidade, defina seu Space como Private.

Depois de criar o Space, você verá o status Building. Quando ele se tornar Running, seu Space estará pronto para uso. Se você não vir nenhuma mudança na tela, atualize a página.

Solicitar uma licença gratuita

Depois que o seu Giskard Space estiver no ar e funcionando, você precisará solicitar uma licença gratuita para começar a usar o aplicativo. Em seguida, você receberá automaticamente um e-mail com o arquivo de licença.

Crie um novo projeto Giskard

Depois de entrar no aplicativo, comece criando um novo projeto a partir da tela de boas-vindas.

Gere um token de Space do Giskard do Hugging Face e uma chave de API do Giskard

A chave de API do Giskard é usada para estabelecer a comunicação entre o ambiente em que seus modelos de IA estão em execução e o aplicativo Giskard nos Hugging Face Spaces. Se você configurou a Visibilidade do seu Space como Privado, será necessário fornecer um token de acesso de usuário do Hugging Face para gerar o Token do Space Giskard do Hugging Face e estabelecer a comunicação para acesso ao seu Space privado. Para isso, siga as instruções exibidas na página de configurações do aplicativo Giskard.

Inicie o worker de ML

O Giskard executa seu modelo usando um worker que roda o modelo diretamente no seu ambiente Python, com todas as dependências necessárias para o seu modelo. Você pode executar o worker de ML:

• A partir do seu notebook local, no kernel que contém todas as dependências do seu modelo

• Do Google Colab, dentro do kernel que contém todas as dependências do seu modelo

• Ou a partir do seu terminal, dentro do ambiente Python que contém todas as dependências do seu modelo

Basta executar o seguinte comando no ambiente Python que contém todas as dependências do seu modelo:

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

Envie sua suíte de testes, modelos e conjuntos de dados

Para começar a criar testes de qualidade para um projeto, você precisará enviar objetos de modelo e de conjunto de dados, e criar ou enviar uma suíte de testes a partir da biblioteca Python Giskard.

Para mais informações sobre como criar suítes de testes a partir da ferramenta de varredura automatizada de modelos da biblioteca Python do Giskard, acesse os Guias de Início Rápido do Giskard.

Essas ações exigirão uma conexão entre seu ambiente Python e o Giskard Space. Para isso, inicialize um Giskard Client: basta copiar o trecho “Create a Giskard Client” da página de configurações do aplicativo Giskard e executá-lo em seu ambiente Python. O resultado será algo como o seguinte:

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

Se você encontrar problemas, acesse a página de documentação de upload de objetos do Giskard.

Feedback e suporte

Se você tiver sugestões ou precisar de suporte específico, por favor, participe da comunidade do Discord da Giskard ou entre em contato pelo repositório do GitHub da Giskard.