text-embeddings-inference documentation

Inferência de Embeddings de Texto

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Inferência de Embeddings de Texto

Text Embeddings Inference (TEI) é um conjunto de ferramentas abrangente projetado para a implantação e o serviço eficientes de modelos de embeddings de texto de código aberto. Ele permite a extração de alto desempenho para os modelos mais populares, incluindo FlagEmbedding, Ember, GTE e E5.

O TEI oferece vários recursos voltados para otimizar o processo de implantação e aprimorar o desempenho geral.

Principais recursos:

  • Implantação simplificada: O TEI elimina a necessidade de uma etapa de compilação do grafo do modelo para um processo de implantação mais fácil.
  • Uso eficiente de recursos: Beneficie-se de imagens Docker pequenas e tempos de inicialização rápidos, permitindo capacidades verdadeiramente serverless.
  • Loteamento dinâmico: O TEI incorpora loteamento dinâmico baseado em tokens, otimizando assim o uso de recursos durante a inferência.
  • Inferência otimizada: o TEI utiliza Flash Attention, Candle e cuBLASLt por meio de código de transformers otimizado para inferência.
  • Carregamento de pesos Safetensors: o TEI carrega pesos Safetensors para tempos de inicialização mais rápidos.
  • Pronto para produção: o TEI suporta rastreamento distribuído por meio do Open Telemetry e exporta métricas do Prometheus.

Benchmarks

Benchmark para BAAI/bge-base-en-v1.5 em uma NVIDIA A10 com um comprimento de sequência de 512 tokens:

Latency comparison for batch size of 1 Throughput comparison for batch size of 1

Latency comparison for batch size of 32 Throughput comparison for batch size of 32

Começando:

Para começar a usar o TEI, consulte o guia Visão Rápida.

Update on GitHub