text-embeddings-inference documentation
Inferência de Embeddings de Texto
Primeiros passos
Tutoriais
Usando o TEI localmente com CPUUsando o TEI localmente com MetalUsando o TEI localmente com GPUServindo modelos privados e restritosCriar um contêiner personalizado para o TEIUsando o contêiner TEI com hardware IntelUsando o TEI em GPUs AMD Instinct (ROCm)Exemplos de uso
Implantando o TEI no Google Cloud
Referência
Inferência de Embeddings de Texto
Text Embeddings Inference (TEI) é um conjunto de ferramentas abrangente projetado para a implantação e o serviço eficientes de modelos de embeddings de texto de código aberto. Ele permite a extração de alto desempenho para os modelos mais populares, incluindo FlagEmbedding, Ember, GTE e E5.
O TEI oferece vários recursos voltados para otimizar o processo de implantação e aprimorar o desempenho geral.
Principais recursos:
- Implantação simplificada: O TEI elimina a necessidade de uma etapa de compilação do grafo do modelo para um processo de implantação mais fácil.
- Uso eficiente de recursos: Beneficie-se de imagens Docker pequenas e tempos de inicialização rápidos, permitindo capacidades verdadeiramente serverless.
- Loteamento dinâmico: O TEI incorpora loteamento dinâmico baseado em tokens, otimizando assim o uso de recursos durante a inferência.
- Inferência otimizada: o TEI utiliza Flash Attention, Candle e cuBLASLt por meio de código de transformers otimizado para inferência.
- Carregamento de pesos Safetensors: o TEI carrega pesos Safetensors para tempos de inicialização mais rápidos.
- Pronto para produção: o TEI suporta rastreamento distribuído por meio do Open Telemetry e exporta métricas do Prometheus.
Benchmarks
Benchmark para BAAI/bge-base-en-v1.5 em uma NVIDIA A10 com um comprimento de sequência de 512 tokens:


Começando:
Para começar a usar o TEI, consulte o guia Visão Rápida.
Update on GitHub