text-embeddings-inference documentation

Inferencia de embeddings de texto

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Inferencia de embeddings de texto

Text Embeddings Inference (TEI) es un kit de herramientas integral diseñado para la implementación y el servicio eficientes de modelos de texto embeddings de código abierto. Permite la extracción de alto rendimiento para los modelos más populares, incluidos FlagEmbedding, Ember, GTE y E5.

TEI ofrece múltiples funciones diseñadas para optimizar el proceso de despliegue y mejorar el rendimiento general.

Características principales:

  • Despliegue simplificado: TEI elimina la necesidad de un paso de compilación del grafo del modelo para un proceso de despliegue más sencillo.
  • Uso eficiente de recursos: Benefíciese de imágenes de Docker pequeñas y tiempos de arranque rápidos, lo que permite capacidades verdaderamente serverless.
  • Loteo dinámico: TEI incorpora loteo dinámico basado en tokens, lo que optimiza la utilización de recursos durante la inferencia.
  • Inferencia optimizada: TEI aprovecha Flash Attention, Candle y cuBLASLt mediante el uso de código de transformers optimizado para la inferencia.
  • Carga de pesos en formato Safetensors: TEI carga los pesos Safetensors para tiempos de arranque más rápidos.
  • Listo para producción: TEI admite la trazabilidad distribuida a través de Open Telemetry y exporta métricas de Prometheus.

Benchmarks

Benchmark de BAAI/bge-base-en-v1.5 en una NVIDIA A10 con una longitud de secuencia de 512 tokens:

Latency comparison for batch size of 1 Throughput comparison for batch size of 1

Latency comparison for batch size of 32 Throughput comparison for batch size of 32

Introducción:

Para empezar a usar TEI, consulta la guía Quick Tour.

Update on GitHub