# Inferencia de embeddings de texto

Text Embeddings Inference (TEI) es un kit de herramientas integral diseñado para la implementación y el servicio eficientes de modelos de embeddings de texto de código abierto. Permite la extracción de alto rendimiento para los modelos más populares, incluidos FlagEmbedding, Ember, GTE y E5.

TEI ofrece múltiples funciones diseñadas para optimizar el proceso de despliegue y mejorar el rendimiento general.

**Características principales:**

* **Despliegue simplificado:** TEI elimina la necesidad de un paso de compilación del grafo del modelo para un proceso de despliegue más sencillo.
* **Uso eficiente de recursos:** Benefíciese de imágenes de Docker pequeñas y tiempos de arranque rápidos, lo que permite capacidades verdaderamente serverless.
* **Loteo dinámico:** TEI incorpora loteo dinámico basado en tokens, lo que optimiza la utilización de recursos durante la inferencia.
* **Inferencia optimizada:** TEI aprovecha [Flash Attention](https://github.com/HazyResearch/flash-attention), [Candle](https://github.com/huggingface/candle) y [cuBLASLt](https://docs.nvidia.com/cuda/cublas/#using-the-cublaslt-api) mediante el uso de código de transformers optimizado para la inferencia.
* **Carga de pesos en formato Safetensors:** TEI carga los pesos [Safetensors](https://github.com/huggingface/safetensors) para tiempos de arranque más rápidos.
* **Listo para producción:** TEI admite la trazabilidad distribuida a través de Open Telemetry y exporta [métricas de Prometheus](./metrics).

**Benchmarks**

Benchmark de [BAAI/bge-base-en-v1.5](https://hf.co/BAAI/bge-large-en-v1.5) en una NVIDIA A10 con una longitud de secuencia de 512 tokens:

  
  

  
  

**Introducción:**

Para empezar a usar TEI, consulta la guía [Quick Tour](quick_tour).

