text-embeddings-inference documentation
Uso del contenedor TEI con hardware de Intel®
Uso del contenedor TEI con hardware de Intel®
Esta guía explica cómo construir y desplegar contenedores de text-embeddings-inference optimizados para hardware de Intel®, incluidos CPUs, XPUs y HPUs.
CPU
Construir imagen de Docker
Para construir un contenedor optimizado para CPUs de Intel®, ejecute el siguiente comando:
platform="cpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex
Desplegar contenedor de Docker
Para desplegar tu modelo en una CPU de Intel®, usa el siguiente comando:
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model
XPU
Construir imagen de Docker
Para construir un contenedor optimizado para Intel® XPUs, ejecute el siguiente comando:
platform="xpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex
Desplegar contenedor de Docker
Para desplegar tu modelo en un Intel® XPU, usa el siguiente comando:
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16
HPU
TEI solo se admite en Gaudi 2 y Gaudi 3. Gaudi 1 no se admite.
Construir imagen de Docker
Para construir un contenedor optimizado para Intel® HPUs (Gaudi), ejecute el siguiente comando:
platform="hpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu
Desplegar contenedor de Docker
Para desplegar su modelo en un Intel® HPU (Gaudi), use el siguiente comando:
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16
Imágenes de Docker precompiladas
Para su comodidad, las imágenes de Docker precompiladas están disponibles en GitHub Container Registry (GHCR). Puede extraer estas imágenes directamente sin necesidad de compilarlas manualmente:
CPU
Para usar la imagen precompilada optimizada para CPUs de Intel®, ejecute:
docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest
XPU
Para usar la imagen precompilada optimizada para Intel® XPUs, ejecute:
docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest
HPU
TEI solo se admite en Gaudi 2 y Gaudi 3. Gaudi 1 no se admite.
Para usar la imagen precompilada optimizada para Intel® HPUs (Gaudi), ejecute:
docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest