text-embeddings-inference documentation

Uso del contenedor TEI con hardware de Intel®

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Uso del contenedor TEI con hardware de Intel®

Esta guía explica cómo construir y desplegar contenedores de text-embeddings-inference optimizados para hardware de Intel®, incluidos CPUs, XPUs y HPUs.

CPU

Construir imagen de Docker

Para construir un contenedor optimizado para CPUs de Intel®, ejecute el siguiente comando:

platform="cpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex

Desplegar contenedor de Docker

Para desplegar tu modelo en una CPU de Intel®, usa el siguiente comando:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model

XPU

Construir imagen de Docker

Para construir un contenedor optimizado para Intel® XPUs, ejecute el siguiente comando:

platform="xpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex

Desplegar contenedor de Docker

Para desplegar tu modelo en un Intel® XPU, usa el siguiente comando:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16

HPU

TEI solo se admite en Gaudi 2 y Gaudi 3. Gaudi 1 no se admite.

Construir imagen de Docker

Para construir un contenedor optimizado para Intel® HPUs (Gaudi), ejecute el siguiente comando:

platform="hpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu

Desplegar contenedor de Docker

Para desplegar su modelo en un Intel® HPU (Gaudi), use el siguiente comando:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16

Imágenes de Docker precompiladas

Para su comodidad, las imágenes de Docker precompiladas están disponibles en GitHub Container Registry (GHCR). Puede extraer estas imágenes directamente sin necesidad de compilarlas manualmente:

CPU

Para usar la imagen precompilada optimizada para CPUs de Intel®, ejecute:

docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest

XPU

Para usar la imagen precompilada optimizada para Intel® XPUs, ejecute:

docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest

HPU

TEI solo se admite en Gaudi 2 y Gaudi 3. Gaudi 1 no se admite.

Para usar la imagen precompilada optimizada para Intel® HPUs (Gaudi), ejecute:

docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest
Update on GitHub