text-embeddings-inference documentation

Usando o TEI localmente com CPU

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Usando o TEI localmente com CPU

Você pode instalar o text-embeddings-inference localmente para executá-lo na sua própria máquina. Seguem as instruções passo a passo para a instalação:

Etapa 0: Clone o repositório

Precisamos do código-fonte do repositório text-embeddings-inference para instalá-lo mais tarde. Clone-o com:

git clone https://github.com/huggingface/text-embeddings-inference.git
cd text-embeddings-inference

Etapa 1: Instale o Rust

Instale o Rust em sua máquina executando o seguinte no terminal e, em seguida, seguindo as instruções:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

Etapa 2: Instale os pacotes necessários

O que segue pressupõe que você esteja na pasta do repositório clonado na etapa 0. Dependendo da arquitetura da sua máquina, execute um dos seguintes comandos:

Para Máquinas x86

cargo install --path router -F mkl

Para máquinas M1 ou M2

cargo install --path router -F metal

Compilações a partir do código-fonte usam otimizações nativas de CPU por padrão. Compile na máquina que executará o TEI, ou em uma CPU com conjuntos de instruções compatíveis. Para desativar as flags de CPU nativas do repositório ao compilar para outras CPUs da mesma arquitetura de destino, prefixe o comando de instalação com RUSTFLAGS=''. Por exemplo, com o backend de CPU do ONNX.

RUSTFLAGS='' cargo install --path router -F ort

Isso não realiza a compilação cruzada do aplicativo nem altera os requisitos das bibliotecas de backend pré-compiladas.

Etapa 3: Iniciar Text Embeddings Inference

Uma vez que a instalação for concluída com sucesso, você pode iniciar o Text Embeddings Inference na CPU com o seguinte comando:

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

Em alguns casos, você também pode precisar das bibliotecas OpenSSL e do gcc instalados. Em máquinas Linux, execute o seguinte comando:

sudo apt-get install libssl-dev gcc -y

Agora você está pronto para usar o text-embeddings-inference localmente em sua máquina. Se você deseja executar o TEI localmente com uma GPU, consulte a página Usando o TEI localmente com GPU.

Update on GitHub