text-embeddings-inference documentation
Usando o TEI localmente com CPU
Usando o TEI localmente com CPU
Você pode instalar o text-embeddings-inference localmente para executá-lo na sua própria máquina. Seguem as instruções passo a passo para a instalação:
Etapa 0: Clone o repositório
Precisamos do código-fonte do repositório text-embeddings-inference para instalá-lo mais tarde. Clone-o com:
git clone https://github.com/huggingface/text-embeddings-inference.git cd text-embeddings-inference
Etapa 1: Instale o Rust
Instale o Rust em sua máquina executando o seguinte no terminal e, em seguida, seguindo as instruções:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
Etapa 2: Instale os pacotes necessários
O que segue pressupõe que você esteja na pasta do repositório clonado na etapa 0. Dependendo da arquitetura da sua máquina, execute um dos seguintes comandos:
Para Máquinas x86
cargo install --path router -F mkl
Para máquinas M1 ou M2
cargo install --path router -F metal
Compilações a partir do código-fonte usam otimizações nativas de CPU por padrão. Compile na máquina que executará o TEI, ou em uma CPU com conjuntos de instruções compatíveis. Para desativar as flags de CPU nativas do repositório ao compilar para outras CPUs da mesma arquitetura de destino, prefixe o comando de instalação com RUSTFLAGS=''. Por exemplo, com o backend de CPU do ONNX.
RUSTFLAGS='' cargo install --path router -F ort
Isso não realiza a compilação cruzada do aplicativo nem altera os requisitos das bibliotecas de backend pré-compiladas.
Etapa 3: Iniciar Text Embeddings Inference
Uma vez que a instalação for concluída com sucesso, você pode iniciar o Text Embeddings Inference na CPU com o seguinte comando:
model=Qwen/Qwen3-Embedding-0.6B text-embeddings-router --model-id $model --port 8080
Em alguns casos, você também pode precisar das bibliotecas OpenSSL e do gcc instalados. Em máquinas Linux, execute o seguinte comando:
sudo apt-get install libssl-dev gcc -y
Agora você está pronto para usar o text-embeddings-inference localmente em sua máquina.
Se você deseja executar o TEI localmente com uma GPU, consulte a página Usando o TEI localmente com GPU.