text-embeddings-inference documentation

Menggunakan TEI secara lokal dengan CPU

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Menggunakan TEI secara lokal dengan CPU

Anda dapat menginstal text-embeddings-inference secara lokal untuk menjalankannya di mesin Anda sendiri. Berikut adalah instruksi langkah demi langkah untuk instalasi:

Langkah 0: Kloning repositori

Kita membutuhkan kode sumber dari repo text-embeddings-inference untuk menginstalnya nanti. Clone dengan:

git clone https://github.com/huggingface/text-embeddings-inference.git
cd text-embeddings-inference

Langkah 1: Instal Rust

Install Rust di mesin Anda dengan menjalankan perintah berikut di terminal, lalu ikuti instruksinya:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

Langkah 2: Instal paket yang diperlukan

Berikut ini mengasumsikan Anda berada di folder repositori yang Anda kloning pada langkah 0. Tergantung pada arsitektur mesin Anda, jalankan salah satu perintah berikut:

Untuk Mesin x86

cargo install --path router -F mkl

Untuk Mesin M1 atau M2

cargo install --path router -F metal

Build dari sumber menggunakan optimasi CPU native secara default. Lakukan build pada mesin yang akan menjalankan TEI, atau pada CPU dengan set instruksi yang kompatibel. Untuk menonaktifkan flag CPU native dari repositori saat membangun untuk CPU lain dengan arsitektur target yang sama, awali perintah instalasi dengan RUSTFLAGS=''. Sebagai contoh, dengan backend CPU ONNX.

RUSTFLAGS='' cargo install --path router -F ort

Hal ini tidak melakukan kompilasi silang aplikasi atau mengubah persyaratan pustaka backend yang sudah dibangun sebelumnya.

Langkah 3: Luncurkan Text Embeddings Inference

Setelah instalasi berhasil selesai, Anda dapat meluncurkan Text Embeddings Inference pada CPU dengan perintah berikut:

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

Dalam beberapa kasus, Anda mungkin juga perlu menginstal pustaka OpenSSL dan gcc. Pada mesin Linux, jalankan perintah berikut:

sudo apt-get install libssl-dev gcc -y

Sekarang Anda siap menggunakan text-embeddings-inference secara lokal di mesin Anda. Jika Anda ingin menjalankan TEI secara lokal dengan GPU, lihat halaman Menggunakan TEI secara lokal dengan GPU.

Update on GitHub