text-embeddings-inference documentation
Menggunakan TEI secara lokal dengan CPU
Menggunakan TEI secara lokal dengan CPU
Anda dapat menginstal text-embeddings-inference secara lokal untuk menjalankannya di mesin Anda sendiri. Berikut adalah instruksi langkah demi langkah untuk instalasi:
Langkah 0: Kloning repositori
Kita membutuhkan kode sumber dari repo text-embeddings-inference untuk menginstalnya nanti. Clone dengan:
git clone https://github.com/huggingface/text-embeddings-inference.git cd text-embeddings-inference
Langkah 1: Instal Rust
Install Rust di mesin Anda dengan menjalankan perintah berikut di terminal, lalu ikuti instruksinya:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
Langkah 2: Instal paket yang diperlukan
Berikut ini mengasumsikan Anda berada di folder repositori yang Anda kloning pada langkah 0. Tergantung pada arsitektur mesin Anda, jalankan salah satu perintah berikut:
Untuk Mesin x86
cargo install --path router -F mkl
Untuk Mesin M1 atau M2
cargo install --path router -F metal
Build dari sumber menggunakan optimasi CPU native secara default. Lakukan build pada mesin yang akan menjalankan TEI, atau pada CPU dengan set instruksi yang kompatibel. Untuk menonaktifkan flag CPU native dari repositori saat membangun untuk CPU lain dengan arsitektur target yang sama, awali perintah instalasi dengan RUSTFLAGS=''. Sebagai contoh, dengan backend CPU ONNX.
RUSTFLAGS='' cargo install --path router -F ort
Hal ini tidak melakukan kompilasi silang aplikasi atau mengubah persyaratan pustaka backend yang sudah dibangun sebelumnya.
Langkah 3: Luncurkan Text Embeddings Inference
Setelah instalasi berhasil selesai, Anda dapat meluncurkan Text Embeddings Inference pada CPU dengan perintah berikut:
model=Qwen/Qwen3-Embedding-0.6B text-embeddings-router --model-id $model --port 8080
Dalam beberapa kasus, Anda mungkin juga perlu menginstal pustaka OpenSSL dan gcc. Pada mesin Linux, jalankan perintah berikut:
sudo apt-get install libssl-dev gcc -y
Sekarang Anda siap menggunakan text-embeddings-inference secara lokal di mesin Anda.
Jika Anda ingin menjalankan TEI secara lokal dengan GPU, lihat halaman Menggunakan TEI secara lokal dengan GPU.