text-embeddings-inference documentation
Khảo sát nhanh
Khảo sát nhanh
Cài đặt
Cách dễ nhất để bắt đầu với TEI là sử dụng một trong các container Docker chính thức (xem Các mô hình và phần cứng được hỗ trợ để chọn container phù hợp).
Do đó, bạn cần cài đặt Docker theo các hướng dẫn cài đặt của họ.
TEI hỗ trợ suy luận trên cả GPU và CPU. Nếu bạn dự định sử dụng GPU, hãy đảm bảo phần cứng của bạn được hỗ trợ bằng cách kiểm tra bảng này. Tiếp theo, hãy cài đặt NVIDIA Container Toolkit. Trình điều khiển NVIDIA trên thiết bị của bạn cần tương thích với phiên bản CUDA 12.2 trở lên.
Triển khai
Tiếp theo, đến lúc triển khai mô hình của bạn. Giả sử bạn muốn sử dụng Qwen/Qwen3-Embedding-0.6B. Dưới đây là cách thực hiện:
model=Qwen/Qwen3-Embedding-0.6B volume=$PWD/data docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
Chúng tôi cũng khuyến nghị chia sẻ một volume với container Docker (
volume=$PWD/data) để tránh việc tải xuống trọng số ở mỗi lần chạy.
Suy luận
Việc suy luận có thể được thực hiện theo 3 cách: sử dụng cURL, hoặc thông qua các SDK Python InferenceClient hoặc OpenAI.
cURL
Để gửi yêu cầu POST đến điểm cuối TEI bằng cURL, bạn có thể chạy lệnh sau:
curl 127.0.0.1:8080/embed \
-X POST \
-d '{"inputs":"What is Deep Learning?"}' \
-H 'Content-Type: application/json'Python
Để chạy suy luận bằng Python, bạn có thể sử dụng SDK Python huggingface_hub (được khuyến nghị) hoặc SDK Python openai.
huggingface_hub
Bạn có thể cài đặt bằng pip với pip install --upgrade --quiet huggingface_hub, sau đó chạy:
from huggingface_hub import InferenceClient
client = InferenceClient()
embedding = client.feature_extraction("What is deep learning?",
model="http://localhost:8080/embed")
print(len(embedding[0]))OpenAI
Để gửi yêu cầu đến OpenAI Embeddings API được cung cấp trên Text Embeddings Inference (TEI) bằng OpenAI Python SDK, bạn có thể cài đặt bằng pip install --upgrade openai, sau đó chạy đoạn mã sau:
import os
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8080/v1", api_key= "-")
response = client.embeddings.create(
model="text-embeddings-inference",
input="What is Deep Learning?",
)
print(response.data[0].embedding)Ngoài ra, bạn cũng có thể gửi yêu cầu bằng cURL như sau:
curl http://localhost:8080/v1/embeddings \
-H "Content-Type: application/json" \
-d '{
"input": "What is Deep Learning?",
"model": "text-embeddings-inference",
"encoding_format": "float"
}'Re-ranker và phân loại chuỗi
TEI cũng hỗ trợ các mô hình re-ranker và phân loại chuỗi cổ điển.
Bộ xếp hạng lại
Reranker, còn được gọi là cross-encoder, là các mô hình phân loại chuỗi với một lớp duy nhất, dùng để chấm điểm mức độ tương đồng giữa một truy vấn và một văn bản. Xem bài viết trên blog này của nhóm LlamaIndex để hiểu cách bạn có thể sử dụng các mô hình re-ranker trong pipeline RAG của mình nhằm cải thiện hiệu suất ở các bước tiếp theo.
Giả sử bạn muốn sử dụng BAAI/bge-reranker-large. Trước tiên, bạn có thể triển khai nó như sau:
model=BAAI/bge-reranker-large volume=$PWD/data docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
Sau khi triển khai một mô hình, bạn có thể sử dụng endpoint rerank để xếp hạng mức độ tương đồng giữa một truy vấn và một danh sách văn bản. Với cURL, bạn có thể thực hiện như sau:
curl 127.0.0.1:8080/rerank \
-X POST \
-d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."], "raw_scores": false}' \
-H 'Content-Type: application/json'Mô hình phân loại chuỗi
Bạn cũng có thể sử dụng các mô hình Phân loại Chuỗi cổ điển như SamLowe/roberta-base-go_emotions:
model=SamLowe/roberta-base-go_emotions volume=$PWD/data docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
Sau khi triển khai mô hình, bạn có thể sử dụng endpoint predict để lấy các cảm xúc liên quan nhất đến đầu vào:
curl 127.0.0.1:8080/predict \
-X POST \
-d '{"inputs":"I like you."}' \
-H 'Content-Type: application/json'Với raw_scores: false, các mô hình khai báo "problem_type": "multi_label_classification" trong config.json sẽ trả về một điểm sigmoid độc lập cho mỗi lớp. Các điểm này không cần phải
có tổng bằng 1. Điều này áp dụng cho SamLowe/roberta-base-go_emotions.
Các mô hình khác giữ softmax cho nhiều lớp và sigmoid cho một lớp. Logits không hữu hạn (NaN hoặc vô cùng) sẽ gây ra lỗi suy luận trước cả hai hàm kích hoạt. raw_scores: true trả về logits gốc.
Batching
Bạn có thể gửi nhiều đầu vào trong một lô. Ví dụ, với embeddings:
curl 127.0.0.1:8080/embed \
-X POST \
-d '{"inputs":["Today is a nice day", "I like you"]}' \
-H 'Content-Type: application/json'Và đối với Phân loại Chuỗi:
curl 127.0.0.1:8080/predict \
-X POST \
-d '{"inputs":[["I like you."], ["I hate pineapples"]]}' \
-H 'Content-Type: application/json'Triển khai cách ly không khí
Để triển khai Text Embeddings Inference trong môi trường air-gapped, trước tiên hãy tải xuống các trọng số (weights) sau đó gắn chúng vào bên trong container bằng cách sử dụng một volume.
Ví dụ:
# (Optional) create a `models` directory
mkdir models
cd models
# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install
git clone /Alibaba-NLP/gte-base-en-v1.5
# Set the models directory as the volume path
volume=$PWD
# Mount the models directory inside the container with a volume and set the model ID
docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id /data/gte-base-en-v1.5