text-embeddings-inference documentation

Khảo sát nhanh

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Khảo sát nhanh

Cài đặt

Cách dễ nhất để bắt đầu với TEI là sử dụng một trong các container Docker chính thức (xem Các mô hình và phần cứng được hỗ trợ để chọn container phù hợp).

Do đó, bạn cần cài đặt Docker theo các hướng dẫn cài đặt của họ.

TEI hỗ trợ suy luận trên cả GPU và CPU. Nếu bạn dự định sử dụng GPU, hãy đảm bảo phần cứng của bạn được hỗ trợ bằng cách kiểm tra bảng này. Tiếp theo, hãy cài đặt NVIDIA Container Toolkit. Trình điều khiển NVIDIA trên thiết bị của bạn cần tương thích với phiên bản CUDA 12.2 trở lên.

Triển khai

Tiếp theo, đến lúc triển khai mô hình của bạn. Giả sử bạn muốn sử dụng Qwen/Qwen3-Embedding-0.6B. Dưới đây là cách thực hiện:

model=Qwen/Qwen3-Embedding-0.6B
volume=$PWD/data

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model

Chúng tôi cũng khuyến nghị chia sẻ một volume với container Docker (volume=$PWD/data) để tránh việc tải xuống trọng số ở mỗi lần chạy.

Suy luận

Việc suy luận có thể được thực hiện theo 3 cách: sử dụng cURL, hoặc thông qua các SDK Python InferenceClient hoặc OpenAI.

cURL

Để gửi yêu cầu POST đến điểm cuối TEI bằng cURL, bạn có thể chạy lệnh sau:

curl 127.0.0.1:8080/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'

Python

Để chạy suy luận bằng Python, bạn có thể sử dụng SDK Python huggingface_hub (được khuyến nghị) hoặc SDK Python openai.

huggingface_hub

Bạn có thể cài đặt bằng pip với pip install --upgrade --quiet huggingface_hub, sau đó chạy:

from huggingface_hub import InferenceClient

client = InferenceClient()

embedding = client.feature_extraction("What is deep learning?",
                                      model="http://localhost:8080/embed")
print(len(embedding[0]))

OpenAI

Để gửi yêu cầu đến OpenAI Embeddings API được cung cấp trên Text Embeddings Inference (TEI) bằng OpenAI Python SDK, bạn có thể cài đặt bằng pip install --upgrade openai, sau đó chạy đoạn mã sau:

import os
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key= "-")

response = client.embeddings.create(
    model="text-embeddings-inference",
    input="What is Deep Learning?",
)

print(response.data[0].embedding)

Ngoài ra, bạn cũng có thể gửi yêu cầu bằng cURL như sau:

curl http://localhost:8080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "input": "What is Deep Learning?",
    "model": "text-embeddings-inference",
    "encoding_format": "float"
  }'

Re-ranker và phân loại chuỗi

TEI cũng hỗ trợ các mô hình re-ranker và phân loại chuỗi cổ điển.

Bộ xếp hạng lại

Reranker, còn được gọi là cross-encoder, là các mô hình phân loại chuỗi với một lớp duy nhất, dùng để chấm điểm mức độ tương đồng giữa một truy vấn và một văn bản. Xem bài viết trên blog này của nhóm LlamaIndex để hiểu cách bạn có thể sử dụng các mô hình re-ranker trong pipeline RAG của mình nhằm cải thiện hiệu suất ở các bước tiếp theo.

Giả sử bạn muốn sử dụng BAAI/bge-reranker-large. Trước tiên, bạn có thể triển khai nó như sau:

model=BAAI/bge-reranker-large
volume=$PWD/data

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model

Sau khi triển khai một mô hình, bạn có thể sử dụng endpoint rerank để xếp hạng mức độ tương đồng giữa một truy vấn và một danh sách văn bản. Với cURL, bạn có thể thực hiện như sau:

curl 127.0.0.1:8080/rerank \
    -X POST \
    -d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."], "raw_scores": false}' \
    -H 'Content-Type: application/json'

Mô hình phân loại chuỗi

Bạn cũng có thể sử dụng các mô hình Phân loại Chuỗi cổ điển như SamLowe/roberta-base-go_emotions:

model=SamLowe/roberta-base-go_emotions
volume=$PWD/data

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model

Sau khi triển khai mô hình, bạn có thể sử dụng endpoint predict để lấy các cảm xúc liên quan nhất đến đầu vào:

curl 127.0.0.1:8080/predict \
    -X POST \
    -d '{"inputs":"I like you."}' \
    -H 'Content-Type: application/json'

Với raw_scores: false, các mô hình khai báo "problem_type": "multi_label_classification" trong config.json sẽ trả về một điểm sigmoid độc lập cho mỗi lớp. Các điểm này không cần phải có tổng bằng 1. Điều này áp dụng cho SamLowe/roberta-base-go_emotions.

Các mô hình khác giữ softmax cho nhiều lớp và sigmoid cho một lớp. Logits không hữu hạn (NaN hoặc vô cùng) sẽ gây ra lỗi suy luận trước cả hai hàm kích hoạt. raw_scores: true trả về logits gốc.

Batching

Bạn có thể gửi nhiều đầu vào trong một lô. Ví dụ, với embeddings:

curl 127.0.0.1:8080/embed \
    -X POST \
    -d '{"inputs":["Today is a nice day", "I like you"]}' \
    -H 'Content-Type: application/json'

Và đối với Phân loại Chuỗi:

curl 127.0.0.1:8080/predict \
    -X POST \
    -d '{"inputs":[["I like you."], ["I hate pineapples"]]}' \
    -H 'Content-Type: application/json'

Triển khai cách ly không khí

Để triển khai Text Embeddings Inference trong môi trường air-gapped, trước tiên hãy tải xuống các trọng số (weights) sau đó gắn chúng vào bên trong container bằng cách sử dụng một volume.

Ví dụ:

# (Optional) create a `models` directory
mkdir models
cd models

# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install
git clone /Alibaba-NLP/gte-base-en-v1.5

# Set the models directory as the volume path
volume=$PWD

# Mount the models directory inside the container with a volume and set the model ID
docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id /data/gte-base-en-v1.5
Update on GitHub