Transformers documentation
Inkling 2 Mini
Bu model, 2026-11-21 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.
Inkling 2 Mini
Inkling 2 Mini, Thinking Machines Lab tarafından geliştirilen, metin ve görsel girdilerini kabul edip metin çıktısı üreten çok modlu bir modeldir. Inkling 2 Small modeline dayanır ancak 48 yerine yalnızca 24 kodlayıcı katmanına sahiptir. Daha düşük katman sayısı, 6'dan 17'ye kadar olan katmanların üç kez çalıştığı bir döngüleme mekanizmasıyla telafi edilir. Döngü geçişleri arasında bilgi, önceki geçişin artıklarını her döngü katmanının dikkat ve mixture-of-experts girdilerine karıştıran öğrenilmiş bir mesaj geçirme mekanizması aracılığıyla paylaşılır. Kodlayıcının gizli boyutu 2304'tür ve her token'ı 128 uzman arasından 8'ine yönlendirir. Görsel kodlayıcı, belirteçleyici ve işleyici, Inkling 2 Small'dakilerle aynıdır.
Inkling 2 Mini, değişken sayıda döngü geçişini destekleyen ek bir araştırma kontrol noktası ile birlikte gelir. Mimari, ana Inkling 2 Mini modeliyle özdeştir. Döngü geçiş sayısı, hız ile kalite arasında denge kurmak için ayarlanabilir. Daha az geçiş daha hızlıyken, daha fazla geçiş kaliteyi artırır.
Her iki checkpoint de, Transformers'ın modeli yüklerken dequantize ettiği NVFP4 ve MXFP8 quantize edilmiş katmanlar içerir.
Kontrol Noktaları
Kaynaklar
import torch
from transformers import pipeline
pipe = pipeline(
"image-text-to-text", model="thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
)
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
},
{"type": "text", "text": "What animal is in this image, and where is it?"},
],
},
]
output = pipe(messages, max_new_tokens=1024, return_full_text=False, skip_special_tokens=False)
print(output[0]["generated_text"])
# <|message_model|><|content_thinking|>The user is asking about an animal in an image. Let me
# analyze what I see: a small wild feline with thick, fluffy fur dusted with snow, short legs, a
# broad face, and black stripes/spots.
# ...
# <|end_message|><|message_model|><|content_text|>The animal appears to be a Pallas’s cat (manul) —
# a small, bear-like wild cat with thick speckled/striped fur. It’s standing on snow inside what
# looks like a zoo or wildlife enclosure, with snow-covered birch/log branches and a chain-link
# fence in the background.<|end_message|><|content_model_end_sampling|>import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
},
{"type": "text", "text": "What animal is in this image, and where is it?"},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
# <|message_model|><|content_thinking|>The user is asking what animal is in the image and where it
# is. Let me analyze the image.
# ...
# <|end_message|><|message_model|><|content_text|>The animal appears to be a Pallas’s cat (manul), a
# stocky small wild cat with thick, snow-dusted fur. It is standing on snow, likely inside a zoo or
# wildlife enclosure — you can see birch/aspen-like posts and chain-link fencing in the
# background.<|end_message|><|content_model_end_sampling|>import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/TML-d24-varloop-research"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
text_config={"loop_num_passes": 3}, # number of loop passes, must be at least 1
)
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
},
{"type": "text", "text": "What animal is in this image, and where is it?"},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
# <|message_model|><|content_thinking|>We need answer image question. Need identify animal and where
# is it.
# ...
# <|end_message|><|message_model|><|content_text|>The animal is a Pallas’s cat (a.k.a. Manul), a
# stocky, densely furred small wild cat. It’s in the snow outdoors in a cold setting—likely a winter
# enclosure/habitat—standing/walking on snow at the center of the
# image.<|end_message|><|content_model_end_sampling|>Notlar
- Attention yalnızca eager modda çalışır çünkü her katman bir göreli konum yanlılığı ve bir sink ekler.
- Kısa konvolüsyonlar, mevcut olduğunda hızlı GPU çekirdeklerini kullanır:
use_kernels=Trueile yüklenirken Hub çekirdekleri, aksi halde yüklüyse causal-conv1d paketi (pip install causal-conv1d). Bunlar olmadan, daha yavaş bir PyTorch uygulamasına geri düşerler. - Döngü katmanlarındaki her geçiş kendi anahtarlarını, değerlerini ve konvolüsyon durumlarını koruduğu için önbellekte her katman ziyareti için bir katman bulunur (yayınlanan kontrol noktası için 48).
output_hidden_statesveoutput_attentions, her katman ziyareti için bir giriş döndürür.
Inkling2LoopConfig
sınıf transformers.Inkling2LoopConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: transformers.models.inkling2_loop.configuration_inkling2_loop.Inkling2LoopTextConfig | dict | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneimage_token_id: int = 200054 )
Parametreler
- text_config (
Union[~models.inkling2_loop.configuration_inkling2_loop.Inkling2LoopTextConfig, dict], isteğe bağlı) — Metin omurgasının yapılandırma nesnesi veya sözlüğü. - vision_config (
Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Görüntü omurgasının yapılandırma nesnesi veya sözlüğü. - image_token_id (
int, isteğe bağlı, varsayılan 200054) — Görsel yer tutucularının token indeksi, her biri tek bir görsel özelliğiyle değiştirilir.
Bu, bir Inkling2LoopModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Inkling2 Loop modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, thinkingmachines/Inkling-2-Mini ile benzer bir yapılandırmaya yol açar.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
Inkling2LoopTextConfig
sınıf transformers.Inkling2LoopTextConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 201024unpadded_vocab_size: int = 200058hidden_size: int = 2304num_hidden_layers: int = 24num_attention_heads: int = 24num_key_value_heads: int = 8head_dim: int = 128swa_num_attention_heads: int = 24swa_num_key_value_heads: int = 8swa_head_dim: int = 128sliding_window_size: int = 1024d_rel: int = 16rel_extent: int = 1024log_scaling_n_floor: int = 8192log_scaling_alpha: float = 0.1layer_types: list[str] | None = Nonemax_position_embeddings: int = 1048576rms_norm_eps: float = 1e-06conv_kernel_size: int = 4hidden_act: str = 'silu'moe_intermediate_size: int = 1152n_routed_experts: int = 128num_experts_per_tok: int = 8route_scale: float = 8.0attention_dropout: float = 0.0initializer_range: float = 0.02pad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | None = 200006qk_l2_clip_threshold: float = 22.627416997969522rel_l2_clip_threshold: float = 8.0n_layers_per_attn_res_block: int = 6mlp_gate_softcap: float = 4.0mlp_up_softcap: float = 25.0final_logit_softcapping: float = 30.0scoring_func: str = 'sigmoid'use_cache: bool = Trueloop_layer_index_start: int = 6loop_layer_index_end: int = 18loop_num_passes: int = 3loop_gate_rank: int = 64 )
Parametreler
- vocab_size (
int, isteğe bağlı, varsayılan201024) — Modelin sözlük boyutu.input_idsile temsil edilebilecek farklı token sayısını belirler. - unpadded_vocab_size (
int, isteğe bağlı, varsayılan 200058) — Dil modelleme başlığının çıktı boyutu. Kontrol noktası gömme (unembedding)vocab_sizedeğerine dolgu (padding) uygulanarak ayarlanır; doldurulan satırlar yüklenirken kaldırılır ve kaydedilirken sıfır olarak geri yüklenir. - hidden_size (
int, isteğe bağlı, varsayılan2304) — Gizli temsillerin boyutu. - num_hidden_layers (
int, isteğe bağlı, varsayılan24) — Transformer çözücüdeki gizli katman sayısı. - num_attention_heads (
int, isteğe bağlı, varsayılan24) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı. - num_key_value_heads (
int, isteğe bağlı, varsayılan8) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır.num_key_value_heads=num_attention_headsise model Multi Head Attention (MHA) kullanır,num_key_value_heads=1ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olaraknum_attention_headskullanılır. - head_dim (
int, isteğe bağlı, varsayılan128) — Dikkat başlığı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır. - swa_num_attention_heads (
int, isteğe bağlı, varsayılan 24) — Kayan pencere katmanlarındaki dikkat başlarının sayısı. - swa_num_key_value_heads (
int, isteğe bağlı, varsayılan 8) — Kayan pencere katmanlarındaki anahtar/değer baş sayısı. - swa_head_dim (
int, isteğe bağlı, varsayılan 128) — Kayan pencere katmanlarında sorgu ve anahtar başlarının boyutu. - sliding_window_size (
int, isteğe bağlı, varsayılan 1024) —layer_typesgirdisi"hybrid_sliding"olan katmanların kullandığı kayan dikkat penceresinin boyutu. - d_rel (
int, isteğe bağlı, varsayılan 16) — Göreceli konum sapmasına karıştırılan göreceli durumların baş başına boyutu. - rel_extent (
int, isteğe bağlı, varsayılan 1024) — Tam dikkat katmanlarında göreli konum önyargısının uygulandığı, token cinsinden geriye dönük mesafe. - log_scaling_n_floor (
int, isteğe bağlı, varsayılan 8192) — Tam dikkat katmanlarında sorguların ve göreli durumların logaritmik olarak ölçeklendirilmeye başlandığı konum. - log_scaling_alpha (
float, isteğe bağlı, varsayılan 0.1) —log_scaling_n_floortarafından kontrol edilen logaritmik ölçeklemenin gücü. - layer_types (
list[str], isteğe bağlı) — Her katman indeksini ilgili katman türüyle açıkça eşleyen bir liste. Sağlanmazsa, config değerlerine göre otomatik olarak oluşturulur. - max_position_embeddings (
int, isteğe bağlı, varsayılan1048576) — Bu modelin kullanılabileceği en uzun dizi uzunluğu. - rms_norm_eps (
float, isteğe bağlı, varsayılan1e-06) — rms normalizasyon katmanları tarafından kullanılan epsilon. - conv_kernel_size (
int, isteğe bağlı, varsayılan4) — Konvolüsyon çekirdeğinin boyutu. - hidden_act (
str, isteğe bağlı, varsayılansilu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin,"gelu","relu","silu"vb. - moe_intermediate_size (
int, isteğe bağlı, varsayılan1152) — Yönlendirilen uzman MLP'lerinin ara boyutu. - n_routed_experts (
int, isteğe bağlı, varsayılan128) — Yönlendirilen uzman sayısı. - num_experts_per_tok (
int, isteğe bağlı, varsayılan8) — Her tokenın yönlendirileceği uzman sayısı. Bu, token seçimli yönlendirmede top-k değeridir. - route_scale (
float, isteğe bağlı, varsayılan8.0) — Yönlendirilen uzmanlar için ölçekleme çarpanı. - attention_dropout (
float, isteğe bağlı, varsayılan0.0) — Dikkat olasılıkları için dropout oranı. - initializer_range (
float, isteğe bağlı, varsayılan0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. - pad_token_id (
int, isteğe bağlı) — Sözlükte dolgu için kullanılan token kimliği. - bos_token_id (
int, isteğe bağlı) — Sözlükte akış başlangıcı için kullanılan token kimliği. - eos_token_id (
int, isteğe bağlı, varsayılan200006) — Sözlükte akış sonu için kullanılan token kimliği. - qk_l2_clip_threshold (
float, isteğe bağlı, varsayılan 22.627416997969522) — Her sorgu ve anahtar başlık vektörünün maksimum L2 normu. Daha uzun vektörler bu norma ölçeklenir. - rel_l2_clip_threshold (
float, isteğe bağlı, varsayılan 8.0) — Her göreli durum baş vektörünün maksimum L2 normu. - n_layers_per_attn_res_block (
int, isteğe bağlı, varsayılan 6) — Bir blok, dikkat kalıntıları için bir kaynak haline gelmeden önce tek bir bloğa toplanan decoder katmanlarının sayısı. - mlp_gate_softcap (
float, isteğe bağlı, varsayılan 4.0) — Uzmanların gate projeksiyonunun doğrusal kısmına uygulanan softcap. - mlp_up_softcap (
float, isteğe bağlı, varsayılan 25.0) — Uzmanların yukarı projeksiyonuna uygulanan softcap. - final_logit_softcapping (
float, isteğe bağlı, varsayılan 30.0) — Çıktı logitlerine uygulanan softcap. - scoring_func (
str, isteğe bağlı, varsayılan"sigmoid") — Router logits'ini uzman puanlarına dönüştüren aktivasyon. - use_cache (
bool, isteğe bağlı, varsayılanTrue) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızcaconfig.is_decoder=Trueolduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir. - loop_layer_index_start (
int, isteğe bağlı, varsayılan 6) — Döngüye alınan ilk decoder katmanının indeksi.n_layers_per_attn_res_block'nin katı olmalıdır. - loop_layer_index_end (
int, isteğe bağlı, varsayılan 18) — Son döngüye alınan decoder katmanından sonraki indeks.loop_layer_index_startileloop_layer_index_end - 1arasındaki katmanlar döngüye alınır.n_layers_per_attn_res_blockdeğerinin katı olmalıdır. - loop_num_passes (
int, isteğe bağlı, varsayılan 3) — Döngü sayısı. - loop_gate_rank (
int, isteğe bağlı, varsayılan 64) — Önceki geçişin artık bloklarını geçerli bloğa karıştıran mesaj kapısı projeksiyonlarının rütbesi.
Bu, bir Inkling2LoopModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Inkling2 Loop modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, thinkingmachines/Inkling-2-Mini ile benzer bir yapılandırmaya yol açar.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
Inkling2LoopPreTrainedModel
sınıf transformers.Inkling2LoopPreTrainedModel
< source >( config: PreTrainedConfig*inputs**kwargs )
Parametreler
- config (PreTrainedConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
Noktalı bir yol için sahte bir değer (ör. torch.float32): öznitelik erişim zincirleri, çağrılar geçiş (pass-through) dekoratörleri gibi davranır, repr noktalı yoldur ve bir taban sınıf olarak kullanıldığında düz bir type tabanı yerine geçer (PEP 560 __mro_entries__), böylece gerçek alt sınıflar normal bir meta sınıfı korur ve inspect.signature sahtenin yerine gerçek __init__ değerlerini okur.
Inkling2LoopTextModel
sınıf transformers.Inkling2LoopTextModel
< source >( config: Inkling2LoopTextConfig )
Parametreler
- config (Inkling2LoopTextConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Üzerinde herhangi bir özel head olmadan ham hidden-states üreten çıplak Inkling2 Loop Text Model.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)
Parametreler
- input_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
- position_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı[0, config.n_positions - 1]. - cache (
~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlendirmeyi hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki ve cross-attention bloklarındaki anahtar ve değerler). Bu genelliklecacheönceki bir çözümlendirme aşamasında modelin döndürdüğüuse_cache=Trueveyaconfig.use_cache=True.Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. Hiçbir
cachegeçirilmezse, varsayılan olarak DynamicCache başlatılır.Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.
cachekullanılıyorsa, kullanıcının tüminput_ids(şekli(batch_size, sequence_length)) yerine, yalnızca bu modele geçmiş anahtar-değer durumları verilmemiş olan, işlenmemişinput_ids(şekli(batch_size, unprocessed_length)) girmesi beklenir. - inputs_embeds (
torch.Tensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak,input_idsyerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu,input_idsdizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır. - use_cache (
bool, isteğe bağlı) —Trueolarak ayarlanırsa,cacheanahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz.cache).
Dönüş değeri
MoeModelOutputWithPast veya tuple(torch.Tensor)
MoeModelOutputWithPast veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Inkling2LoopTextModel forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
last_hidden_state (
torch.Tensor, şekli(batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.cache (
Cache, isteğe bağlı,use_cache=Truegeçirildiğinde veyaconfig.use_cache=Trueolduğunda döndürülür) — Bir Cache örneğidir. Daha fazla ayrıntı için kv cache kılavuzumuza bakın.Sıralı çözümlemeyi hızlandırmak için (bkz.
cachegirdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler ve isteğe bağlı olarakconfig.is_encoder_decoder=Trueise cross-attention bloklarındaki anahtar ve değerler) içerir.hidden_states (
tuple(torch.Tensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.Tensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren,(batch_size, sequence_length, hidden_size)biçiminde bir demet.Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
attentions (
tuple(torch.Tensor), isteğe bağlı,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) —torch.Tensor(katman başına bir tane) içeren bir tuple, şekli(batch_size, num_heads, sequence_length, sequence_length).Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
router_logits (
tuple(torch.Tensor), isteğe bağlı,output_router_probs=Trueveconfig.add_router_probs=Truegeçirildiğinde veyaconfig.output_router_probs=Trueolduğunda döndürülür) —torch.Tensor(katman başına bir tane) içeren bir tuple, şekli(batch_size, sequence_length, num_experts).MoE yönlendiricileri tarafından hesaplanan ham yönlendirici logitleri (softmax sonrası), bu terimler Mixture of Experts modelleri için yardımcı kaybı hesaplamakta kullanılır.
Inkling2LoopForCausalLM
sınıf transformers.Inkling2LoopForCausalLM
< source >( config: Inkling2LoopTextConfig )
Parametreler
- config (Inkling2LoopTextConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Nedensel dil modellemesi için Inkling2 Loop Model.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Inkling2LoopCausalLMOutputWithPast or tuple(torch.Tensor)
Parametreler
- input_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
- position_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı[0, config.n_positions - 1]. - cache (
~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlendirmeyi hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki ve cross-attention bloklarındaki anahtar ve değerler). Bu genelliklecacheönceki bir çözümlendirme aşamasında modelin döndürdüğüuse_cache=Trueveyaconfig.use_cache=True.Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. Hiçbir
cachegeçirilmezse, varsayılan olarak DynamicCache başlatılır.Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.
cachekullanılıyorsa, kullanıcının tüminput_ids(şekli(batch_size, sequence_length)) yerine, yalnızca bu modele geçmiş anahtar-değer durumları verilmemiş olan, işlenmemişinput_ids(şekli(batch_size, unprocessed_length)) girmesi beklenir. - inputs_embeds (
torch.Tensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak,input_idsyerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu,input_idsdizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır. - labels (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Nedensel dil modelleme kaybını hesaplamak için etiketler. Endeksler[-100, 0, ..., config.vocab_size](bkz.input_idsbelge dizisi). Endeksleri-100olarak ayarlanan jetonlar yok sayılır (maske uygulanır), kayıp yalnızca etiketleri[0, ..., config.vocab_size].Etiketler,
labels[..., 1:]'inlogits[..., :-1, :]'i tahmin etmesi için içsel olarak kaydırılır.input_idsile eşleşen, kaydırılmamış etiketleri iletin (yanilabels = input_ids). Etiketleri iletmeden önce kendiniz kaydırmayın.Etiketler zaten kaydırılmışsa (örneğin dizi paralelliği ile), bunları
shift_labelsanahtar kelime argümanı olarak iletin ve olduğu gibi kullanılır. Kayıp hesaplanabilmesi içinlabelsyine de iletilmelidir. - use_cache (
bool, isteğe bağlı) —Trueolarak ayarlanırsa,cacheanahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz.cache). - logits_to_keep (
Union[int, torch.Tensor], isteğe bağlı, varsayılan0) —intise, sonlogits_to_keeptoken için logits hesaplanır.0ise, tüminput_idsiçin logits hesaplanır (özel durum). Üretim için yalnızca son token logits'leri gereklidir ve bunların yalnızca o token için hesaplanması bellek tasarrufu sağlar; bu, uzun diziler veya büyük sözlük boyutu için oldukça önemli hale gelir.torch.Tensorise, dizi uzunluğu boyutundaki korunacak indekslere karşılık gelen 1B olmalıdır. Bu, paketlenmiş tensor biçimini (batch ve dizi uzunluğu için tek boyut) kullanırken faydalıdır.
Dönüş değeri
Inkling2LoopCausalLMOutputWithPast veya tuple(torch.Tensor)
Inkling2LoopCausalLMOutputWithPast veya torch.Tensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Inkling2LoopForCausalLM forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
loss (
torch.FloatTensor, şekli(1,), opsiyonel,labelssağlandığında döndürülür) — Dil modelleme kaybı (sonraki token tahmini için).logits (
torch.FloatTensor, şekli(batch_size, sequence_length, config.vocab_size)) — Dil modelleme başlığının tahmin puanları (SoftMax öncesi her sözlük jetonu için puanlar).cache (
Cache, isteğe bağlı,use_cache=Truegeçirildiğinde veyaconfig.use_cache=Trueolduğunda döndürülür) — Bir Cache örneğidir. Daha fazla ayrıntı için kv cache kılavuzumuza bakın. Sıralı çözümlemeyi hızlandırmak için (bkz.cachegirdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler veconfig.is_encoder_decoder=Trueise isteğe bağlı olarak cross-attention bloklarındaki anahtar ve değerler) içerir.hidden_states (
tuple(torch.FloatTensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli(batch_size, sequence_length, hidden_size). Dil modeli omurgasının her katmanının çıktısındaki gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.attentions (
tuple(torch.FloatTensor), opsiyonel,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) — Şekli(batch_size, num_heads, sequence_length, sequence_length)olantorch.FloatTensor(her katman için bir tane) içeren bir tuple. Dikkat softmax'inden sonra dil modeli omurgasının dikkat ağırlıkları.image_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Görüntü kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen görüntü yoksaNone.video_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Video kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen video yoksaNone.audio_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen ses yoksaNone.router_logits (
tuple[torch.Tensor], isteğe bağlı,output_router_logits=Truegeçirildiğinde veyaconfig.add_router_probs=Trueolduğunda döndürülür) —torch.Tensor(her katman için bir tane) içeren bir tuple, şekli(batch_size, sequence_length, num_experts).Modelin yönlendirici logitleri, Uzmanlar Karışımı (Mixture of Experts) modelleri için yardımcı kaybı hesaplamakta kullanışlıdır.
Örnek:
>>> import torch
>>> from transformers import AutoTokenizer, Inkling2LoopForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("thinkingmachines/Inkling-2-Mini")
>>> model = Inkling2LoopForCausalLM.from_pretrained(
... "thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
... )
>>> messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
>>> inputs = tokenizer.apply_chat_template(
... messages,
... tokenize=True,
... add_generation_prompt=True,
... return_dict=True,
... return_tensors="pt",
... ).to(model.device)
>>> input_len = inputs["input_ids"].shape[-1]
>>> outputs = model.generate(**inputs, max_new_tokens=1024)
>>> print(tokenizer.decode(outputs[0][input_len:], skip_special_tokens=False))Inkling2LoopModel
sınıf transformers.Inkling2LoopModel
< source >( config: Inkling2LoopConfig )
Parametreler
- config (Inkling2LoopConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Dil modelleme kafası olmadan bir görme omurgası ve bir dil modelinden oluşan temel Inkling2Loop modeli,
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Inkling2LoopModelOutputWithPast or tuple(torch.Tensor)
Parametreler
- input_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- pixel_values (
torch.Tensor, şekli(batch_size, num_channels, image_size, image_size), isteğe bağlı) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleriimage_processor_classkullanılarak elde edilebilir. Ayrıntılar içinimage_processor_class.__call__bölümüne bakın (processor_class, görüntü işleme içinimage_processor_classkullanır). - image_grid_thw (
torch.LongTensor, şekli(num_images, 3), isteğe bağlı) — Her bir görüntünün dil modeli görüntü jetonları cinsinden sayılan zaman, yükseklik ve genişliği. - attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
- position_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı[0, config.n_positions - 1]. - cache (
~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlendirmeyi hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki ve cross-attention bloklarındaki anahtar ve değerler). Bu genelliklecacheönceki bir çözümlendirme aşamasında modelin döndürdüğüuse_cache=Trueveyaconfig.use_cache=True.Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. Hiçbir
cachegeçirilmezse, varsayılan olarak DynamicCache başlatılır.Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.
cachekullanılıyorsa, kullanıcının tüminput_ids(şekli(batch_size, sequence_length)) yerine, yalnızca bu modele geçmiş anahtar-değer durumları verilmemiş olan, işlenmemişinput_ids(şekli(batch_size, unprocessed_length)) girmesi beklenir. - inputs_embeds (
torch.Tensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak,input_idsyerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu,input_idsdizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır. - use_cache (
bool, isteğe bağlı) —Trueolarak ayarlanırsa,cacheanahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz.cache). - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], isteğe bağlı) — Anahtarları desteklenen modaliteler, değerleri ise o modalite için kodlanmış çıktılar olan bir sözlük. Her kodlanmış çıktı, (pooler_output, isteğe bağlı:last_hidden_states, isteğe bağlı:hidden_states, isteğe bağlı:attentions)pooler_output(şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) biçiminde bir demettir ve kodlayıcının çok modlu özelliklerinin metin gömme (embedding) değerleriyle birleştirilmiş bir dizisidir.
Dönüş değeri
Inkling2LoopModelOutputWithPast veya tuple(torch.Tensor)
Inkling2LoopModelOutputWithPast veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Inkling2LoopModel forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
last_hidden_state (
torch.FloatTensor, şekli(batch_size, sequence_length, hidden_size)) — Dil modeli omurgasının son katmanının çıktısındaki gizli durumlar dizisi.cachekullanılırsa, yalnızca(batch_size, 1, hidden_size)şeklindeki dizilerin son gizli durumu çıkarılır.cache (
Cache, isteğe bağlı,use_cache=Truegeçirildiğinde veyaconfig.use_cache=Trueolduğunda döndürülür) — Bir Cache örneğidir. Daha fazla ayrıntı için kv cache kılavuzumuza bakın. Sıralı çözümlemeyi hızlandırmak için (bkz.cachegirdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler veconfig.is_encoder_decoder=Trueise isteğe bağlı olarak cross-attention bloklarındaki anahtar ve değerler) içerir.hidden_states (
tuple(torch.FloatTensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli(batch_size, sequence_length, hidden_size). Dil modeli omurgasının her katmanının çıktısındaki gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.attentions (
tuple(torch.FloatTensor), opsiyonel,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) — Şekli(batch_size, num_heads, sequence_length, sequence_length)olantorch.FloatTensor(her katman için bir tane) içeren bir tuple. Dikkat softmax'inden sonra dil modeli omurgasının dikkat ağırlıkları.image_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Görüntü kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen görüntü yoksaNone.video_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Video kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen video yoksaNone.audio_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen ses yoksaNone.router_logits (
tuple[torch.Tensor], isteğe bağlı,output_router_logits=Truegeçirildiğinde veyaconfig.add_router_probs=Trueolduğunda döndürülür) —torch.Tensor(her katman için bir tane) içeren bir tuple, şekli(batch_size, sequence_length, num_experts).Modelin yönlendirici logitleri, Uzmanlar Karışımı (Mixture of Experts) modelleri için yardımcı kaybı hesaplamakta kullanışlıdır.
Örnek:
>>> import torch
>>> from transformers import AutoProcessor, Inkling2LoopModel
>>> processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling-2-Mini")
>>> model = Inkling2LoopModel.from_pretrained(
... "thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
... )
>>> messages = [
... {
... "role": "user",
... "content": [
... {
... "type": "image",
... "image": "/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
... },
... {"type": "text", "text": "What animal is in this image, and where is it?"},
... ],
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... add_generation_prompt=True,
... return_dict=True,
... return_tensors="pt",
... ).to(model.device)
>>> outputs = model(**inputs)
>>> last_hidden_state = outputs.last_hidden_stateInkling2LoopForConditionalGeneration
sınıf transformers.Inkling2LoopForConditionalGeneration
< source >( config: Inkling2LoopConfig )
Parametreler
- config (Inkling2LoopConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Dil modelleme kafası olmadan bir görme omurgası ve bir dil modelinden oluşan temel Inkling2Loop modeli,
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Inkling2LoopCausalLMOutputWithPast or tuple(torch.Tensor)
Parametreler
- input_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- pixel_values (
torch.Tensor, şekli(batch_size, num_channels, image_size, image_size), isteğe bağlı) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleriimage_processor_classkullanılarak elde edilebilir. Ayrıntılar içinimage_processor_class.__call__bölümüne bakın (processor_class, görüntü işleme içinimage_processor_classkullanır). - image_grid_thw (
torch.LongTensor, şekli(num_images, 3), isteğe bağlı) — Her bir görüntünün dil modeli görüntü jetonları cinsinden sayılan zaman, yükseklik ve genişliği. - attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
- position_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı[0, config.n_positions - 1]. - cache (
~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlendirmeyi hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki ve cross-attention bloklarındaki anahtar ve değerler). Bu genelliklecacheönceki bir çözümlendirme aşamasında modelin döndürdüğüuse_cache=Trueveyaconfig.use_cache=True.Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. Hiçbir
cachegeçirilmezse, varsayılan olarak DynamicCache başlatılır.Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.
cachekullanılıyorsa, kullanıcının tüminput_ids(şekli(batch_size, sequence_length)) yerine, yalnızca bu modele geçmiş anahtar-değer durumları verilmemiş olan, işlenmemişinput_ids(şekli(batch_size, unprocessed_length)) girmesi beklenir. - inputs_embeds (
torch.Tensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak,input_idsyerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu,input_idsdizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır. - labels (
torch.LongTensor, şekli(batch_size, sequence_length), isteğe bağlı) — Maskeli dil modelleme kaybını hesaplamak için etiketler. Endeksler[0, ..., config.vocab_size]aralığında olmalı ya da -100 olmalı (input_idsdocstring'ine bakın). Endeksleri-100olarak ayarlanan tokenlar yok sayılır (maskelenir), kayıp yalnızca etiketleri[0, ..., config.vocab_size]aralığında olan tokenlar için hesaplanır. - use_cache (
bool, isteğe bağlı) —Trueolarak ayarlanırsa,cacheanahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz.cache). - logits_to_keep (
Union[int, torch.Tensor], isteğe bağlı, varsayılan0) —intise, sonlogits_to_keeptoken için logits hesaplanır.0ise, tüminput_idsiçin logits hesaplanır (özel durum). Üretim için yalnızca son token logits'leri gereklidir ve bunların yalnızca o token için hesaplanması bellek tasarrufu sağlar; bu, uzun diziler veya büyük sözlük boyutu için oldukça önemli hale gelir.torch.Tensorise, dizi uzunluğu boyutundaki korunacak indekslere karşılık gelen 1B olmalıdır. Bu, paketlenmiş tensor biçimini (batch ve dizi uzunluğu için tek boyut) kullanırken faydalıdır. - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], isteğe bağlı) — Anahtarları desteklenen modaliteler, değerleri ise o modalite için kodlanmış çıktılar olan bir sözlük. Her kodlanmış çıktı, (pooler_output, isteğe bağlı:last_hidden_states, isteğe bağlı:hidden_states, isteğe bağlı:attentions)pooler_output(şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) biçiminde bir demettir ve kodlayıcının çok modlu özelliklerinin metin gömme (embedding) değerleriyle birleştirilmiş bir dizisidir.
Dönüş değeri
Inkling2LoopCausalLMOutputWithPast veya tuple(torch.Tensor)
Inkling2LoopCausalLMOutputWithPast veya torch.Tensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Inkling2LoopForConditionalGeneration forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
loss (
torch.FloatTensor, şekli(1,), opsiyonel,labelssağlandığında döndürülür) — Dil modelleme kaybı (sonraki token tahmini için).logits (
torch.FloatTensor, şekli(batch_size, sequence_length, config.vocab_size)) — Dil modelleme başlığının tahmin puanları (SoftMax öncesi her sözlük jetonu için puanlar).cache (
Cache, isteğe bağlı,use_cache=Truegeçirildiğinde veyaconfig.use_cache=Trueolduğunda döndürülür) — Bir Cache örneğidir. Daha fazla ayrıntı için kv cache kılavuzumuza bakın. Sıralı çözümlemeyi hızlandırmak için (bkz.cachegirdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler veconfig.is_encoder_decoder=Trueise isteğe bağlı olarak cross-attention bloklarındaki anahtar ve değerler) içerir.hidden_states (
tuple(torch.FloatTensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli(batch_size, sequence_length, hidden_size). Dil modeli omurgasının her katmanının çıktısındaki gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.attentions (
tuple(torch.FloatTensor), opsiyonel,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) — Şekli(batch_size, num_heads, sequence_length, sequence_length)olantorch.FloatTensor(her katman için bir tane) içeren bir tuple. Dikkat softmax'inden sonra dil modeli omurgasının dikkat ağırlıkları.image_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Görüntü kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen görüntü yoksaNone.video_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Video kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen video yoksaNone.audio_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının çıktısı:last_hidden_state,pooler_output,hidden_statesveattentions. İşlenen ses yoksaNone.router_logits (
tuple[torch.Tensor], isteğe bağlı,output_router_logits=Truegeçirildiğinde veyaconfig.add_router_probs=Trueolduğunda döndürülür) —torch.Tensor(her katman için bir tane) içeren bir tuple, şekli(batch_size, sequence_length, num_experts).Modelin yönlendirici logitleri, Uzmanlar Karışımı (Mixture of Experts) modelleri için yardımcı kaybı hesaplamakta kullanışlıdır.
Örnek:
>>> import torch
>>> from transformers import AutoProcessor, Inkling2LoopForConditionalGeneration
>>> processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling-2-Mini")
>>> model = Inkling2LoopForConditionalGeneration.from_pretrained(
... "thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
... )
>>> messages = [
... {
... "role": "user",
... "content": [
... {
... "type": "image",
... "image": "/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
... },
... {"type": "text", "text": "What animal is in this image, and where is it?"},
... ],
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... add_generation_prompt=True,
... return_dict=True,
... return_tensors="pt",
... ).to(model.device)
>>> input_len = inputs["input_ids"].shape[-1]
>>> outputs = model.generate(**inputs, max_new_tokens=1024)
>>> print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))