Vai al contenuto principale
I modelli di visione possono analizzare immagini insieme a prompt testuali. Usali per la comprensione delle immagini, l’estrazione, la classificazione, il visual question answering e il ragionamento multimodale. Venice supporta messaggi di chat multimodali compatibili con OpenAI. Inserisci blocchi di testo e immagini nello stesso messaggio utente, quindi invia la richiesta a un modello abilitato alla visione.

Utilizzo di Base

Uso di Immagini Base64

Puoi anche passare una data URL in base64 quando l’immagine è locale o privata:
Sostituisci <BASE64_ENCODED_IMAGE> con la codifica base64 completa del file immagine, ad esempio base64.b64encode(open("photo.png", "rb").read()).decode() in Python.
Le immagini base64 devono iniziare con il prefisso data:image/<type>;base64, (ad esempio data:image/jpeg;base64,). Il base64 grezzo senza prefisso viene rifiutato. Le immagini devono essere di almeno 64×64 pixel e il formato SVG non è supportato. Se un’immagine viene rifiutata, il messaggio di errore ne indica il motivo.

Inviare più immagini

content è un array, quindi un singolo messaggio utente può includere diversi blocchi image_url insieme al testo. Usalo per confrontare immagini o porre una domanda che riguarda più di un’immagine:
Non tutti i modelli di visione accettano più di un’immagine per richiesta. Controlla supportsMultipleImages e maxImages in model_spec.capabilities nella risposta della Models API prima di inviarne diverse. Ogni immagine consuma anche token di contesto. Se una richiesta con più immagini restituisce TOO_MANY_TOKENS (HTTP 400), invia meno immagini, accorcia le istruzioni o passa a un modello con una finestra di contesto più ampia.

Scelta di un Modello di Visione

Usa la pagina Modelli di Testo o l’API Modelli per trovare modelli che supportano la visione. Il supporto alla visione è indicato tra le capacità del modello.
Per input di tipo documento, usa gli Input da File quando desideri che Venice estragga il testo da un file. Usa la visione quando conta il layout visivo o il contenuto stesso dell’immagine.

Consigli sul Prompting

  • Indica al modello su cosa concentrarsi: oggetti, testo, layout, sicurezza, difetti o differenze.
  • Richiedi output strutturato quando la tua applicazione ha bisogno di campi che puoi analizzare.
  • Assicurati che gli URL delle immagini siano accessibili all’API, oppure usa data URL in base64 per immagini private.
  • Usa un modello con contesto sufficiente se combini immagini con istruzioni lunghe.

Risorse Correlate