Zum Hauptinhalt springen
Vision-Modelle können Bilder zusammen mit Textprompts analysieren. Verwende sie für Bildverständnis, Extraktion, Klassifikation, visuelle Fragebeantwortung und multimodales Reasoning. Venice unterstützt OpenAI-kompatible multimodale Chat-Nachrichten. Füge Text- und Bildblöcke in dieselbe Benutzernachricht ein und sende die Anfrage anschließend an ein vision-fähiges Modell.

Grundlegende Nutzung

Base64-Bilder verwenden

Du kannst auch eine Base64-Data-URL übergeben, wenn das Bild lokal oder privat ist:
Ersetze <BASE64_ENCODED_IMAGE> durch die vollständige Base64-Kodierung der Bilddatei, zum Beispiel base64.b64encode(open("photo.png", "rb").read()).decode() in Python.
Base64-Bilder müssen mit dem Präfix data:image/<type>;base64, beginnen (zum Beispiel data:image/jpeg;base64,). Rohes Base64 ohne das Präfix wird abgelehnt. Bilder müssen mindestens 64×64 Pixel groß sein, und SVG wird nicht unterstützt. Wenn ein Bild abgelehnt wird, nennt die Fehlermeldung den Grund.

Mehrere Bilder senden

content ist ein Array, daher kann eine einzelne Benutzernachricht mehrere image_url-Blöcke zusammen mit Text enthalten. Nutze dies, um Bilder zu vergleichen oder eine Frage zu stellen, die sich auf mehr als ein Bild bezieht:
Nicht jedes Vision-Modell akzeptiert mehr als ein Bild pro Anfrage. Prüfe supportsMultipleImages und maxImages unter model_spec.capabilities in der Antwort der Models-API, bevor du mehrere sendest. Jedes Bild verbraucht außerdem Kontext-Tokens. Wenn eine Anfrage mit mehreren Bildern TOO_MANY_TOKENS (HTTP 400) zurückgibt, sende weniger Bilder, kürze deine Anweisungen oder wechsle zu einem Modell mit größerem Kontextfenster.

Ein Vision-Modell auswählen

Nutze die Seite Textmodelle oder die Models-API, um Modelle zu finden, die Vision unterstützen. Die Vision-Unterstützung ist in den Modellfähigkeiten aufgeführt.
Verwende bei dokumentähnlichen Eingaben Datei-Eingaben, wenn Venice Text aus einer Datei extrahieren soll. Verwende Vision, wenn das visuelle Layout oder der Bildinhalt selbst wichtig ist.

Prompt-Tipps

  • Sag dem Modell, worauf es sich konzentrieren soll: Objekte, Text, Layout, Sicherheit, Defekte oder Unterschiede.
  • Verlange strukturierte Ausgaben, wenn deine Anwendung Felder benötigt, die du parsen kannst.
  • Achte darauf, dass Bild-URLs für die API zugänglich sind, oder verwende Base64-Data-URLs für private Bilder.
  • Verwende ein Modell mit ausreichend Kontext, wenn du Bilder mit langen Anweisungen kombinierst.

Verwandte Ressourcen