Grundlegende Nutzung
Base64-Bilder verwenden
Du kannst auch eine Base64-Data-URL übergeben, wenn das Bild lokal oder privat ist:<BASE64_ENCODED_IMAGE> durch die vollständige Base64-Kodierung der Bilddatei, zum Beispiel base64.b64encode(open("photo.png", "rb").read()).decode() in Python.
Base64-Bilder müssen mit dem Präfix
data:image/<type>;base64, beginnen (zum Beispiel data:image/jpeg;base64,). Rohes Base64 ohne das Präfix wird abgelehnt. Bilder müssen mindestens 64×64 Pixel groß sein, und SVG wird nicht unterstützt. Wenn ein Bild abgelehnt wird, nennt die Fehlermeldung den Grund.Mehrere Bilder senden
content ist ein Array, daher kann eine einzelne Benutzernachricht mehrere image_url-Blöcke zusammen mit Text enthalten. Nutze dies, um Bilder zu vergleichen oder eine Frage zu stellen, die sich auf mehr als ein Bild bezieht:
supportsMultipleImages und maxImages unter model_spec.capabilities in der Antwort der Models-API, bevor du mehrere sendest.
Jedes Bild verbraucht außerdem Kontext-Tokens. Wenn eine Anfrage mit mehreren Bildern TOO_MANY_TOKENS (HTTP 400) zurückgibt, sende weniger Bilder, kürze deine Anweisungen oder wechsle zu einem Modell mit größerem Kontextfenster.
Ein Vision-Modell auswählen
Nutze die Seite Textmodelle oder die Models-API, um Modelle zu finden, die Vision unterstützen. Die Vision-Unterstützung ist in den Modellfähigkeiten aufgeführt.Prompt-Tipps
- Sag dem Modell, worauf es sich konzentrieren soll: Objekte, Text, Layout, Sicherheit, Defekte oder Unterschiede.
- Verlange strukturierte Ausgaben, wenn deine Anwendung Felder benötigt, die du parsen kannst.
- Achte darauf, dass Bild-URLs für die API zugänglich sind, oder verwende Base64-Data-URLs für private Bilder.
- Verwende ein Modell mit ausreichend Kontext, wenn du Bilder mit langen Anweisungen kombinierst.