OpenAI-kompatible API: Wechsle deinen Client in drei Zeilen

Voraussetzungen: OpenAI SDK installieren

Stelle vor dem Senden von Anfragen sicher, dass deine Entwicklungsumgebung das offizielle OpenAI SDK für deine bevorzugte Sprache installiert hat. Dies ist der Standardweg, wie Entwickler mit einer OpenAI-kompatiblen API interagieren, und gewährleistet konsistente Typisierung und Fehlerbehandlung. Für Python verwende pip install openai. Für Node.js führe npm install openai aus. Diese Bibliotheken übernehmen die zugrunde liegenden HTTP-Details, sodass du dich auf das Übergeben von Prompts und das Empfangen von Textausgaben konzentrieren kannst.

Basis-URL und API-Schlüssel konfigurieren

Der Hauptvorteil unseres Dienstes ist, dass du nur zwei Konfigurationswerte aktualisieren musst. Leite deinen Client auf unsere Basis-URL: https://api.openaicompatibleapi.com/v1. Generiere dann deinen API-Schlüssel auf der Anmeldeseite; er wird sofort nach der Registrierung angezeigt, ohne dass eine Kreditkarte erforderlich ist. Lege base_url und api_key in deiner Client-Initialisierung fest. Dies macht uns zu einer direkten GPT-API-Alternative für deine bestehenden Projekte, ohne dass Logik neu geschrieben werden muss.

Erste Anfrage senden

Sende eine Standard-Chat-Vervollständigungsanfrage mit der Modell-ID uncensored. Dieses Modell ist ein Open-Weight-Modell, das darauf trainiert wurde, ohne Inhaltsablehnungen für die legale erwachsene Nutzung zu antworten. Es ist kein GPT, Claude oder ein anderes Modell eines anderen Anbieters. Du kannst die Konnektivität sofort mit einem einfachen Textprompt testen. Die Antwort gibt den generierten Text im Feld content zurück.

Copycurl https://api.openaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Streaming-Antworten aktivieren

Für eine bessere Benutzererfahrung aktiviere Streaming, um Token zu erhalten, sobald sie generiert werden. Setze stream=True in deiner Anfrage. Das SDK liefert Chunks, sobald sie eintreffen, sodass du teilweise Ergebnisse sofort anzeigen kannst. Dies ist besonders nützlich für lange Kontextfenster mit bis zu 100.000 Token. Das Streaming funktioniert identisch wie bei Standard-OpenAI-Clients und erhält die Kompatibilität mit deiner bestehenden Fehlerbehandlungslogik.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling (Tool Calling) verwenden

Unsere API unterstützt strukturiertes Tool Calling. Definiere deine Funktionen im Parameter tools, und das Modell gibt Tool-Aufrufe in der Antwort zurück. Du kannst diese Tools dann ausführen und die Ergebnisse an das Modell zurücksenden, um weitere Schlussfolgerungen zu ziehen. Diese Funktion funktioniert mit jedem OpenAI-kompatiblen Client, der das Standard-Tool-Calling-Format unterstützt. Sie ist ideal für den Aufbau von Agenten oder die Automatisierung von Workflows, ohne einen komplexen LLM-Proxy verwalten zu müssen.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Verfügbare Modelle prüfen

Rufe den Endpunkt GET /v1/models auf, um verfügbare Modelle zu überprüfen. Du siehst das Modell uncensored aufgelistet. Dies bestätigt, dass dein API-Schlüssel und die Basis-URL korrekt konfiguriert sind. Du kannst diesen Endpunkt auch zur Debugging von Authentifizierungsproblemen verwenden. Wenn der Endpunkt eine Liste zurückgibt, ist deine Verbindung zur KI-API für Entwickler aktiv. Es werden keine anderen Modelle angeboten, was die Konfiguration einfach hält.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);