Kompatybilne z OpenAI API: Zmień klienta w trzech krokach

Wymagania wstępne: Zainstaluj OpenAI SDK

Przed wysłaniem zapytań upewnij się, że Twoje środowisko programistyczne ma zainstalowane oficjalne OpenAI SDK dla preferowanego języka. Jest to standardowy sposób, w jaki programiści interagują z API kompatybilnym z OpenAI, zapewniając spójne typowanie i obsługę błędów. Dla Pythona użyj pip install openai. Dla Node.js uruchom npm install openai. Te biblioteki obsługują szczegóły HTTP, więc możesz skupić się na przesyłaniu promptów i odbieraniu wyników tekstowych.

Skonfiguruj bazowy URL i klucz API

Główną zaletą naszej usługi jest to, że musisz zaktualizować tylko dwie wartości konfiguracyjne. Wskaż klientowi nasz bazowy URL: https://api.openaicompatibleapi.com/v1. Następnie wygeneruj swój klucz API na stronie rejestracji; jest on wyświetlany natychmiast po rejestracji bez konieczności podawania karty kredytowej. Ustaw base_url i api_key w inicjalizacji klienta. To sprawia, że jesteśmy bezpośrednią alternatywą dla API GPT dla Twoich istniejących projektów bez przepisywania logiki.

Wyślij swoje pierwsze zapytanie

Wyślij standardowe zapytanie o uzupełnienie czatu, używając identyfikatora modelu uncensored. Ten model jest modelem językowym o otwartych wagach dostrojonym do odpowiadania bez odmów treści dla legalnego użytku dorosłego. Nie jest to GPT, Claude ani żaden inny model dostawcy. Możesz przetestować łączność natychmiast za pomocą prostego promptu tekstowego. Odpowiedź zwróci wygenerowany tekst w polu content.

Copycurl https://api.openaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Włącz strumieniowanie odpowiedzi

Dla lepszego doświadczenia użytkownika włącz strumieniowanie, aby otrzymywać tokeny w miarę ich generowania. Ustaw stream=True w swoim zapytaniu. SDK będzie zwracać fragmenty, gdy nadejdą, pozwalając na natychmiastowe wyświetlanie częściowych wyników. Jest to szczególnie przydatne przy długich oknach kontekstu do 100 000 tokenów. Strumieniowanie działa identycznie jak w standardowych klientach OpenAI, zachowując kompatybilność z istniejącą logiką obsługi błędów.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Użyj wywoływania narzędzi (wywoływanie funkcji)

Nasze API obsługuje strukturalne wywoływanie narzędzi. Zdefiniuj swoje funkcje w parametrze tools, a model zwróci wywołania narzędzi w odpowiedzi. Możesz następnie wykonać te narzędzia i przesłać wyniki z powrotem do modelu w celu dalszego rozumowania. Ta funkcja działa z każdym klientem kompatybilnym z OpenAI, który obsługuje standardowy format wywoływania narzędzi. Jest idealna do budowania agentów lub automatyzacji przepływów pracy bez zarządzania złożonym proxy LLM.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Sprawdź dostępne modele

Wywołaj endpoint GET /v1/models, aby zweryfikować dostępne modele. Zobaczysz model uncensored na liście. Potwierdza to, że Twój klucz API i bazowy URL są poprawnie skonfigurowane. Możesz również użyć tego endpointu do debugowania problemów z uwierzytelnianiem. Jeśli endpoint zwróci listę, Twoje połączenie z API AI dla programistów jest aktywne. Nie oferujemy innych modeli, co utrzymuje konfigurację prostą.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);