API, совместимый с OpenAI: смените клиента за три строки

Требования: установите OpenAI SDK

Перед отправкой запросов убедитесь, что в вашей среде разработки установлен официальный OpenAI SDK для предпочитаемого языка. Это стандартный способ взаимодействия разработчиков с API, совместимым с OpenAI, обеспечивающий согласованную типизацию и обработку ошибок. Для Python используйте pip install openai. Для Node.js выполните npm install openai. Эти библиотеки обрабатывают детали HTTP, так что вы можете сосредоточиться на передаче промптов и получении текстовых ответов.

Настройте базовый URL и API-ключ

Главное преимущество нашего сервиса в том, что вам нужно обновить только два значения конфигурации. Укажите клиенту наш базовый URL: https://api.openaicompatibleapi.com/v1. Затем сгенерируйте API-ключ на странице регистрации; он отображается сразу после регистрации без необходимости привязки карты. Установите base_url и api_key при инициализации клиента. Это делает нас прямой альтернативой API GPT для ваших существующих проектов без переписывания логики.

Выполните первый запрос

Отправьте стандартный запрос на завершение чата, используя идентификатор модели uncensored. Эта модель — LLM с открытыми весами, настроенная на ответы без отказов в контенте для законного использования взрослыми. Это не GPT, Claude или модель другого поставщика. Вы можете сразу проверить подключение с помощью простого текстового промпта. Ответ вернет сгенерированный текст в поле content.

Copycurl https://api.openaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Включите потоковую передачу ответов

Для улучшения пользовательского опыта включите потоковую передачу, чтобы получать токены по мере их генерации. Установите stream=True в запросе. SDK будет выдавать фрагменты по мере их поступления, позволяя мгновенно отображать частичные результаты. Это особенно полезно для длинных контекстных окон до 100 000 токенов. Потоковая передача работает идентично стандартным клиентам OpenAI, сохраняя совместимость с вашей существующей логикой обработки ошибок.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Используйте вызов функций (вызов инструментов)

Наш API поддерживает структурированный вызов инструментов. Определите свои функции в параметре tools, и модель вернет вызовы инструментов в ответе. Затем вы можете выполнить эти инструменты и отправить результаты обратно модели для дальнейшего анализа. Эта функция работает с любым клиентом, совместимым с OpenAI, который поддерживает стандартный формат вызова инструментов. Она идеально подходит для создания агентов или автоматизации рабочих процессов без управления сложным прокси LLM.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Проверьте доступные модели

Запросите эндпоинт GET /v1/models, чтобы проверить доступные модели. Вы увидите модель uncensored в списке. Это подтверждает, что ваш API-ключ и базовый URL настроены правильно. Вы также можете использовать этот эндпоинт для отладки проблем аутентификации. Если эндпоинт возвращает список, ваше подключение к API для разработчиков активно. Другие модели не предлагаются, что упрощает конфигурацию.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);