API tương thích OpenAI: Chuyển đổi khách hàng của bạn trong ba dòng

Yêu cầu tiên quyết: Cài đặt SDK OpenAI

Trước khi gửi yêu cầu, hãy đảm bảo môi trường phát triển của bạn đã cài đặt SDK OpenAI chính thức cho ngôn ngữ bạn muốn. Đây là cách tiêu chuẩn mà các nhà phát triển tương tác với api tương thích openai, đảm bảo bạn có kiểu dữ liệu và xử lý lỗi nhất quán. Đối với Python, sử dụng pip install openai. Đối với Node.js, chạy npm install openai. Các thư viện này xử lý các chi tiết HTTP cơ bản, vì vậy bạn có thể tập trung vào việc chuyển prompt và nhận đầu ra văn bản.

Cấu hình URL cơ sở và Khóa API

Lợi thế cốt lõi của dịch vụ chúng tôi là bạn chỉ cần cập nhật hai giá trị cấu hình. Chỉ dẫn khách hàng của bạn đến URL cơ sở của chúng tôi: https://api.openaicompatibleapi.com/v1. Sau đó, tạo khóa API của bạn trên trang đăng ký; nó được hiển thị ngay lập tức sau khi đăng ký mà không cần thẻ tín dụng. Đặt base_url và api_key trong khởi tạo khách hàng của bạn. Điều này khiến chúng tôi trở thành một lựa chọn thay thế api gpt trực tiếp cho các dự án hiện có của bạn mà không cần viết lại logic.

Gửi yêu cầu đầu tiên của bạn

Gửi một yêu cầu hoàn thành trò chuyện tiêu chuẩn bằng cách sử dụng id mô hình uncensored. Mô hình này là một mô hình ngôn ngữ lớn trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó không phải là GPT, Claude hoặc bất kỳ mô hình của nhà cung cấp nào khác. Bạn có thể kiểm tra kết nối ngay lập tức với một prompt văn bản đơn giản. Phản hồi sẽ trả về văn bản được tạo trong trường content.

Copycurl https://api.openaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Bật phản hồi truyền phát

Để cải thiện trải nghiệm người dùng, hãy bật truyền phát để nhận token khi chúng được tạo. Đặt stream=True trong yêu cầu của bạn. SDK sẽ tạo các phần khi chúng đến, cho phép bạn hiển thị kết quả từng phần ngay lập tức. Điều này đặc biệt hữu ích cho các cửa sổ ngữ cảnh dài lên đến 100.000 token. Truyền phát hoạt động giống hệt với các khách hàng OpenAI tiêu chuẩn, duy trì khả năng tương thích với logic xử lý lỗi hiện có của bạn.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Sử dụng gọi công cụ (Gọi hàm)

API của chúng tôi hỗ trợ gọi công cụ có cấu trúc. Xác định các hàm của bạn trong tham số tools, và mô hình sẽ trả về các gọi công cụ trong phản hồi. Sau đó, bạn có thể thực hiện các công cụ đó và gửi kết quả lại cho mô hình để suy luận thêm. Tính năng này hoạt động với bất kỳ khách hàng tương thích OpenAI nào hỗ trợ định dạng gọi công cụ tiêu chuẩn. Nó lý tưởng để xây dựng các tác nhân hoặc tự động hóa quy trình làm việc mà không cần quản lý proxy llm phức tạp.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Kiểm tra các mô hình có sẵn

Truy vấn endpoint GET /v1/models để xác minh các mô hình có sẵn. Bạn sẽ thấy mô hình uncensored được liệt kê. Điều này xác nhận khóa API và URL cơ sở của bạn đã được cấu hình chính xác. Bạn cũng có thể sử dụng endpoint này để gỡ lỗi các vấn đề xác thực. Nếu endpoint trả về một danh sách, kết nối của bạn với api ai cho nhà phát triển đang hoạt động. Không có mô hình nào khác được cung cấp, giữ cho cấu hình đơn giản.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);