เอกสาร API

การตรวจสอบสิทธิ์และ Base URL

The lite llm API ต้องการโทเค็นแบร์เออร์ ส่งคีย์ API ของคุณใน Authorization header. ใช้ URL พื้นฐานที่ให้ด้านล่างนี้สำหรับคำขอทั้งหมด สิ่งนี้ใช้งานได้กับไคลเอนต์ที่เข้ากันได้กับ OpenAI ใดๆ

Base URL: https://api.llmlite.cc/v1

รับคีย์ของคุณโดยการสมัครสมาชิกด้วย Google หรืออีเมล คีย์จะปรากฏทันที ใช้คีย์นี้ในทุกคำขอ

จุดจบ API Chat Completions

ส่งข้อความไปยัง /v1/chat/completions endpoint. endpoint. ID ของโมเดลคือ uncensored. ส่งข้อความออกมาโดยตรงโดยไม่บล็อกเนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมาย

นี่คือโครงสร้างคำขอพื้นฐาน:

Copycurl https://api.llmlite.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list available models via get request"}]
  }'

รับคำตอบเป็น JSON พร้อมข้อความที่สร้าง ตรวจสอบวัตถุ usage สำหรับจำนวนโทเค็น

การผสานรวม SDK Python

ใช้ Python SDK ทางการของ OpenAI ตั้งค่า base URL ไปยัง endpoint ของเรา ตั้งค่า API key เรียก chat.completions.create. ไลบรารีจัดการคำขอ

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmlite.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

ติดตั้ง SDK ผ่าน pip รันสคริปต์ของคุณ โมเดลจะตอบกลับด้วยการสร้างข้อความ

การตั้งค่า SDK Node.js

เริ่มต้นใช้งาน OpenAI client ใน Node ให้ระบุ base URL และ API key เรียกใช้ method chat completions วิธีนี้ใช้ได้กับสคริปต์ฝั่งเซิร์ฟเวอร์หรือ API

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmlite.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

จัดการวัตถุการตอบกลับ ดึงข้อความที่สร้างจากตัวเลือกแรก

การใช้งานโทเค็นและการสตรีม

เปิดใช้งานการสตรีมโดยตั้งค่า stream: true. รับเหตุการณ์ที่ส่งโดยเซิร์ฟเวอร์ (SSE) แต่ละส่วนประกอบด้วยข้อความบางส่วน รายละเอียดการใช้โทเค็นปรากฏในส่วนสุดท้าย

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ประมวลผลแต่ละเหตุการณ์ทันทีที่ได้รับ ซึ่งช่วยลดความล่าช้าที่รับรู้สำหรับการตอบกลับที่ยาวนาน ตรวจสอบช่วงสุดท้ายเพื่อนับโทเค็นที่แม่นยำ

ข้อจำกัด, ข้อผิดพลาด และบริบท

หน้าต่างบริบทมีขนาด 100,000 tokens ผลลัพธ์สูงสุดคือ 16,000 tokens ต่อคำขอ คุณได้รับ 300 คำขอต่อนาที คำขอพร้อมกันจำกัดไว้ที่ 8

จัดการข้อผิดพลาดอย่างเหมาะสม รหัสสถานะ 401 หมายความว่าคีย์ของคุณไม่ถูกต้อง รหัสสถานะ 402 หมายความว่าไม่มีเครดิตเหลือ รหัสสถานะ 429 หมายความว่าเกินขีดจำกัดอัตราส่วน เครดิตไม่หมดอายุ ข้อผิดพลาดเป็นบริการฟรี