Dokumentasi API

Pengesahan dan URL Asas

The lite llm API memerlukan token pembawa. Hantar kunci API anda dalam Authorization header. Gunakan URL asas yang disediakan di bawah untuk semua permintaan. Ini berfungsi dengan mana-mana klien serasi OpenAI.

URL Asas: https://api.llmlite.cc/v1

Dapatkan kunci anda dengan mendaftar menggunakan Google atau e-mel. Kunci akan muncul serta-merta. Gunakan kunci ini dalam setiap permintaan.

Hujung Sambungan Penyelesaian Sembang

Hantar mesej ke /v1/chat/completions endpoint. ID model ialah uncensored. Ia mengeluarkan teks secara langsung tanpa menyekat kandungan dewasa yang sah.

Berikut adalah struktur permintaan asas:

Copycurl https://api.llmlite.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list available models via get request"}]
  }'

Terima respons JSON dengan teks yang dijana. Semak objek penggunaan untuk kiraan token.

Integrasi SDK Python

Gunakan SDK Python OpenAI rasmi. Tetapkan URL asas ke hujung sambungan kami. Tetapkan kunci API. Panggil chat.completions.create. Perpustakaan ini mengendalikan permintaan tersebut.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmlite.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Pasang SDK melalui pip. Jalankan skrip anda. Model memberi respons dengan penyelesaian.

Persediaan SDK Node.js

Mulakan klien OpenAI di Node. Berikan URL asas dan kunci API. Panggil kaedah penyelesaian chat. Ini berfungsi untuk skrip sisi pelayan atau API.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmlite.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Kendalikan objek respons. Akses teks yang dijana daripada pilihan pertama.

Streaming dan Penggunaan Token

Aktifkan aliran dengan menetapkan stream: true. Terima Acara Dihantar Pelayan (SSE). Setiap bahagian mengandungi teks separa. Penggunaan token muncul dalam bahagian akhir.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Proses setiap peristiwa sebagaimana ia tiba. Ini mengurangkan latensi yang dirasakan untuk output panjang. Pantau potongan terakhir untuk kiraan token yang tepat.

Had, Ralat, dan Konteks

Jendela konteks ialah 100,000 token. Output maksimum ialah 16,000 token setiap permintaan. Anda mendapat 300 permintaan setiap minit. Permintaan serentak dihadkan kepada 8.

Kendalikan ralat dengan sewajarnya. Status 401 bermaksud kunci anda tidak sah. Status 402 menunjukkan tiada kredit baki. Status 429 bermaksud anda mencapai had kadar. Kredit tidak luput. Ralat adalah percuma.