Dokumentace API

Autentizace a základní URL

The lite llm API vyžaduje bearer token. Pošlete svůj klíč API v Authorization hlavička. Použijte níže uvedenou základní URL pro všechny požadavky. Toto funguje s jakýmkoli klientem kompatibilním s OpenAI.

Základní URL: https://api.llmlite.cc/v1

Získejte svůj klíč registrací přes Google nebo e-mail. Klíč se zobrazí okamžitě. Použijte jej v každém požadavku.

Endpoint Chat Completions

Pošlete zprávy na /v1/chat/completions endpoint. ID modelu je uncensored. Vrací text přímo bez blokování legálního obsahu pro dospělé.

Zde je základní struktura požadavku:

Copycurl https://api.llmlite.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list available models via get request"}]
  }'

Obdržte JSON odpověď s vygenerovaným textem. Zkontrolujte objekt usage pro počty tokenů.

Integrace Python SDK

Použijte oficiální Python SDK OpenAI. Nastavte základní URL na náš endpoint. Nastavte API klíč. Zavolejte chat.completions.create. Knihovna zpracovává požadavek.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmlite.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Nainstalujte SDK pomocí pip. Spusťte svůj skript. Model odpoví dokončením.

Nastavení SDK Node.js

Inicializujte klienta OpenAI v Node. Poskytněte základní URL a API klíč. Zavolejte metodu chat completion. Funguje pro skripty na straně serveru nebo API.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmlite.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Zpracujte odpovědní objekt. Přistupujte k vygenerovanému textu z první možnosti.

Streamování a využití tokenů

Povolte streamování nastavením stream: true. Přijímejte Server-Sent Events (SSE). Každý chunk obsahuje částečný text. Využití tokenů se objeví v posledním chunku.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Zpracovávejte každou událost, jak přichází. To snižuje vnímanou latenci u dlouhých výstupů. Sledujte poslední částku pro přesné počty tokenů.

Limity, chyby a kontext

Okno kontextu má 100 000 tokenů. Maximální výstup je 16 000 tokenů na požadavek. Máte k dispozici 300 požadavků za minutu. Souběžné požadavky jsou omezeny na 8.

Zpracujte chyby vhodným způsobem. Status 401 znamená, že je váš klíč neplatný. Status 402 signalizuje, že zbyl kredit. Status 429 znamená, že jste narazili na limit rychlosti. Kredit nevyprší. Chyby jsou zdarma.