API-dokumentaatio

Todennus ja base URL

The lite llm API vaatii bearer-tokenin. Lähetä API-avaimesi Authorization header. Käytä alla olevaa perus-URL:ia kaikkiin pyyntöihin. Tämä toimii minkä tahansa OpenAI-yhteensopivan asiakkaan kanssa.

Base URL: https://api.llmlite.cc/v1

Hanki avain rekisteröitymällä Google- tai sähköpostitunnuksella. Avain näkyy välittömästi. Käytä sitä jokaisessa pyynnössä.

Chat Completions Endpoint

Lähetä viestit osoitteeseen /v1/chat/completions päätepiste. Mallin tunnus on uncensored. Se tuottaa tekstiä suoraan estämättä laillista aikuisisisältöä.

Tässä on peruspyynnön rakenne:

Copycurl https://api.llmlite.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list available models via get request"}]
  }'

Vastaanota JSON-vastaus, joka sisältää luodun tekstin. Tarkista token-laskurit usage-objektista.

Python SDK -integraatio

Käytä virallista OpenAI Python SDK:ta. Aseta base URL päätepisteeseemme. Aseta API-avain. Kutsu chat.completions.create. Kirjasto käsittelee pyynnön.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmlite.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Asenna SDK pip:n kautta. Suorita skriptisi. Malli vastaa valmistelulla.

Node.js SDK:n määritys

Alusta OpenAI-asiakirjaimisto Node:ssa. Anna perus-URL-osoite ja API-avain. Kutsu chat-päättelymenetelmää. Tämä toimii palvelinpuolen skripteissä tai sovellusliittymissä.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmlite.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Käsittele vastausobjekti. Päästä luotu teksti ensimmäisestä valinnasta.

Streamaus ja token-käyttö

Ota streamaus käyttöön asettamalla stream: true. Vastaanota Server-Sent Events (SSE). Jokainen osa sisältää osittaisen tekstin. Tokenkäyttö näkyy viimeisessä osassa.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Käsittele jokainen tapahtuma saapuessaan. Tämä vähentää havaittua viivettä pitkissä tuloksissa. Seuraa viimeistä osaa tarkkojen token-laskelmien osalta.

Rajoitukset, virheet ja konteksti

Kontekstiikkoni on 100 000 tokenia. Tulostuksen maksimimäärä on 16 000 tokenia pyyntöä kohden. Saat 300 pyyntöä minuutissa. Samanaikaisten pyyntöjen määrä on rajoitettu 8:aan.

Käsittele virheet asianmukaisesti. Tila 401 tarkoittaa, että avaimesi on virheellinen. Tila 402 tarkoittaa, että saldoa ei ole jäljellä. Tila 429 tarkoittaa, että olet ylittänyt nopeusrajoituksen. Saldo ei vanhene. Virheet ovat ilmaisia.