תיעוד API

אימות וכתובת בסיס

ה lite llm API דורש אסימון bearer. שלח את מפתח ה-API שלך ב Authorization header. השתמש בכתובת הבסיס שסופקה להלן לכל הבקשות. זה עובד עם כל לקוח התואם ל-OpenAI.

כתובת בסיס: https://api.llmlite.cc/v1

קבלו את המפתח על ידי הרשמה עם Google או אימייל. המפתח מופיע מיד. השתמשו בו בכל בקשה.

נקודת קצה להשלמות צ'אט

שלם הודעות ל /v1/chat/completions נקודת קצה. מזהה המודל הוא uncensored. הוא מפיק טקסט ישירות ללא חסימת תוכן מבוגר חוקי.

להלן מבנה בקשה בסיסי:

Copycurl https://api.llmlite.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list available models via get request"}]
  }'

קבל תגובת JSON עם הטקסט שנוצר. בדוק את אובייקט השימוש עבור ספירות טוקנים.

אינטגרציית SDK Python

השתמשו ב-SDK הרשמי של OpenAI ל-Python. הגדירו את כתובת הבסיס לנקודת הקצה שלנו. הגדירו את מפתח ה-API. קראו ל chat.completions.create. הספרייה מטפלת בבקשה.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmlite.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

התקן את ה-SDK באמצעות pip. הרץ את הסקריפט שלך. המודל מגיב עם ההשלמה.

הגדרת SDK Node.js

אתחל את לקוח OpenAI ב-Node. ספק את כתובת הבסיס ומפתח ה-API. קרא לשיטת השלמות הצ'אט. זה עובד עבור סקריפטים צד שרת או APIs.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmlite.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

טפל באובייקט התגובה. גש לטקסט שנוצר מהאפשרות הראשונה.

שימוש בטוקנים וסטרימינג

אפשרו זרימה על ידי הגדרת stream: true. קבל אירועים שנשלחו על ידי השרת (SSE). כל קטע מכיל טקסט חלקי. שימוש באסימונים מופיע בקטע הסופי.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

עבדו כל אירוע כפי שהוא מגיע. זה מפחית את תחוית העיכוב לתפוקות ארוכות. פקחו על החלק האחרון עבור ספירות טוקנים מדויקות.

מגבלות, שגיאות והקשר

חלון ההקשר הוא 100,000 טוקנים. הפלט המקסימלי הוא 16,000 טוקנים לכל בקשה. יש לך 300 בקשות לדקה. בקשות מקבילות מוגבלות ל-8.

טפול בשגיאות באופן מתאים. סטטוס 401 אומר שהמפתח שלך לא חוקי. סטטוס 402 מציין שאין עוד אשראי. סטטוס 429 אומר שחרגת מגבול הקצב. האשראי לא פג תוקף. שגיאות הן ללא תשלום.