KI mit wenig Aufwand in Ihre Anwendung integrieren Direkt kompatibel mit jedem OpenAI-Client

Tragen Sie in einer beliebigen OpenAI-kompatiblen Bibliothek die Basis-URL von Nebux und Ihren API-Schlüssel ein – ohne Code umzuschreiben.

baseURL"https://api.openai.com/v1"
baseURL"https://api.nebux.cloud/v1"
1import OpenAI from "openai";
2
3const client = new OpenAI({
4 apiKey: "your-api-key",
5 baseURL: "https://api.nebux.cloud/v1",
6});

Sie entscheiden, woran sich das Modell erinnert

Jede Anfrage steht für sich: Das Modell kennt nur die Nachrichten, die Sie mitschicken. Um ein Gespräch fortzuführen, senden Sie den Verlauf zusammen mit der neuen Nachricht und wählen, welches Modell antwortet.

System · hilfreicher Assistent
Empfiehl mir ein Buch
Lies „Die Vermessung der Welt“
Und ein ähnliches?
7const completion = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [
10 { role: "system", content: "You are a helpful assistant." },
11 { role: "user", content: "Recommend me a book" },
12 { role: "assistant", content: "Try The Shadow of the Wind" },
13 { role: "user", content: "And a similar one?" },
14 ],
15});
16
17console.log(completion.choices[0].message.content);

Streaming in Echtzeit

Zeigen Sie die Antwort, während sie entsteht, Token für Token. Oder holen Sie sie sich am Stück, wenn Ihnen das lieber ist.

Welche Laufschuhe empfiehlst du mir?
AssistentFür Asphalt einen neutralen, gut gedämpften Schuh
7const stream = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [{ role: "user", content: "Which running shoes do you recommend?" }],
10 stream: true,
11});
12
13for await (const chunk of stream) {
14 process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
15}

Garantierte JSON-Ausgabe

Erzwingen Sie als Antwort gültiges JSON nach Ihrem Schema.

› Klassifiziere die Kommentare:
"Super!""Furchtbar""Gut""Langsam"
{
  "good": [{ "id": 1, "comment": "Super!" }, { "id": 3, "comment": "Gut" }],
  "bad": [{ "id": 2, "comment": "Furchtbar" }, { "id": 4, "comment": "Langsam" }]
}
7const completion = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [
10 { role: "system", content: "Classify each comment as good or bad, keeping its id. Reply as JSON." },
11 { role: "user", content: "1: Great! 2: Awful 3: Good 4: Slow" },
12 ],
13 response_format: { type: "json_object" },
14});
15
16console.log(JSON.parse(completion.choices[0].message.content));

Reasoning, nur wenn Sie es brauchen

Lassen Sie das Modell bei schwierigeren Aufgaben erst nachdenken, bevor es antwortet. Das Reasoning kommt getrennt von der Antwort an: Sie können es anzeigen, speichern oder ignorieren. Und Sie zahlen nur bei den Anfragen dafür, bei denen Sie es einschalten.

Ein Kaffee kostet 1,20 €. Was kosten 7 mit 15 % Rabatt?
Reasoning
7 × 1,20 = 8,408,40 − 15 % = 7,14
7,14 €
7const res = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [
10 { role: "user", content: "A coffee is 1.20. What are 7 with 15% off?" },
11 ],
12 // chat_template_kwargs is outside the OpenAI library's types,
13 // so it travels as an extra request parameter.
14 // The other option is calling POST https://api.nebux.cloud/v1/chat/completions
15 // directly.
16 // @ts-expect-error
17 chat_template_kwargs: {"enable_thinking": true},
18});
19
20console.log(res.choices[0].message.content);

Sie entscheiden, wie es antwortet

Temperatur, Top-p, maximale Tokens, Penalties und Stoppsequenzen. Dieselbe Frage, in dem Ton und der Länge, die Sie wollen.

Beschreib das Produkt in einer Zeile
temperature 0
Ein OpenAI-kompatibler Inferenzdienst.
temperature 1.2
Offene Modelle, aus Europa bereitgestellt, nur eine Codezeile entfernt.
7const res = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [
10 { role: "user", content: "Describe the product in one line" },
11 ],
12 temperature: 0.7,
13 max_tokens: 1024,
14 top_p: 0.95,
15 frequency_penalty: 0.4,
16 stop: ["\n\n"],
17});
18
19console.log(res.choices[0].message.content);

Wiederholbare Ergebnisse

Legen Sie einen Seed fest und stellen Sie die Temperatur auf null, dann bekommen Sie über mehrere Ausführungen hinweg konsistente Antworten. Ideal zum Klassifizieren, zum Extrahieren von Daten oder für Tests ohne Überraschungen.

seed: 42temperature: 0
›Klassifiziere diese Bewertungpositiv
›Klassifiziere diese Bewertungpositiv
Gleiche Ausgabe
7const res = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [
10 { role: "user", content: "Classify this review" },
11 ],
12 temperature: 0,
13 seed: 42,
14});
15
16console.log(res.choices[0].message.content);

Funktionsaufrufe

Das Modell ruft bei Bedarf Ihre Tools und Funktionen auf und antwortet mit den Daten, die sie zurückgeben.

Wie ist das Wetter in València?
get_weather("València")
→ { "temp": 25, "sky": "sunny" }
In València sind es 25 °C bei Sonne ☀️
7const completion = await client.chat.completions.create({
8 model: "qwen3-14b",
9 messages: [{ role: "user", content: "What's the weather in València?" }],
10 tools: [
11 {
12 type: "function",
13 function: {
14 name: "get_weather",
15 description: "Get the current weather for a location",
16 parameters: {
17 type: "object",
18 properties: { location: { type: "string" } },
19 required: ["location"],
20 },
21 },
22 },
23 ],
24});
25
26console.log(completion.choices[0].message.tool_calls);

Ausprobieren und justieren, bevor Sie Code schreiben

Kopieren Sie den fertigen Code in einer der Programmiersprachen, die wir dokumentieren, und fangen Sie an zu bauen.

Playground öffnen

Die ganze API, dokumentiert

Jeder Parameter des Endpoints, mit Beispielen: Streaming, garantiertes JSON, Funktionsaufrufe und der Umgang mit Fehlern.

Dokumentation

Bereit, KI-Inferenz auszuprobieren?

Oder wir übernehmen das für Sie

Sie wollen sich lieber auf Ihr Produkt konzentrieren? Wir warten Ihre Systeme und entwickeln sie weiter – wie ein weiteres Team in Ihrem Unternehmen.

Mehr zur Managed Cloud