Zum Hauptinhalt springen

Documentation Index

Fetch the complete documentation index at: https://docs.innochat.ch/llms.txt

Use this file to discover all available pages before exploring further.

INNOCHAT funktioniert nach dem Prinzip “pay as you go”.
Anstatt dass Message Credits (MCs) in bestehenden Abonnements enthalten sind, kaufen Sie sie separat ueber Add-ons – oder Sie verbinden Ihre eigene AI-API, um unbegrenzte Nutzung zu ermöglichen. Wenn Sie Ihren eigenen API-Schluessel verwenden, werden – nachdem alle MCs in Ihrem INNOCHAT-Konto aufgebraucht sind – alle weiteren KI-Kosten direkt über Ihren API-Schlüssel abgerechnet.

​
BYOK einrichten

Um Ihren eigenen API-Schluessel einzurichten, müssen Sie sich zuerst beim jeweiligen AI-Anbieter registrieren.
INNOCHAT unterstützt derzeit LLMs von OpenAI, Anthropic und Google.
Zukünftig planen wir, weitere Modelle zu integrieren – einschliesslich Open-Source- und Fine-Tuned-Modelle.

​
Anbieter-spezifische Anweisungen

Nachdem Sie Ihren API-Schluessel erhalten haben, speichern Sie ihn an einem privaten und sicheren Ort.
INNOCHAT empfiehlt dringend:
  • Verwenden Sie für jede Anwendung einen separaten API-Schluessel
  • Teilen Sie Ihren API-Schluessel nie mit anderen Personen
Loggen Sie sich nun bei INNOCHAT ein und gehen Sie oben rechts im Interface auf das Profil-Symbol.
Klicken Sie dann auf Account.
Im Bereich AI API Key waehlen Sie Ihren Provider aus und fügen den API-Schlüssel ein. Danach auf Add klicken. Bitte beachten:
Dies ist nicht der Bereich INNOCHAT API Keys, der fuer die Generierung von INNOCHAT-eigenen API-Schlüsseln dient.
Nun ist alles eingerichtet.
Wenn Sie zum ersten Mal einen API-Schlüssel bei einem Anbieter erstellen, kann dieser eingeschränkt sein.
Beispiel (Stand 1. November 2024):
Neue OpenAI-Schluessel können keine GPT-4o Modelle verwenden, bis ein Mindestguthaben von 5 USD eingezahlt und die Abrechnung verifiziert wurde.
Jeder Anbieter hat eigene Richtlinien für Konto-Verifizierung und Limits.

​
Budgetierung für AI-Nutzung

Die Verwendung Ihres eigenen API-Schlüssels ist in der Regel kosteneffizienter als der Kauf von MC-Add-ons. Zur Einschätzung der Kosten stellen wir folgende Referenz bereit:
LLM-Anbieter ändern ihre Preise regelmässig.
Die aktuellsten Preise finden Sie hier:
Eine einfache Faustregel: Ein Message Credit kostet ca. 0.0032 USD Beispiel: GPT-4-1106-4k verbraucht 20 MCs pro Anfrage.
Kosten: 0.0032 × 20 = 0.064 USD Dies ist nur ein grober Richtwert.
Die realen Kosten koennen um ± 20 % variieren, da LLM-Kosten auf Token basieren – und Input-/Output-Token unterschiedlich viel kosten. Eine Erklaerung zu Tokens finden Sie hier:
https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them Ein LLM-Query besteht aus vielen Elementen. Grob unterteilt: Input:
  • System Prompt & Metadata
  • Benutzerdefinierter Base Prompt
  • Variablen & Definitionen
  • Conversation-Label-Definitionen
  • Function-Metadaten & Beschreibungen
  • Function-Parameter
  • Function-Response
  • Statischer RAG-Kontext
  • Conversation Memory
Output:
  • Textantwort
  • Response-Metadaten

​
OpenAI-Preisaufschlüsselung

INNOCHAT unterstuetzt verschiedene OpenAI-LLMs sowie unterschiedliche Token-Limits pro Modellvariante.
Die folgende Tabelle basiert auf unserer Standardaufteilung von reservierten Input-/Output-Tokens.
Dies repraesentiert eine Obergrenze, da nicht bei jeder Anfrage die voll reservierten Tokens genutzt werden.
ModellInput-ReserveOutput-ReserveKosten/Input-TokenKosten/Output-TokenGesamt/Query
GPT-3.5280012000.00000050.00000150.0032
GPT-3.5-16k1360024000.00000050.00000150.0104
GPT-4o-mini-1k8002000.000000150.00000060.00024
GPT-4o-mini-2k16004000.000000150.00000060.00048
GPT-4o-mini-4k280012000.000000150.00000060.00114
GPT-4o-mini-8k560024000.000000150.00000060.00228
GPT-4o-mini-16k1280032000.000000150.00000060.00384
GPT-4o-mini-32k2800040000.000000150.00000060.0066
GPT-4o-mini-64k6000040000.000000150.00000060.0114
GPT-4o-1k8002000.00000250.000010.004
GPT-4o-2k16004000.00000250.000010.008
GPT-4o-4k280012000.00000250.000010.019
GPT-4o-8k560024000.00000250.000010.038
GPT-4o-16k1280032000.00000250.000010.064
GPT-4o-32k2800040000.00000250.000010.11
GPT-4o-64k6000040000.00000250.000010.19
GPT-4-1106-1k8002000.000010.000030.014
GPT-4-1106-2k16004000.000010.000030.028
GPT-4-1106-4k280012000.000010.000030.064
GPT-4-0125-8k560024000.000010.000030.128
GPT-4-1106-16k1280032000.000010.000030.224
GPT-4-1106-32k2800040000.000010.000030.4
GPT-4-1106-64k6000040000.000010.000030.72

​
BYOK fuer White-Label-Partner

Zusätzlich zu MC-Kosten muessen White-Label-Partner auch die Kosten tragen, die durch das Ausfuehren des AI-Multi-Agenten-Frameworks entstehen.
Diese Kosten fallen an, selbst wenn Ihre Endnutzer ihre eigenen API-Schluessel verwenden. Es gibt drei Workflows, die Ihre API belasten:
  1. AI Agent Intent Generation
    • Wenn zwei oder mehr AI-Agenten verbunden sind
    • Wird berechnet, wenn ein neuer user-facing Agent live geht oder ein bestehender bearbeitet wird
  2. Query Intent Classification
    • Wenn zwei oder mehr user-facing Agenten aktiv sind
    • Preis pro Anfrage
  3. Variable Extraction
    • Wenn ein Agent eine oder mehrere Variablen nutzt
    • Preis pro Anfrage
Die ungefaehren Kosten:
WorkflowInputOutputCost/InputCost/OutputCost/Run
Intent Generation (gpt-4-1106-preview)6004500.000010.000030.0011
Query Intent Classification (gpt-3.5-turbo-1106)1000500.0000010.0000020.0195
Variable Extraction (gpt-3.5-turbo-1106)10001000.0000010.0000020.0012
Diese Kosten werden immer direkt gegen Ihren API-Schluessel abgerechnet und koennen nicht an Ihre Kunden weitergegeben werden. Es ist moeglich, dass zukuenftig weitere AI-Funktionen Ihren API-Schluessel benoetigen.
Wir aktualisieren die Dokumentation entsprechend.
Im Allgemeinen sind diese Zusatzkosten jedoch gering im Vergleich zu den Kosten, die durch Message Credits entstehen.