Together AI

Anslut en agent till en anpassad LLM på Together AI.

Översikt

Together AI erbjuder ett AI Acceleration Cloud som låter dig träna, finjustera och köra inferens på AI-modeller blixtsnabbt, till låg kostnad och i produktionsskala.

Kör direkt över 200 modeller, inklusive DeepSeek, Llama3, Mixtral och Stable Diffusion, optimerade för högsta latens, genomströmning och kontextlängd.

Välj en modell

För att dra full nytta av ElevenLabs Agents behöver du använda en modell som stöder verktygsanvändning och strukturerade utdata. Together AI stöder funktionsanrop för dessa modeller:

meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
meta-llama/Llama-3.3-70B-Instruct-Turbo
mistralai/Mixtral-8x7B-Instruct-v0.1
mistralai/Mistral-7B-Instruct-v0.1

Med detta i åtanke rekommenderar vi att du använder minst meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo för din ElevenLabs Agents-agent.

Konfigurera Llama 3.1 på Together AI

Gå till api.together.xyz/settings/api-keys och skapa en ny API-nyckel.

När du har din API-nyckel kan du testa den genom att köra följande curl-kommando:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'

Gå till din AI Agent, skrolla ned till avsnittet “Secrets” och välj “Add Secret”. När du har lagt till hemligheten klickar du på “Save” för att göra den tillgänglig för din agent.

Välj “Custom LLM” i rullgardinsmenyn.

Ange Together AIs OpenAI-kompatibla API-slutpunkt som server-URL: https://api.together.xyz/v1. Ange meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo som modell-ID, enligt ovan, och välj din API-nyckel i rullgardinsmenyn.

Nu kan du klicka på “Test AI Agent” för att chatta med din anpassade Llama 3.1-modell.