Ollama

LLM-ების ლოკალურად ან თვითჰოსტინგულ ინფრასტრუქტურაზე გაშვება Ollama-ით. მხარს უჭერს ვიზუალს, მშობლიურ ინსტრუმენტების გამოძახებას, მსჯელობის მოდელებსა და სურვილისამებრ ღრუბლოვან მარშრუტიზაციას Ollama Cloud-ით.

წინაპირობები

• Ollama დაყენებული და ლოკალურად გაშვებული, ან
• დაშორებული Ollama ინსტანცია ქსელური წვდომით

სწრაფი დაყენება

1. Ollama-ს დაყენება

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# სერვერის გაშვება
ollama serve

2. მოდელის ჩამოტვირთვა

ollama pull qwen3

3. კონფიგურაცია

[default]
provider = "ollama"
model = "qwen3"

ლოკალური გამოყენებისთვის API გასაღები არ არის საჭირო.

4. შემოწმება

prx doctor models

ხელმისაწვდომი მოდელები

Ollama-ში ხელმისაწვდომი ნებისმიერი მოდელი გამოყენებადია. პოპულარული არჩევანი მოიცავს:

მოდელი	პარამეტრები	ვიზუალი	ინსტრუმენტები	შენიშვნები
qwen3	8B	არა	დიახ	შესანიშნავი მრავალენოვანი კოდინგის მოდელი
qwen2.5-coder	7B	არა	დიახ	კოდისთვის სპეციალიზებული
llama3.1	8B/70B/405B	არა	დიახ	Meta-ს ღია მოდელების ოჯახი
mistral-nemo	12B	არა	დიახ	ეფექტური მსჯელობა
deepseek-r1	7B/14B/32B	არა	დიახ	მსჯელობის მოდელი
llava	7B/13B	დიახ	არა	ვიზუალი + ენა
gemma2	9B/27B	არა	დიახ	Google-ის ღია მოდელი
codellama	7B/13B/34B	არა	არა	კოდისთვის სპეციალიზებული Llama

გაუშვით ollama list დაყენებული მოდელების სანახავად.

კონფიგურაციის მითითება

ველი	ტიპი	ნაგულისხმევი	აღწერა
api_key	string	არასავალდებულო	API გასაღები დაშორებული/ღრუბლოვანი Ollama ინსტანციებისთვის
api_url	string	http://localhost:11434	Ollama სერვერის საბაზისო URL
model	string	სავალდებულო	მოდელის სახელი (მაგ., qwen3, llama3.1:70b)
reasoning	bool	არასავალდებულო	think რეჟიმის ჩართვა მსჯელობის მოდელებისთვის

ფუნქციები

ნულოვანი კონფიგურაცია ლოკალური გამოყენებისთვის

Ollama-ს ლოკალურად გაშვებისას, API გასაღები ან სპეციალური კონფიგურაცია არ არის საჭირო. PRX ავტომატურად უკავშირდება http://localhost:11434-ს.

მშობლიური ინსტრუმენტების გამოძახება

PRX იყენებს Ollama-ს მშობლიურ /api/chat ინსტრუმენტების გამოძახების მხარდაჭერას. ინსტრუმენტების განსაზღვრებები მოთხოვნის ტანში იგზავნება და სტრუქტურირებული tool_calls ბრუნდება თავსებადი მოდელების მიერ (qwen2.5, llama3.1, mistral-nemo და სხვ.).

PRX ასევე ამუშავებს მოდელების თავისებურ ქცევებს:

• ჩადგმული ინსტრუმენტების გამოძახებები: {"name": "tool_call", "arguments": {"name": "shell", ...}} ავტომატურად იშლება
• პრეფიქსიანი სახელები: tool.shell ნორმალიზდება shell-ად
• ინსტრუმენტის შედეგების შესაბამისობა: ინსტრუმენტის გამოძახების ID-ები თვალყურს ადევნებს და შეესაბამება tool_name ველებს შემდეგ ინსტრუმენტის შედეგის შეტყობინებებში

ვიზუალის მხარდაჭერა

ვიზუალის შესაძლებლობის მქონე მოდელები (მაგ., LLaVA) სურათებს Ollama-ს მშობლიური images ველით იღებს. PRX ავტომატურად ამოიღებს base64 სურათის მონაცემებს [IMAGE:...] მარკერებიდან და ცალკეულ სურათის ჩანაწერებად აგზავნის.

მსჯელობის რეჟიმი

მსჯელობის მოდელებისთვის (QwQ, DeepSeek-R1 და სხვ.), ჩართეთ think პარამეტრი:

[providers.ollama]
reasoning = true

ეს "think": true-ს აგზავნის მოთხოვნაში, რაც მოდელის შიდა მსჯელობის პროცესს აქტიურებს. თუ მოდელი მხოლოდ thinking ველს აბრუნებს ცარიელი კონტენტით, PRX მეგობრულ სარეზერვო შეტყობინებას უზრუნველყოფს.

დაშორებული და ღრუბლოვანი ინსტანციები

დაშორებულ Ollama სერვერთან დასაკავშირებლად:

[providers.ollama]
api_url = "https://my-ollama-server.example.com:11434"
api_key = "${OLLAMA_API_KEY}"

ავტენტიფიკაცია მხოლოდ არა-ლოკალური ენდფოინთებისთვის იგზავნება (როცა ჰოსტი არ არის localhost, 127.0.0.1 ან ::1).

ღრუბლოვანი მარშრუტიზაცია

დაამატეთ :cloud მოდელის სახელს დაშორებული Ollama ინსტანციის მეშვეობით მარშრუტიზაციის იძულებისთვის:

prx chat --model "qwen3:cloud"

ღრუბლოვანი მარშრუტიზაცია მოითხოვს:

• არა-ლოკალურ api_url-ს
• კონფიგურირებულ api_key-ს

გახანგრძლივებული დროის ამოწურვა

Ollama-ს მოთხოვნები 300-წამიან დროის ამოწურვას იყენებს (ღრუბლოვანი პროვაიდერებისთვის 120 წამთან შედარებით), ლოკალურ აპარატურაზე პოტენციურად ნელი ინფერენსის გათვალისწინებით.

პრობლემების მოგვარება

"Is Ollama running?"

ყველაზე გავრცელებული შეცდომა. გადაწყვეტილებები:

• გაუშვით სერვერი: ollama serve
• შეამოწმეთ პორტის ხელმისაწვდომობა: curl http://localhost:11434
• თუ მორგებულ პორტს იყენებთ, განაახლეთ api_url თქვენს კონფიგურაციაში

მოდელი ვერ მოიძებნა

ჯერ ჩამოტვირთეთ მოდელი:

ollama pull qwen3

ცარიელი პასუხები

ზოგიერთმა მსჯელობის მოდელმა შეიძლება მხოლოდ thinking კონტენტი დააბრუნოს საბოლოო პასუხის გარეშე. ეს ჩვეულებრივ ნიშნავს, რომ მოდელი ნაადრევად შეჩერდა. სცადეთ:

• მოთხოვნის ხელახლა გაგზავნა
• სხვა მოდელის გამოყენება
• მსჯელობის რეჟიმის გამორთვა, თუ მოდელი მას კარგად არ უჭერს მხარს

ინსტრუმენტების გამოძახება არ მუშაობს

Ollama-ს ყველა მოდელი არ უჭერს მხარს ინსტრუმენტების გამოძახებას. მოდელები, რომლებიც კარგად მუშაობენ:

• qwen2.5 / qwen3
• llama3.1
• mistral-nemo
• command-r

ღრუბლოვანი მარშრუტიზაციის შეცდომები

• "requested cloud routing, but Ollama endpoint is local": დააყენეთ api_url დაშორებულ სერვერზე
• "requested cloud routing, but no API key is configured": დააყენეთ api_key ან OLLAMA_API_KEY