Skip to content
ეს გვერდი შეიქმნა და ითარგმნა ხელოვნური ინტელექტის დახმარებით. თუ შეამჩნევთ უზუსტობას, გთხოვთ, დაგვეხმარეთ გაუმჯობესებაში. GitHub-ზე რედაქტირება

საფრთხის მოდელი ​

ეს გვერდი PRX-ის საფრთხის მოდელს აღწერს -- საფრთხეების ნაკრებს, რომლებსაც განვიხილავთ, ჩვენს უსაფრთხოების დაშვებებსა და არსებულ შემარბილებელ ზომებს.

საფრთხის კატეგორიები ​

1. პრომპტის ინექცია ​

საფრთხე: მომხმარებლის შეტანაში ან მოძიებულ მონაცემებში არსებული მტრული შინაარსი აგენტს არასასურველი მოქმედებების შესრულებისკენ მანიპულირებს.

შემარბილებელი ზომები:

  • ინსტრუმენტის გამოძახების დამტკიცების სამუშაო პროცესი
  • პოლიტიკის ძრავა ხელმისაწვდომი მოქმედებების შეზღუდვით
  • შეტანის სანიტარიზაცია ცნობილი ინექციის შაბლონებისთვის

2. ინსტრუმენტის ბოროტად გამოყენება ​

საფრთხე: აგენტი ინსტრუმენტებს არადანიშნულებისამებრ იყენებს (მაგ., მგრძნობიარე ფაილების წაკითხვა, არაავტორიზებული ქსელის მოთხოვნები).

შემარბილებელი ზომები:

  • ინსტრუმენტის შესრულების სენდბოქსის იზოლაცია
  • ნაგულისხმევად-აკრძალვის წესებით პოლიტიკის ძრავა
  • ინსტრუმენტის დონის სიჩქარის შეზღუდვა
  • ყველა ინსტრუმენტის გამოძახების აუდიტის ჟურნალი

3. მონაცემთა ექსფილტრაცია ​

საფრთხე: ლოკალური სისტემის მგრძნობიარე მონაცემები LLM კონტექსტის ან ინსტრუმენტის გამოძახებების მეშვეობით გარე სერვისებზე იგზავნება.

შემარბილებელი ზომები:

  • ქსელის ნებართვების სია სენდბოქსში
  • მგრძნობიარე შაბლონების შინაარსის ფილტრაცია (API გასაღებები, პაროლები)
  • მონაცემთა ნაკადის შემზღუდველი პოლიტიკის წესები

4. მიწოდების ჯაჭვი ​

საფრთხე: მავნე დანამატები ან დამოკიდებულებები აგენტს კომპრომეტირებს.

შემარბილებელი ზომები:

  • დანამატების WASM სენდბოქსი
  • დანამატის ნებართვების მანიფესტები
  • დამოკიდებულებების აუდიტი (cargo audit)

უსაფრთხოების დაშვებები ​

  • ჰოსტი ოპერაციული სისტემა სანდოა
  • LLM პროვაიდერები API გასაღებებს უსაფრთხოდ ამუშავებს
  • მომხმარებელი პასუხისმგებელია აგენტის მოქმედებების გადახედვაზე, როდესაც დამტკიცება საჭიროა

სისუსტეების მოხსენება ​

თუ უსაფრთხოების სისუსტე აღმოაჩინეთ, გთხოვთ მოახსენოთ [email protected]-ზე.

დაკავშირებული გვერდები ​

Released under the Apache-2.0 License.