Skip to content
ეს გვერდი შეიქმნა და ითარგმნა ხელოვნური ინტელექტის დახმარებით. თუ შეამჩნევთ უზუსტობას, გთხოვთ, დაგვეხმარეთ გაუმჯობესებაში. GitHub-ზე რედაქტირება

საფრთხის მოდელი

ეს გვერდი PRX-ის საფრთხის მოდელს აღწერს -- საფრთხეების ნაკრებს, რომლებსაც განვიხილავთ, ჩვენს უსაფრთხოების დაშვებებსა და არსებულ შემარბილებელ ზომებს.

საფრთხის კატეგორიები

1. პრომპტის ინექცია

საფრთხე: მომხმარებლის შეტანაში ან მოძიებულ მონაცემებში არსებული მტრული შინაარსი აგენტს არასასურველი მოქმედებების შესრულებისკენ მანიპულირებს.

შემარბილებელი ზომები:

  • ინსტრუმენტის გამოძახების დამტკიცების სამუშაო პროცესი
  • პოლიტიკის ძრავა ხელმისაწვდომი მოქმედებების შეზღუდვით
  • შეტანის სანიტარიზაცია ცნობილი ინექციის შაბლონებისთვის

2. ინსტრუმენტის ბოროტად გამოყენება

საფრთხე: აგენტი ინსტრუმენტებს არადანიშნულებისამებრ იყენებს (მაგ., მგრძნობიარე ფაილების წაკითხვა, არაავტორიზებული ქსელის მოთხოვნები).

შემარბილებელი ზომები:

  • ინსტრუმენტის შესრულების სენდბოქსის იზოლაცია
  • ნაგულისხმევად-აკრძალვის წესებით პოლიტიკის ძრავა
  • ინსტრუმენტის დონის სიჩქარის შეზღუდვა
  • ყველა ინსტრუმენტის გამოძახების აუდიტის ჟურნალი

3. მონაცემთა ექსფილტრაცია

საფრთხე: ლოკალური სისტემის მგრძნობიარე მონაცემები LLM კონტექსტის ან ინსტრუმენტის გამოძახებების მეშვეობით გარე სერვისებზე იგზავნება.

შემარბილებელი ზომები:

  • ქსელის ნებართვების სია სენდბოქსში
  • მგრძნობიარე შაბლონების შინაარსის ფილტრაცია (API გასაღებები, პაროლები)
  • მონაცემთა ნაკადის შემზღუდველი პოლიტიკის წესები

4. მიწოდების ჯაჭვი

საფრთხე: მავნე დანამატები ან დამოკიდებულებები აგენტს კომპრომეტირებს.

შემარბილებელი ზომები:

  • დანამატების WASM სენდბოქსი
  • დანამატის ნებართვების მანიფესტები
  • დამოკიდებულებების აუდიტი (cargo audit)

უსაფრთხოების დაშვებები

  • ჰოსტი ოპერაციული სისტემა სანდოა
  • LLM პროვაიდერები API გასაღებებს უსაფრთხოდ ამუშავებს
  • მომხმარებელი პასუხისმგებელია აგენტის მოქმედებების გადახედვაზე, როდესაც დამტკიცება საჭიროა

სისუსტეების მოხსენება

თუ უსაფრთხოების სისუსტე აღმოაჩინეთ, გთხოვთ მოახსენოთ [email protected]-ზე.

დაკავშირებული გვერდები

Released under the Apache-2.0 License.