14 Sep 2024
ChatGPT का इस्तेमाल बड़ी संख्या में लोग करते हैं. लोग इस प्लेटफॉर्म का गलत इस्तेमाल ना कर लें, इसलिए कुछ स्टेफ्टी वॉल्स तय की गई हैं. क्या हो अगर कोई इन दीवारों के गिरा दे.
ऐसा ही कुछ एक हैकर ने किया और ChatGPT ने उसे घर पर बम बनाने का तरीका बता दिया. इसके लिए हैकर ने किसी हैकिंग टूल का इस्तेमाल नहीं किया.
दरअसल, AI असिस्टेंट ने शुरुआत में हैकर को इस बारे में जानकारी देने से मना कर दिया. AI चैटबॉट ने कहा कि वो गैर-कानूनी या खतरनाक आइटम्स को बनाने का तरीका नहीं बता सकता.
हैकर ने बताया कि उसने कुछ ऐसी ट्रिक्स का इस्तेमाल किया, जिसमें फंसकर ChatGPT ने उसे बम बनाने का तरीका बता दिया.
हैकर का नाम Amadon है, जिसने बताया कि ChatGPT को फंसाने के लिए उसने एक साइंस फ्रिक्शन गेम की कहानी का इस्तेमाल किया.
इस गेम में कोई भी सेफ्टी वॉल लागू नहीं होती हैं. आसान भाषा में कहें तो इस कहानी में ChatGPT को फंसाकर उसने उन दीवारों को गिरा दिया.
TechCrunch की रिपोर्ट के मुताबिक, हैकर इसे सोशल इंजीनियरिंग हैक कहता है. हालांकि, इसकी जानकारी नहीं है कि हैकर ने किन प्रॉम्प्ट का इस्तेमाल किया है.
हैकर का कहना है कि एक बार आप ChatGPT की सेफ्टी वॉल को पार कर लें, तो ऐसी कोई जानकारी नहीं है जो आप इस AI से हासिल नहीं कर सकते हैं.
Amadon ने अपने इस तरीके के जानकारी OpenAI को बग बाउंटी प्रोग्राम के तहत दी है. कंपनी ने माना है कि मॉडल का सेफ्टी सिस्टम इस तरह के प्रोग्राम के लिए नहीं है.