सामग्री पर जाएँ

जीपीटी3

जेनरेटर पूर्व प्रशिक्षित ट्रांसफार्मर 3 (GPT-3)
रचनाकार OpenAI
पहला संस्करण जून 11, 2020 (बीटा)
वेबसाइटopenai.com/blog/openai-api

जीपीटी-३ या जेनेरिक प्री-ट्र्न्ड ट्रांसफ़ॉर्मर 3 (GPT-3) कृत्रिम बुद्धिमत्ता पर आधारित भाषा मॉडल है जो मानव-जैसा पाठ (टेक्स्ट) पैदा करने के लिए डीप लर्निंग का उपयोग करता है। यह सैन फ्रांसिस्को की कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा बनाई गई जीपीटी-एन शृंखला में तीसरी पीढ़ी की भाषा मॉडल है। GPT। -3 के पूर्ण संस्करण में 175 बिलियन की क्षमता है, जो कि अपने पूर्ववर्ती की तुलना में अधिक परिमाण के दो आदेशों से अधिक है। GPT-3, जो मई 2020 में पेश किया गया था, और जुलाई 2020 तक बीटा परीक्षण में है, [1] भाग है प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पूर्व प्रशिक्षित भाषा अभ्यावेदन की प्रणाली में एक प्रवृत्ति। < सबसे बड़े भाषा मॉडल GPT-3 की रिलीज से पहले Microsoft GPT-3 की तुलना में 17 बिलियन पैरामीटर या 10 प्रतिशत से कम की क्षमता के साथ फरवरी 2020 में पेश किया गया ट्यूरिंग NLG, [2]

GPT-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि मानव द्वारा लिखित उस से अंतर करना मुश्किल है, जिसमें लाभ और जोखिम दोनों हैं। [2] थर्टी-वन ओपनएआई के शोधकर्ताओं और इंजीनियरों ने प्रस्तुत किया। मूल 28 मई, 2020 कागज GPT-3 को पेश करता है। अपने पेपर में, उन्होंने GPT-3 के संभावित खतरों के बारे में चेतावनी दी और जोखिम को कम करने के लिए शोध करने के लिए कहा। : 34 डेविड चालमर्स, एक ऑस्ट्रेलियाई दार्शनिक, ने GPT- का वर्णन किया। 3 के रूप में "सबसे दिलचस्प और महत्वपूर्ण एआई सिस्टम में से एक।" [3]

पृष्ठभूमि

द इकोनॉमिस्ट 'के अनुसार, बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर, और डिजीटल डेटा में वृद्धि ने मशीन लर्निंग में एक क्रांति ला दी है, 2010 में नई तकनीकों के परिणामस्वरूप "कार्यों में तेजी से सुधार हुआ है।" "भाषा से छेड़छाड़ सहित। [4] संरचना में हजारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया गया है। मस्तिष्क के तंत्रिका वास्तुकला पर आधारित [4] एक वास्तुकला जिसका उपयोग [प्राकृतिक भाषा] में किया जाता है। प्रसंस्करण (एनएलपी) एक कृत्रिम तंत्रिका नेटवर्क] तंत्रिका नेटवर्क एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था - ट्रांसफार्मर (मशीन सीखने का मॉडल) | ट्रांसफार्मर। [5] GPT-n मॉडल इस ट्रांसफॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क आर्किटेक्चर पर आधारित हैं इ। ऐसे कई एनएलपी सिस्टम हैं जो सवालों के जवाब देने, खनन करने, संगठित करने, जोड़ने, विपरीत करने, समझने और उत्पन्न करने में सक्षम हैं। [6] 11 जून, 2018 को, OpenAI के शोधकर्ताओं और इंजीनियरों ने अपने जेनेरेटिव मॉडल s- भाषा के मॉडल-आर्टिफिशियल इंटेलिजेंस सिस्टम पर अपना मूल पेपर पोस्ट किया, जो डेटासेट के माध्यम से टेक्स्ट के एक विशाल और विविध कॉर्प के साथ पूर्व-प्रशिक्षित हो सकता है, एक प्रक्रिया में उन्होंने जेनरिक प्री-ट्रेनिंग (GP) कहा। [7] लेखकों ने बताया कि कैसे प्राकृतिक भाषा में भाषा समझने का प्रदर्शन होता है। प्रसंस्करण (एनएलपी) को जीपीटी-एन में सुधार किया गया था, "प्रत्येक विशिष्ट कार्य पर भेदभावपूर्ण फाइन-ट्यूनिंग द्वारा पीछा किए गए गैर-लेबल पाठ के एक विविध कॉर्पस पर एक भाषा मॉडल के जेनेरिक प्री-ट्रेनिंग की प्रक्रिया के माध्यम से।" यह अनसुपर्वीकृत लर्निंग | मानव पर्यवेक्षण की आवश्यकता को समाप्त कर दिया और समय-गहन हाथ से लेबल करने के लिए। [7]

फरवरी 2020 में, Microsoft ने अपनी ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) शुरू की, जो उस समय "17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल था।" [8] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल की तुलना में बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों का उत्तर देना शामिल था। [8] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल की तुलना में बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों का उत्तर देना शामिल था। [8]

क्षमताएं

28 मई, 2020 arXiv ओपनएआई के 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा छापा, जीपीटी -3 के विकास का वर्णन किया, जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है। [9][2]टीम ने अपने पूर्ववर्ती GPT से परिमाण के दो आदेशों से GPT-3 की क्षमता में वृद्धि की -2, GPT-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बनाना। [9]:14 [10] GPT-3 की उच्च संख्या। पैरामीटर इसे छोटी क्षमता के साथ पिछले संस्करणों की तुलना में उच्च स्तर की सटीकता प्रदान करता है।[11] GPT-3 की क्षमता Microsoft ट्यूरिंग एनएलजी से दस गुना बड़ा है।[2]


GPT-3 के लिए भारित पूर्व-प्रशिक्षण डाटासेट का साठ प्रतिशत, कॉमन क्रॉल के फ़िल्टर्ड संस्करण से आता है, जिसमें 410 बिलियन बाइट पेयर एन्कोडिंग | बाइट-पेयर-इनकोडिंग टोकन शामिल हैं। अन्य स्रोत WebText2 से 19 बिलियन टोकन हैं जो कुल भारित 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, Books2 से 55 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, और विकिपीडिया से 3 बिलियन टोकन हैं। 3% का प्रतिनिधित्व करते हैं। GPT-3 को सैकड़ों अरबों शब्दों में प्रशिक्षित किया गया था और यह सीएसएस, JSX, पायथन, अन्य लोगों के बीच कोडिंग में सक्षम है। [1] चूंकि GPT-3 का प्रशिक्षण डेटा सर्वव्यापी था, इसलिए इसे अलग-अलग भाषा के कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है। [1]

11 जून, 2020 को, OpenAI ने घोषणा की कि उपयोगकर्ता अपने उपयोगकर्ता के अनुकूल GPT-3 API तक पहुंच का अनुरोध कर सकते हैं - "एक मशीन सीखने का टूलसेट" - इस बारे में OpenAI "शक्तियों और सीमाओं का पता लगाने" में मदद करता है। नई तकनीक। [12][13] [13] निमंत्रण में वर्णित है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य "पाठ, पाठ बाहर" इंटरफ़ेस था जो सामान्य एकल उपयोग-मामले के बजाय लगभग "किसी भी अंग्रेजी भाषा के कार्य" को पूरा कर सकता है। [12] एक उपयोगकर्ता के अनुसार, जिनके पास OpenAI GPT-3 API की निजी प्रारंभिक रिलीज़ तक पहुंच थी, GPT-3 केवल कुछ सरल संकेतों के साथ" आश्चर्यजनक सुसंगत पाठ "लिखने में" शाब्दिक अच्छा "था। [14]


क्योंकि GPT-3 उन समाचार लेखों को "उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है," [2] GPT-3 में "भाषा मॉडल के लाभकारी और हानिकारक अनुप्रयोगों को आगे बढ़ाने की क्षमता" है। "अपने 28 मई, 2020 के पेपर में, शोधकर्ताओं ने विस्तार से वर्णन किया" जीपीटी -3 के हानिकारक प्रभाव "[2] जो "गलत सूचना, स्पैम, फ़िशिंग, प्रक्रिया का दुरुपयोग | कानूनी और सरकारी प्रक्रियाओं का दुरुपयोग, अकादमिक बेईमानी | धोखाधड़ी शैक्षणिक निबंध लेखन और सोशल इंजीनियरिंग प्रीटेक्सिंग"। लेखक जोखिम प्रबंधन | जोखिम शमन पर शोध करने के लिए इन खतरों पर ध्यान आकर्षित करते हैं।

समीक्षा

29 जुलाई, 2020 में [न्यूयॉर्क टाइम्स , फरहद मंजु में समीक्षा में कहा गया है कि GPT-3-जो कंप्यूटर कोड और कविता उत्पन्न कर सकता है, साथ ही साथ गद्य भी नहीं है " अद्भुत "," डरावना ", और" विनम्र ", लेकिन यह भी" थोड़ा अधिक से अधिक भयानक "[15] डेली नूस 'ने GPT-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की। [16] ऑस्ट्रेलियाई दार्शनिक डेविड चालर्स ने GPT-3 को "सबसे दिलचस्प और महत्वपूर्ण AI में से एक" बताया सिस्टम ने कभी उत्पादन किया। [3]

वायर्ड (पत्रिका) | वायर्ड 'में एक समीक्षा ने कहा कि जीपीटी -3 सिलिकॉन वैली के पार ठंडक भड़का रहा था।" [17]

टुवर्ड्स डेटा साइंस के एक लेख में कहा गया है कि GPT-3 को सैकड़ों अरबों शब्दों में प्रशिक्षित किया गया था और यह CSS, JSX, Python और अन्य भाषाओं में कोडिंग करने में सक्षम है। [1]

नेशनल लॉ रिव्यू ने कहा कि GPT-3 एक "बड़ी प्रक्रिया में प्रभावशाली कदम है", OpenAI और अन्य लोगों को इस शक्ति के सभी के लिए उपयोगी एप्लिकेशन ढूंढते हुए और अधिक की ओर काम करते हुए सामान्य बुद्धिमत्ता । [18]

सन्दर्भ

  1. ↑ अ आ इ ई Bussler, Frederik (July 21, 2020). "Will GPT-3 Kill Coding?". Towards Data Science. अभिगमन तिथि August 1, 2020.
  2. ↑ अ आ इ ई उ ऊ Sagar, Ram (June 3, 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. अभिगमन तिथि July 31, 2020.
  3. ↑ अ आ Chalmers, David (July 30, 2020). Weinberg, Justin (संपा॰). "GPT-3 and General Intelligence". Philosophers On GPT-3 (updated with replies by GPT-3). अभिगमन तिथि August 4, 2020.
  4. ↑ अ आ "An understanding of AI's limitations is starting to sink in". The Economist. June 11, 2020. आइ॰एस॰एस॰एन॰ 0013-0613. अभिगमन तिथि July 31, 2020.
  5. ↑ Polosukhin, Illia; Kaiser, Lukasz; Gomez, AidanN.; Jones, Llion; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (2017-06-12). "Attention Is All You Need". arXiv:1706.03762 [cs.CL].
  6. ↑ "Natural Language Processing". अभिगमन तिथि 2020-07-31.
  7. ↑ अ आ Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). पृ॰ 12. अभिगमन तिथि July 31, 2020.
  8. ↑ अ आ इ Sterling, Bruce (February 13, 2020). "Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG)". Wired. आइ॰एस॰एस॰एन॰ 1059-1028. अभिगमन तिथि July 31, 2020.
  9. ↑ अ आ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (July 22, 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165.
  10. ↑ Shead, Sam (July 23, 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. अभिगमन तिथि July 31, 2020. Four preprints were released between May 28 and July 22, 2020.
  11. ↑ Ray, Tiernan (June 1, 2020). "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. अभिगमन तिथि July 31, 2020.
  12. ↑ अ आ "OpenAI API". OpenAI. June 11, 2020.
  13. ↑ अ आ "TechCrunch – Startup and Technology News". TechCrunch. June 11, 2020. अभिगमन तिथि July 31, 2020.
  14. ↑ Arram (July 9, 2020). "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. मूल से 20 जुलाई 2020 को पुरालेखित. अभिगमन तिथि July 31, 2020.
  15. ↑ Manjoo, Farhad (July 29, 2020). "How Do You Know a Human Wrote This?". The New York Times. आइ॰एस॰एस॰एन॰ 0362-4331. अभिगमन तिथि August 4, 2020.
  16. ↑ Weinberg, Justin, संपा॰ (July 30, 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". अभिगमन तिथि July 31, 2020.
  17. ↑ Simonite, Tom (July 22, 2020). "Did a Person Write This Headline, or a Machine?". आइ॰एस॰एस॰एन॰ 1059-1028. अभिगमन तिथि July 31, 2020.
  18. ↑ Claypoole, Theodore (July 30, 2020). "New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel". The National Law Review. अभिगमन तिथि August 4, 2020.

बाहरी लिंक

यह पृष्ठ इस विकिपीडिया लेख पर आधारित है
पाठ CC BY-SA 4.0 लाइसेंस के अंतर्गत उपलब्ध है; अतिरिक्त शर्तें लागू हो सकती हैं.
छवियाँ, वीडियो और ऑडियो उनके संबंधित लाइसेंस के तहत उपलब्ध हैं।.