बर्ट (भाषा मॉडल)

ट्रांसफार्मर से द्विदिश एनकोडर प्रतिनिधित्व ( बीईआरटी) (अंग्रेजी: Bidirectional Encoder Representations from Transformers या BERT ) Google के शोधकर्ताओं द्वारा 2018 में पेश किए गए भाषा मॉडल का एक परिवार है। ^{[1] [2]} 2020 के एक साहित्य सर्वेक्षण ने निष्कर्ष निकाला कि "एक साल से कुछ अधिक समय में, बर्ट प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रयोगों में एक सर्वव्यापी आधार रेखा बन गया है, जिसमें मॉडल का विश्लेषण और सुधार करने वाले 150 से अधिक शोध प्रकाशन शामिल हैं।" ^[3]

बर्ट को मूल रूप से अंग्रेजी भाषा में दो मॉडल आकारों में लागू किया गया था: ^[1] (1) बर्ट _बेस : 12 एनकोडर जिसमें 12 द्विदिशात्मक स्व-ध्यान प्रमुख हैं, कुल 110 मिलियन पैरामीटर, और (2) बर्ट _बड़ा : 16 द्विदिशात्मक स्व-ध्यान वाले 24 एनकोडर। कुल 340 मिलियन मापदंडों पर ध्यान दें। दोनों मॉडलों को टोरंटो बुककॉर्पस ^[4] (800 मिलियन शब्द) और अंग्रेजी विकिपीडिया (2,500 मिलियन शब्द) पर पूर्व-प्रशिक्षित किया गया था।

1. ↑ ^{अ आ} Devlin, Jacob; Chang, Ming-Wei (11 October 2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". arXiv:1810.04805v2 [cs.CL].
2. ↑ "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing". Google AI Blog (अंग्रेज़ी में). 2 November 2018. अभिगमन तिथि 2019-11-27.
3. ↑ Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna (2020). "A Primer in BERTology: What We Know About How BERT Works". Transactions of the Association for Computational Linguistics. 8: 842–866. arXiv:2002.12327. डीओआइ:10.1162/tacl_a_00349.
4. ↑ Zhu, Yukun; Kiros, Ryan (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". arXiv:1506.06724 [cs.CV].Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". pp. 19–27. arXiv:1506.06724 [cs.CV].