NAO रोबोट + कंप्यूटर दृष्टि + 4 स्कूली बच्चों + 1.5 घंटे प्रति सप्ताह = रोबोट ट्यूटर अंग्रेजी

सभी को नमस्कार! यह लेख नोवोसिबिर्स्क (आधिकारिक तौर पर बच्चों और युवाओं की रचनात्मकता के विकास के लिए केंद्र) के चिल्ड्रन टेक्नोपार्क में कंप्यूटर विज़न प्रयोगशाला के पहले वर्ष के परिणामों के लिए समर्पित है । "कंप्यूटर विज़न लेबोरेटरी" लगता है, बेशक, जोर से, लेकिन हम फिर भी कुछ करने में कामयाब रहे।

विचार विकास

जो योजना बनाई गई थी, उससे शुरू करते हैं। नीले रंग के सपनों में, मैंने एक NAO रोबोट (तस्वीर से आपको देखकर) को देखा, जो सुपरमार्केट में बारकोड रीडर की तरह "विशेष क्षेत्र" में प्रस्तुत किसी भी पाठ को पढ़ रहे थे, उन लोगों के लिए सशर्त रूप से सार्वभौमिक पाठक का एक प्रकार है जो किसी कारण से ऐसा नहीं कर सकते हैं। यह खुद। एक अधिक सांसारिक संस्करण में, मैं NAO से एक लाइब्रेरियन रोबोट बनाना चाहता था जो पुस्तक और उसके लेखक के नामों को पहचानता है। क्या मैंने प्रारंभिक कार्य निर्धारित करते समय कार्य की जटिलता और छात्रों के स्तर (और मेरे अनुभव की कमी) को ध्यान में रखा था? बिलकूल नही। नतीजतन, ज़ाहिर है, हमें एक और एहसास हुआ, यद्यपि, कार्य, हालांकि, यह और भी बेहतर निकला।

स्पष्ट सवालों के जवाब के साथ थोड़ा स्पष्टीकरण: क्यों NAO? यह पता चला कि इस केंद्र के आधार पर तीन ऐसे रोबोट थे जिनके साथ किसी ने काम नहीं किया। उनके पास अच्छे कैमरे हैं, साथ ही एक अंतर्निहित वाक् सिंथेसाइज़र है ( निर्माता चेहरे / वस्तुओं को याद रखने और लाइव भाषण को पहचानने के लिए विशेष उपकरणों के बारे में भी बात करते हैं, लेकिन मैं व्यक्तिगत रूप से इसका उपयोग नहीं करता था), एपीआई समझ में आता है, यह पायथन को समझता है। पाठ की मान्यता क्यों है? मुझे नहीं पता, कि किसी कारण से पाठ मुझे उस समय निकटतम लग रहा था (एक किताबी कीड़ा, मुझसे क्या लेना देना) ।

मैंने पिछले साल अक्टूबर के अंत में स्कूली बच्चों के साथ काम करना शुरू कर दिया था। पहले, उनमें से केवल दो थे: एक लड़का और एक लड़की, क्रमशः 10 वीं और 11 वीं कक्षा। थोड़ा बाद में 2 आठवें-ग्रेडर हमारे साथ शामिल हो गए (मैं आपको याद दिलाता हूं कि 8 वीं कक्षा में "अभिन्न" शब्द कई अन्य चीजों की तरह, अपरिचित है)। और फिर यह पता चला कि सब कुछ इतना सरल नहीं है। यही है, सामान्य तौर पर, सब कुछ आसान नहीं है।

रोबोट द्वारा उन्हें प्रहार करने की तीव्र इच्छा पैदा होने के बाद , वे ग्राफ़िकल इंटरफ़ेस (कैसे कनेक्ट करें, कैसे नियंत्रित करें, ऊपरी और निचले कैमरों के बीच कैसे स्विच करें, एक फोटो कैसे लें, इसे कैसे और कहां सहेजना है) के भीतर महारत हासिल थी, हमने इमेज प्रोसेसिंग पर ध्यान केंद्रित किया।

पहला काम किताब की तस्वीर लेना और लेखक और शीर्षक को मानक के रूप में खोजने की कोशिश करना था, जिसका वर्णन कई बार किया गयास्टैकओवरफ़्लो , विधियाँ (रंग रूपांतरण, फ़िल्टर, गाढ़ापन, आदि)। कुछ पुस्तकों के साथ, पैंतरेबाज़ी एक सफलता थी, कुछ के साथ - नहीं। उदाहरण के लिए, हम हैकर्स के बारे में एक पुस्तक के साथ सफल रहे, इसके अपरंपरागत डिजाइन के बावजूद।





लेकिन एक अल्पकालिक सीमांत प्रकाशन के साथ, हमें कई फियास्को का सामना करना पड़ा (कहानी, इसके अलावा, बचा नहीं)। सामान्य तौर पर, यह स्पष्ट हो गया कि अब हम उस तरह नहीं रह सकते हैं, हमारे पास इसके लिए समय नहीं है और हमें कार्य को बदलने की आवश्यकता है।



एक स्पष्ट, लेकिन काफी नहीं, इसका समाधान TUSUR के लोगों द्वारा प्रस्तावित किया गया था जो एक कार्यक्रम में आए थे और कई वर्षों से NAO के साथ काम कर रहे थे। उन्होंने एक सफेद चादर को एक सफेद पृष्ठभूमि के रूप में प्रस्तावित किया। ठीक।



जीवन आसान हो गया है, लेकिन बहुत नहीं।



हालाँकि, फ़िल्टर के साथ थोड़ी शर्मिंदगी के बाद, हम अभी भी टेसरैक्ट (अधिक सटीक रूप से, इसके पाइथन रैपर टेसर्राप) को लागू करने में कामयाब रहे और मामला आगे बढ़ गया: रोबोट ने बात की। सबसे पहले मेरे खसरे के कैमरे के माध्यम से:




और फिर खुद से। हम भी बना कचरा नए साल की बधाई (जो मैं किसी भी तरह फ़ोटोबूथ के माध्यम से नजर आता है और वहाँ इस के लिए कोई तर्कसंगत व्याख्या है)।



हालांकि, झूठे सकारात्मक "झूठे" मशरूम के रूप में "सुखद" बने रहे। और फिर स्कूली बच्चों में से एक ने मुझसे एक सवाल पूछा: "और जो हमें एक शब्दकोष बनाने और आवाज उठाने से रोकता है, वह क्या है?"

वास्तव में। सोचकर, मैंने स्कूली बच्चों के साथ हमारी परियोजना का अंतिम विचार तैयार किया: अंग्रेजी भाषा का एक रोबोट-ट्यूटर। हमारा रोबोट अभी भी केवल अंग्रेजी जानता है (सिद्धांत में यह सही किया जा सकता है), और अंग्रेजी के छात्र / छात्र के साथ अभ्यास करने वाले रोबोट ट्यूटर का वास्तविकता के साथ एक निश्चित संबंध है। खैर, मैं एक बार में मना नहीं करूंगा। उस पर और बंद कर दिया।

टीम वर्क और उसका परिणाम

और फिर अप्रैल आ गया। या मार्च। सामान्य तौर पर, मई की छुट्टियां नज़दीक में समाप्त हो जाती हैं (उनके सम्मान में रद्द की गई गतिविधियों के साथ), बच्चे ओलंपिक में टूटते रहे, कुछ रोबोटिक्स त्योहारों के बारे में संदेश दिखाई देने लगे, सामान्य तौर पर, "सर्दी निकट है", लेकिन कोई परियोजना नहीं है।

सबसे पहले, हमने एल्गोरिथ्म को निपटाया: स्पर्श हेड सेंसर गेम स्तर (शब्दकोश की जटिलता के अनुसार) का चयन करते हैं, उनकी मदद से गेम को रोका जा सकता है; रोबोट बेतरतीब ढंग से शब्दकोश से एक शब्द का चयन करता है, इसका उच्चारण करता है, शीर्ष कैमरे से चित्र लेता है, पाठ को पहचानता है, पाठ को पार्स करता है, शब्दकोश के साथ जांच करता है, बोले गए शब्द के साथ जांच करता है और परिणाम के आधार पर सकारात्मक या नकारात्मक रूप से उसके सिर को हिलाता है।

मुझे सभी को एक कार्य देना था और आनन्दित होना पड़ा कि पहली कक्षाओं में, छात्रों के लिए जीथब खोला गया था। दो ग्राफिकल इंटरफ़ेस (इसलिए खुद को लिखने के लिए नहीं) से आंदोलनों के निर्यात में लगे हुए थे और कोई उन्हें संपादित कर रहा था, कोई एक यादृच्छिक चयन कोड लिख रहा था, कोई एक शब्दकोश लिख रहा था, और मुझे चारों ओर दौड़ना पड़ा और प्लगिंग के मामलों में संकेत देना पड़ा। कुछ समय बाद, सभी खंड अलग-अलग तैयार थे, और यह उन्हें एक साथ जोड़ने के लिए बना हुआ है। यह कार्य छात्रों में से एक द्वारा किया गया था (जिनके जाम हम बाद में लगातार कई घंटों तक निपटते थे, लेकिन वह अभी भी अच्छी तरह से किया गया था)।

मैंने यह नहीं बताया कि इस क्रूड सामान्य संस्करण के कारण रोबोटिक्स के क्षेत्रीय त्योहार में हमने "उड़ान भरी", मैं आपको बेहतर बताता हूं कि हमने प्रोजेक्ट को Sh.UST.T.R.I.K.और इसके खातिर, हमने इस परियोजना को पूरा किया (4 घंटे का पूरा काम - और हमारे सेंसर ने गर्म कर दिया, ताकि दृष्टि और चालें फिर से अलग-अलग वीडियो पर सामने आए)। हालाँकि, परियोजना को Sh.W.T.S द्वारा लिया गया था। हुर्रे।





खैर, आज, नोवोसिबिर्स्क में विज्ञान के दिनों के ढांचे के भीतर प्रदर्शनी में, अंत में संस्करण को डिबग करना और एक साथ सब कुछ का वीडियो रिकॉर्ड करना संभव था (संक्षेप में और खराब, क्योंकि फोन)।



हालांकि, प्रदर्शनी में कुछ छात्रों (और उस दुखद त्योहार) को वास्तव में पसंद आया। सच है, दुर्भाग्य से, कई लोग शर्मिंदा थे कि उन्होंने कुछ सुना नहीं था और अंग्रेजी में नहीं समझते थे।

भविष्य की योजनाएं

सबसे पहले: इस संस्करण को गति दें (अब तक हम कैमरे से दूसरी बार एक तस्वीर लेते हैं), कार्डबोर्ड पर शब्दों के साथ कार्ड बनाते हैं (ताकि बच्चे रोबोट को दिखाने पर उनके हाथों में न झुकें), शायद कार्यान्वयन को फिर से करें और पाठ को कुछ में डालें। फिर एक विपरीत फ्रेम, उदाहरण के लिए, लाल; चित्र को घुमाएं, आदि।

ठीक है, अगर हम अगले शैक्षणिक वर्ष में परियोजना जारी रखेंगे (मैं चाहूंगा), तो मैं एक रूसी-अंग्रेजी शब्दकोश बनाना चाहता हूं, शायद ऑब्जेक्ट शब्दकोश, शायद कुछ और। इस तथ्य से नहीं कि एनएओ के साथ।

कोड, नवीनतम संस्करण के बिना, आप यहां देख सकते हैं और डांट सकते हैं । नवीनतम संस्करण भी वहां दिखाई देगा, लेकिन थोड़ी देर बाद - हम बग पर काम कर रहे हैं।

साहित्य और उपकरण

- एनएओ रोबोट
- मैकबुक प्रो
- टेसर्रैप
- ओपनसीवी पायथन
- स्टैकओवरफ्लो