NAO روبوت + رؤية كمبيوتر + 4 تلاميذ + 1.5 ساعة في الأسبوع = مدرس روبوت إنجليزي

تحية للجميع! هذا المقال مخصص لنتائج السنة الأولى من مختبر رؤية الكمبيوتر في الحديقة التكنولوجية للأطفال في نوفوسيبيرسك (رسميًا "مركز تنمية إبداع الأطفال والشباب"). يبدو "مختبر رؤية الكمبيوتر" صاخبًا بالطبع ، لكننا ما زلنا قادرين على فعل شيء ما.

تطور الفكرة

لنبدأ بما تم التخطيط له. في الأحلام الزرقاء ، رأيت روبوت NAO (ينظر إليك من الصورة) ، يقرأ بصوت عالٍ أي نص مقدم في "منطقة خاصة" بطريقة قارئ الباركود في محلات السوبر ماركت ، قارئ عالمي مشروط بصوت عالٍ لأولئك الذين لا يستطيعون القيام بذلك لسبب ما هذا بنفسي. في نسخة أكثر دنيوية ، أردت أن أصنع روبوت أمين مكتبة من NAO يتعرف على أسماء الكتاب ومؤلفه. هل أخذت في الاعتبار تعقيد المهمة ومستوى الطلاب (ونقص خبرتي) عندما قمت بتعيين المهمة الأولية؟ بالطبع لا. ونتيجة لذلك ، أدركنا بالطبع مهمة أخرى ، وإن كانت وثيقة ، لكنها اتضح أنها أفضل.

توضيح قليل مع إجابات للأسئلة الواضحة: لماذا NAO؟ اتضح أنه على أساس هذا المركز كان هناك ثلاثة روبوتات من هذا القبيل لم يعمل معها أحد. لديهم كاميرات جيدة ، بالإضافة إلى وجود مركب الكلام المدمج ( حتى الشركات المصنعة تتحدث عن أدوات خاصة لتذكر الوجوه / الأشياء والتعرف على الكلام المباشر ، لكنني شخصياً لم أستخدمه) ، واجهة برمجة التطبيقات مفهومة ، إنها تفهم Python. لماذا يتم التعرف على النص؟ لا أعلم ، لسبب ما بدا لي النص هو الأقرب في ذلك الوقت (دودة الكتب ، ما يجب أن آخذه مني) .

لقد بدأت العمل مع أطفال المدارس في نهاية أكتوبر من العام الماضي. في البداية ، كان هناك اثنان فقط: صبي وفتاة ، الصف العاشر والحادي عشر على التوالي. انضم إلينا بعد ذلك بقليل طالبان من الصف الثامن (أذكرك بأن كلمة "لا يتجزأ" في الصف الثامن غير مألوفة ، مثل العديد من الأشياء الأخرى). ثم اتضح أنه ليس كل شيء بهذه البساطة. أي ، بشكل عام ، كل شيء ليس سهلاً.

بعد أن توقفت الروبوتات عن التسبب في رغبة حادة في كزها ، تم إتقانها داخل الواجهة الرسومية (كيفية الاتصال ، وكيفية التحكم ، وكيفية التبديل بين الكاميرات العلوية والسفلية ، وكيفية التقاط صورة ، وكيفية ومكان حفظها) ، ركزنا على معالجة الصور.

كانت المهمة الأولى هي التقاط صورة للكتاب ومحاولة العثور على المؤلف والعنوان كمعيار ، تم وصفه عدة مراتتدفق المكدس ، الأساليب (تحويل الألوان ، الفلاتر ، التثخين ، إلخ). مع بعض الكتب ، كانت المناورة ناجحة ، مع البعض - لا. على سبيل المثال ، نجحنا في كتاب عن المتسللين ، على الرغم من تصميمه غير التقليدي.





ولكن مع نشر أقل هامشية ، عانينا من العديد من الفشل (القصة ، بالإضافة إلى ذلك ، لم تنقذ). بشكل عام ، أصبح من الواضح أنه لم يعد بإمكاننا العيش بهذه الطريقة ، لم يعد لدينا الوقت لذلك ونحتاج إلى تغيير المهمة.



تم اقتراح حل واضح ، ولكن ليس تمامًا ، من قبل رجال من TUSUR الذين جاؤوا لزيارة حدث وكانوا يعملون مع NAO لعدة سنوات. اقترحوا ورقة بيضاء كخلفية بيضاء حتى. حسنا.



أصبحت الحياة أسهل ، ولكن ليس للغاية.



ومع ذلك ، بعد القليل من الشامانية مع المرشحات ، ما زلنا قادرين على تطبيق Tesseract (بتعبير أدق ، غلاف Python Tesserwrap) وانتقل الأمر: تحدث الروبوت. أولاً من خلال كاميرا الخشخاش:




ثم من تلقاء نفسه. حتى أننا جعلنا تحيات السنة الجديدة القمامة (والتي عكست بطريقة أو بأخرى من خلال PhotoBooth ولا يوجد تفسير عقلاني لهذا).



ومع ذلك ، بقيت الإيجابيات الكاذبة "ممتعة" مثل الفطر الكاذب. ثم سألني أحد تلاميذ المدرسة سؤالاً: "وماذا يمنعنا من إنشاء قاموس والتعبير فقط عما هو فيه؟"

هل حقا. في التفكير ، قمت بصياغة الفكرة النهائية لمشروعنا مع أطفال المدارس: مدرس روبوت للغة الإنجليزية. لا يزال الروبوت لدينا يعرف اللغة الإنجليزية فقط (نظريًا يمكن تصحيح ذلك) ، ومعلم الروبوت الذي يمارس مع طالب / طالب اللغة الإنجليزية لديه اتصال معين بالواقع. حسنًا ، لن أرفض في وقت واحد. على ذلك وتوقفت.

العمل الجماعي ونتيجته

ثم جاء أبريل. أو مارس. بشكل عام ، اقتربت عطلة مايو في مكان قريب (مع إلغاء الأنشطة على شرفهم) ، وظل الأطفال يقتحمون الألعاب الأولمبية ، وبدأت الرسائل تظهر حول بعض مهرجانات الروبوتات ، بشكل عام ، "الشتاء قريب" ، ولكن لا يوجد مشروع.

بادئ ذي بدء ، قمنا بتسوية الخوارزمية: أجهزة استشعار الرأس اللمسية تحدد مستوى اللعبة (المقابل لتعقيد القاموس) ، مع مساعدتها يمكن إيقاف اللعبة ؛ يختار الروبوت عشوائيًا كلمة من القاموس ، وينطقها ، ويلتقط صورًا من الكاميرا العلوية ، ويتعرف على النص ، ويحلله ، ويفحص القاموس ، ويتحقق من الكلمة المنطوقة ويومئ برأسه ، بشكل إيجابي أو سلبي ، اعتمادًا على النتيجة.

كان علي أن أعطي الجميع مهمة وأفرح بأنه في الفصول الأولى ، تم فتح github للطلاب. انخرط اثنان منهم في تصدير الحركات من الواجهة الرسومية (حتى لا نكتب أنفسنا) وتحريرها ، كان شخصًا ما يكتب رمز اختيار عشوائيًا ، وكان شخصًا ما يكتب قاموسًا ، وكان علي أن أركض وأطالب في حالات التوصيل. بعد مرور بعض الوقت ، كانت جميع الأقسام جاهزة بشكل منفصل ، ويبقى ربطها معًا. تم تنفيذ هذه المهمة أيضًا من قبل أحد الطلاب (الذين تعاملنا مع عضاداتهم لعدة ساعات متتالية في وقت لاحق ، لكنه لا يزال جيدًا).

لن أخبرك كيف "سافرنا" في المهرجان الإقليمي للروبوتات بسبب هذه النسخة العامة الأولية ؛ من الأفضل أن أخبركم أننا قدمنا ​​المشروع إلى Sh.U.ST.T.R.I.K.ومن أجل ذلك ، أنهينا المشروع (4 ساعات من العمل الكامل - وارتفعت درجة حرارة أجهزة الاستشعار لدينا ، بحيث ظهرت الرؤية والحركات مرة أخرى على مقاطع فيديو مختلفة). ومع ذلك ، تم أخذ المشروع من قبل S.U.ST.T.R.I.K.a ، كما أخبرني صديق ، الذي كان حاضراً عند إعلان النتائج في تومسك. مرحى.





حسنًا ، اليوم ، في المعرض في إطار أيام العلوم في نوفوسيبيرسك ، كان من الممكن أخيرًا تصحيح النسخة وتسجيل مقطع فيديو لكل شيء معًا (جودة قصيرة وضعيفة ، لأن الهاتف).



ومع ذلك ، فإن بعض الطلاب في المعرض (وهذا المهرجان الحزين) أحبوه حقًا. صحيح ، للأسف ، شعر الكثير بالحرج لأنهم لم يسمعوا شيئًا ولم يفهموا اللغة الإنجليزية.

خطط مستقبلية

بادئ ذي بدء: تسريع هذا الإصدار (حتى الآن نأخذ صورة من الكاميرا مرة واحدة في الثانية) ، نصنع بطاقات بكلمات على الورق المقوى (بحيث لا يثنيها الأطفال في أيديهم عندما يعرضون الروبوت) ، ربما يعيدون التنفيذ ووضع النص في بعض ثم إطار متباين ، على سبيل المثال ، أحمر ؛ تدوير الصورة ، إلخ.

حسنًا ، إذا واصلنا المشروع في العام الدراسي المقبل (أود) ، فأنا أرغب في إنشاء قاموس روسي-إنجليزي ، ربما قواميس اعتراض ، وربما شيء آخر. ليس حقيقة أنه مع NAO.

الرمز ، بدون أحدث إصدار ، يمكنك المشاهدة والتأنيب هنا . سيظهر أحدث إصدار أيضًا هناك ، ولكن بعد ذلك بقليل - نحن نعمل على الأخطاء.

الأدب والمعدات

- روبوتات NAO
- macbook pro
- Tesserwrap
- OpenCV Python
- stackoverflow