NAO机器人+计算机视觉+ 4个学童+每周1.5个小时=机器人家教英语

大家好！本文致力于新西伯利亚儿童技术园（正式成立儿童和青少年创造力中心）计算机视觉实验室第一年的成果。当然，“计算机视觉实验室”听起来很响，但我们仍然设法做到了。

观念演变

让我们从计划中开始。在蓝色的梦中，我看到了NAO机器人（从图片中看着你），大声朗读在“特殊区域”中显示的任何文本，例如超市中的条形码阅读器，这是一种有条件的通用阅读器，适合因某些原因而无法阅读的人这个我自己。在一个更平凡的版本中，我想用NAO制作一个图书管理员机器人，以识别书名及其作者。设置初始任务时，我是否考虑了任务的复杂性和学生水平（以及缺乏经验）？当然不是。结果，我们当然实现了另一个任务，尽管任务很接近，但结果却更好。

对一些明显问题的答案作一些澄清：为什么要使用NAO？事实证明，在这个中心的基础上，有三个这样的机器人，没有人使用。他们拥有出色的相机，外加一个内置的语音合成器（制造商甚至在谈论用于记住面部/物体并识别实时语音的特殊工具，但我个人并未使用它），API是可以理解的，它可以理解Python。为什么可以识别文字？我不知道，由于某种原因，当时的文字对我来说似乎是最接近的（书虫，我该拿些什么）。

去年10月底，我开始与小学生一起工作。最初，他们只有两个：一个10年级和一个11年级的男孩和一个女孩。不久之后，有2个8年级学生加入了我们（我想提醒您，像许多其他事物一样，8年级的“积分”一词并不熟悉）。然后事实证明，并非一切都那么简单。也就是说，总的来说，一切都不容易。

在机器人不再引起强烈的戳戳欲望之后，他们在图形界面（如何连接，如何控制，如何在上下摄像头之间切换，如何拍摄照片，如何以及在何处保存）中掌握了它们，我们专注于图像处理。

第一个任务是拍下这本书的图片，并尝试找到作者和书名作为标准，并在stackoverflow，方法（颜色转换，滤镜，增厚等）。有了一些书，这个动作就成功了，有一些-不。例如，尽管有非常规的设计，但我们成功地编写了一本有关黑客的书。





但是，由于出版的看似较少，我们遭受了惨败（除此之外，这个故事并没有挽救）。总的来说，很明显，我们已经不能再这样生活了，我们没有时间这样做，我们需要改变任务。



来自TUSUR的人提出了一个明显但不是完全的解决方案，他们来参加一个活动并与NAO一起工作了几年。他们提出了一张白色纸作为白色均匀背景。好。



生活变得更轻松了，但不是很轻松。



但是，在使用过滤器进行了一些萨满教义之后，我们仍然设法应用了Tesseract（更确切地说，是它的Python Tesserwrap包装器），事情向前发展了：机器人说话了。首先通过我的罂粟花相机：




然后是本身。我们甚至还浪费了新年的问候（我以某种方式通过PhotoBooth反映了这一点，对此没有合理的解释）。



但是，假阳性仍然像假蘑菇一样“令人愉悦”。然后，一个小学生问我一个问题：“是什么让我们无法制作字典并仅对其中的声音发声？”

真。想着，我和小学生一起制定了我们项目的最终构想：英语的机器人老师。我们的机器人仍然只懂英语（理论上可以纠正），并且与一个或多个英语学生一起练习的机器人导师与现实有一定联系。好吧，我不会一次拒绝。就这样停了下来。

团队合作及其结果

然后四月来了。或三月。总的来说，五月的假期临近（为了纪念而取消了活动），孩子们不断参加奥运会，关于一些机器人节的消息开始出现，总的来说，“冬天快到了”，但是没有项目。

首先，我们确定算法：触觉头部传感器选择游戏级别（对应于词典的复杂性），借助它们可以停止游戏；机器人会从字典中随机选择一个单词，将其发音，从顶级摄像头拍照，然后识别文本，对其进行解析，与字典进行核对，对口头单词进行核对并根据结果肯定或否定点头。

我不得不给每个人一个任务，并为在第一堂课中为学生开放的github感到高兴。有两个人从事从图形界面导出动作（而不是自己写）并进行编辑的工作，有人在编写随机选择代码，有人在编写字典，在插电的情况下我必须四处走动并告诉我。一段时间后，所有部分都准备就绪，可以将它们连接在一起。一位学生也完成了这项任务（后来我们连续处理了几个门框，但他仍然做得很好）。

我不会告诉您我们是如何因为粗略的通用版本而在区域性机器人节上“飞奔”的；我最好告诉您，我们已将项目提交给Sh.U.T.T.R.I.K.为此，我们完成了该项目（整个工作4个小时-传感器过热，因此在不同的视频上再次出现了视觉和动作）。但是，这个项目是由S.U.ST.T.R.I.K.a采取的，正如一位朋友告诉我的那样，他在托木斯克宣布结果。万岁。





好吧，今天，在新西伯利亚的“科学之日”框架内的展览中，终于可以调试版本并一起录制所有内容的视频（质量低劣，因为手机）。



但是，一些参加展览（和那个悲伤的节日）的学生真的很喜欢它。的确，不幸的是，许多人为自己没听到什么并且不懂英语而感到尴尬。

未来的计划

首先：加快此版本的速度（目前，我们每秒从相机拍摄一张照片），用硬纸板在单词上制作卡片（以使孩子们在向机器人展示时不会弯腰他们的手），也许重做实现并将文本放在一些地方然后是对比框，例如红色；旋转图片等

好吧，如果我们在下一个学年继续该项目（我想），我想制作一本俄英词典，也许是对象词典，也许还有其他东西。与NAO无关。

代码，没有最新版本，您可以在此处观看和责骂。最新版本也将出现在此处，但是稍后，我们正在研究错误。

文学和设备

- NAO机器人
-的MacBook Pro
- Tesserwrap
- OpenCV的Python的
-计算器