您现在的位置:首页>学事荟萃>学子

曾志广:用计算机视觉技术研制“虚拟爵士鼓”

字体: 2018年10月23日 浏览量: 来源: 暨南大学新闻社 作者: 文/杨锦英 吴臻伟 发布:新闻中心

一台电脑,一对特制的鼓槌,一系列虚空中的敲击动作,流畅的鼓点倾泻出来。看起来是一个魔术表演现场,但其实这“魔术”的实体,是理工学院2016级应用物理学的学生曾志广研发的虚拟架子鼓。虚拟爵士鼓通过摄像头读取演奏者的动作,然后通过计算机模拟音频来实现爵士鼓演奏的模拟。

(曾志广在演示“虚拟架子鼓”的操作)

曾志广玩爵士鼓已经5年了。实际产生喜好要追溯到初中时期,但直到高中,他加入学校的乐队,才购置了自己的第一架鼓。“当时也是一时冲动”,曾志广玩笑地评论自己学鼓的初衷——但这股冲动不只是三分钟的热度,五年,他从单纯玩鼓到想要研发出新式的爵士鼓,到最后做出一定的成果,心中始终不变的是对爵士鼓的热情。

高中加入乐队后,曾志广不时随乐队在校内进行演出,在练习和登台表演时,他感受到传统爵士鼓体积太大、噪音严重等限制带来的不便。上大学之后,由于宿舍空间有限,曾志广自己的爵士鼓只能放在家里,玩鼓更加不方便了。而在跟师兄一起做一个基于计算机视觉技术的项目时,曾志广灵机一动:能不能应用计算机视觉技术,将传统的爵士鼓用一种不同的交互方式演奏出来呢?研发一款“虚拟架子鼓”的灵感就此萌生。

(操作“虚拟架子鼓”所用的特制鼓槌)

他跟身边的人分享了自己的想法。“虚拟架子鼓”这个新颖的点子引起了曾志广一些同学的兴趣,很快他们就组建起了自己的研发小团队。曾志广的指导老师在计算机视觉技术这方面具有丰富的经验,听了他的想法,觉得这个项目可行,也鼓励他放手去做。

于是曾志广下定决心,在理工学院的创新工作室申请了这个项目。但是要将想法化为现实总是不会一帆风顺的。首先曾志广遇到的困难是专业知识的不足。虽然在跟随师兄做项目时他已经打下了一定的基础,但具体的专业领域对他来说仍是一片空白。为了拓展自己的专业性知识,曾志广在大一下学期就选修了大三的C++课程,又利用大一暑假的时间自学了OpenCV等开放工具的基础。

曾志广(左二)及其团队参加“赢在创新”创业比赛

打好了理论知识的基础,曾志广和他的团队开始尝试在计算机上进行“虚拟架子鼓”软件的开发。由于这一领域的创新性,可借鉴的开发经验不多,一开始曾志广也经历了一段时间的迷茫。但他没有气馁,而是每周向指导老师请教研发中遇到的问题,并且不断优化算法。经过接近一年的努力,曾志广团队克服了计算机对人脚动作捕捉的不足、初始鼓槌识别难度大的缺乏等问题,制作出了“虚拟爵士鼓”的初代品。初代品已经能够实现虚拟爵士鼓的基本功能——只要用特制鼓槌在虚空中的相应位置击打,电脑就能即时传出鼓声。

但曾志广并不满足于目前的成果,如何优化击鼓时人手的震动感,提升使用体验,仍然是他们探索的方向。这个刚起步一年的项目,还有很长的路要走。

说到对产品未来的畅想,曾志广表示,首先希望做出一款让所有人都能“方便地玩的产品”。在此基础上,“也希望我们的产品推广到音乐院校去,应用到爵士鼓教育当中。”

(暨南大学新闻社 文/杨锦英 吴臻伟 )

请选择您看到这篇新闻时的心情
感动 同情 无聊 愤怒 搞笑 难过 高兴 路过
我来说两句
暨南微信 暨南微信