软件２０１２年第３３卷第３期 Ｓ０ＦＴＷＡＲＥ 国际ＩＴ传媒品牌 基于多音轨ＭＩＤＩ主旋律提取的音乐可视化表达 孙博文 张艳鹏 赵振国 高超 孟繁博 （１．哈尔滨理工大学计算中心，哈尔滨１５００８０Ｉ ２．哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０ｌ ３．哈尔滨理工大学应用科学学院，哈尔滨１５００８０；４．哈尔滨理工大学电气学院，哈尔滨１５００８０） 摘要：本文以ＭＩＤＩ音乐为研究对象，以表达音乐主旨为前提，提出了一种基于主旋律提取的音乐可视化表达方法。通过对 ＭＩＤＩ文件的特征识别，构造音乐主旋律的提取方法，并将提取出来的主旋律作为音乐视觉表现的主要对象，而其他非主旋律的音乐 元素淡化辅助表示，从而实现更加准确表达音乐核心之目的，以达到更好的视听效果。 关键词：音乐可视化；ＭＩＤＩ音乐；音乐特征提取；主旋律提取 中图分类号：ＴＰ３９１ 文献标识码：Ａ ＤＯＩ：１０．３９６９￣．ｉｓｓｎ．１００３—６９７０．２０１２．０３．０１９ Ｍｕｓｉｃ Ａｕｔｏｍａｔｉｃ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ａｐｐｒｏａｃｈ Ｂａｓｅｄ ｏｎ Ｆｒａｃｔａｌ Ｄｉｍｅｎｓｉｏｎ ＳＵＮ Ｂｏ—ｗｅｎ ，ＺＨＡＮＧ Ｙａｎ．ｐｅｎｇ ，ＺＨＡＯ Ｚｈｅｎ．ｇｕｏ ，ＧＡＯ Ｃｈａｏ ，ＭＥＮＧ Ｆａｎ．ｂｏ （１．Ｃｏｍｐｕｔｉｎｇ Ｃｅｎｔｅｒ，Ｈａｒｂｉｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＳｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ １５００８０； ２．Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＳｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ １ ５００８０； ３．ＡｐｐｌｉｅｄＳｃｉｅｎｃｅ，Ｈａｒｂｉｎ Ｕｎｉｖｅｒｓｉｙｔ ｏｆＳｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ １５００８０；４．Ｅｌｅｃｔｒｉｃ，Ｈａｒｂｉｎ Ｕｎｉｖｅｒｓｉｙｔ ｏｆＳｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ １５００８０） ［Ａｂｓｔｒａｃｔ］Ｔｈｉｓ ａｒｔｉｃｌｅ ｔａｋｅｓ ＭＩｎｉ ｍｕｓｉｃ ａｓ ｒｅｓｅａｒｃｈ ｏｂｊｅｃｔ，ｏｎ ｔｈｅ ｐｒｅｍｉｓｅ ｏｆｅｘｐｒｅｓｓｉｎｇ ｍｕｓｉｃ ｈｅｔｍｅ ａｎｄ ｔｈｅｎ ｐｕｔ ｆｏｒｗａｒｄ ａ ｍｅｔｈ－ ｏｄ ｗｈｉｃｈ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｍｅｌｏｄｙ ｔｏ ｅｘｐｒｅｓｓ ｍｕｓｉｃ ｖｉｓｕａｌｉｚａｔｉｏｎ．Ｔｈｒｏｕｇｈ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ＭＩＤＩ，ｃｒｅａｔｅ ａ ｍｅｔｈｏｄ ｏｆ ｍｅｌｏｄｙ ｅｘｔｒａｃｔｉｏｎ．Ａｎｄ ｔｈｅ ｍｅｌｏｄｙ ｅｘｔｒａｃｔｅｄ ｆｒｏｍ ｍｕｓｉｃ ｒｅｐｒｅｓｅｎｔ ａｓ ａ ｖｉｓｕａｌ ｏｂｊｅｃｔ ｏｆ ｍｕｓｉｃ ｖｉｓｕａｌｉｚａｔｉｏｎ．Ｔｈｅ ｏｔｈｅｒ ｅｌｅｍｅｎｔ ｗｉｌｌ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｌｉｇｈｔｌｙ￣Ｓｏ ａｓ ｔｏ ａｃｈｉｅｖｅ ａ ｍｏｒｅ ａｃｃｕｒａｔｅ ｅｘｐｒｅｓｓｉｏｎ ｍｕｓｉｃ ｃｏｒｅ ｐｕｒｐｏｓｅｓ ａｎｄ ｂｅｔｔｅｒ ａｕｄｉｏ－ｖｉｓｕａｌ ｅｆｆｅｃｔｓ． ［Ｋｅｙ ｗｏｒｄｓ］Ｍｕｓｉｃ ｖｉｓｕａｌｉｚａｔｉｏｎ；ＭＩＤＩ ｍｕｓｉｃ；ＭＩＤＩ’Ｓ ｍｕｓｉｃ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ；ｍｅｌｏｄｙ ｅｘｔｒａｃｔｉｏｎ ０ 引 言 音乐可视化（Ｍｕｓｉｃ Ｖｉｓｕａｌｉｚａｔｉｏｎ）是对音乐表达的一种 非主观的解释和判断，是为理解、分析、比较音乐的表现力和内 部结构提供的一种呈现技术…。它是跨音乐 数字音频、图形 学、图像处理、虚拟现实等领域的又一新的研究方向，在娱乐、 教育、艺术和商业中具有广阔的应用前景。作为一种全新的视 为研究的数据源。 １ 多音轨ＭＩｎｉ文本文档的创建 １．１ ＭＩＤＩ的基本格式 ＭＩＤＩ结构如下图１所示 。具体说明如下： 一个文件头块 多个音轨 听技术，近年来，音乐可视化也引起了科研人员的密切关注。 但是现今的音乐可视化方法多将各音乐元素看成整体进 行统一展示，未能将主旋律与辅旋律区分开来，以至于无法突 出音乐所要表现的主体内容。如：一些音乐中的激烈背景鼓点 块标识 ＭＴｒｋ） 块长度 块标识｛ＭＴｒｄ） 块长度 格式信息 音乐头 ＭＩＤＩ事伺 可能会掩盖同时出现的主旋律所要表达的可视化内容。 鉴于此，本文提出了一种基于主旋律提取的音乐可视化表 达方法，将音乐主旋律提取并进行突出可视化显示，同时辅以 音乐的辅助旋律进行背景淡化显示。 金毅等人通过研究指出 ：从自然声音文件中提取旋律特 征的处理过程复杂、难度高，精确度差。而结构化声音ＭＩＤＩ， 其构造方式是以音乐元素的组织结构为基础的，所以为音乐特 征的自动识别提供了极大的方便，因此本文选取ＭＩＤＩ乐曲作 通道信息 系统信息 通道模 通道声 系统一 系统实 系统专 式信息 音信息 般信息 用信息 用信息 图ｌ ＭＩＤＩ音乐格式 （１）文件头： 十六进制代码为：４ｄ ５４ ６８ ６４ｌ ００ ｏ０ ｏ０ ０６Ｉ ｆｆ ｆｆ ｎｎ ｎｎＩ ｄｄ ｄｄ，其中： 基金项目：全国大学生创新实验资助编号：（１０１０２１４３４） 作者简介：孙博文（１９６３－），男，哈尔滨理工大学计算中心，副教授，音乐可视化及分形理论，ｓｕｎｂｏｗｅｎ＠ｈｒｂｕｓｔ．ｅｄｕ．ＣＤＩ张艳鹏（１９８７－），男，哈尔滨 理工大学计算机学院研究生，音乐可视化，ｙａｎｐｅｎｇ８７３＠１６３．ｃｏｒｎ。 软件杂志欢迎推荐投稿：ｈｔｔｐ：／／ｗｗｗ．ｃｃｏｍｓｏｆ１．ｃｏｒｎ／ ・６４ 软件 （您的文章得到院士的关注） 孙博文等：基于多音轨ＭＩＤＩ主旋律提取的音乐可视化表达 （４）再下一行为音乐具体特征：如第二个字符１．２２０为音符 开始时间，第三个字符Ｅ２代表音高，第四个字符Ｖ１２７代表音 符力度值，第五个字符代表音符持续时间，第六个字符代表音 色。 ・４ｄ ５４ ６８ ６４：前四个是ＡＳＣＩＩ字符“ＭＴｈｄ”是用来 鉴别是否ＭＩＤＩ文件。 ・００ ００ ００ ０６：指明文件头描述部分的字节数，它一定是６。 ・ｆｆ ｆｆ：文件的格式，有３种格式：０——单轨；１——多轨， 同步；２——多轨，异步。 ・ｎｎ ｎｎ：ＭＩＤＩ文件中的轨道数。（注：ＭＩＤＩ的数据是由 若干个格式相同的子数据构成的，这些子数据在多音轨的格式 中记录了一个轨道的所有信息。多加一个音轨，就把数据追加 在前一音轨的后面就可以了，同时更改此数据）。 ・ｄｄ ｄｄ：每个４分音符ｄｅｌｔａ－ｔｉｍｅ节奏数。 （２）轨道块（数据描述） 全局音轨：包括歌曲的附加信息（比如标题和版权）、歌曲 速度和系统码（Ｓｙｓｘ）等内容。音符音轨：包含音符信息的音轨。 ・４Ｄ ５４ ７２ ６Ｂ：不管是全局音轨还是含有音符的音轨， 它其实是ＡＳＣＩＩ字符“ＭＴｒｋ”。 ・ＸＸ ＸＸ ＸＸ ＸＸ：其后跟着一个４个字节的整数，它标志 图３ ＭＩＤＩ音乐特征文本 了该轨道的字节数，这不包括前面的４个字节和本身的４个字节。 ・数据：接着是记录数据的地方了，每一个数据有着相同 的结构：时间差＋事件。 ３多音轨ＭＩＤＩ的主旋律提取 采用ＭＩＤＩ音乐文件作为数据源，但ＭＩＤＩ文件几乎都是 多音轨的，而且主旋律通常就隐藏在其中的某些音轨或音轨片 段中 ，所以必须先对ＭＩＤＩ文件进行音轨分解，得出主旋律音 轨才能为其所用。 １．２文本文档创建 为了便于提取ＭＩＤＩ的音乐特征，需要根据ＭＩＤＩ基本格 式将二进制ＭＩＤＩ文件编译成为十进制文本文件（不破坏ＭＩＤＩ 结构）。其基本原理是：将每８位二进制位对应一个十进制数， 逐个翻译。图２为乐曲（（Ｃａｎｏｎ｝｝的十进制文本文件： 本文采用文献［６］提出的基于Ｈ—Ｋ算法的ＭＩＤＩ音乐主 旋律提取方法来提取ＭＩＤＩ主旋律。Ｈ—Ｋ算法针对两类或多 类分类问题，在特征空间中寻找一个最优的超平面作为两类的 分割平面川。此方法具有有效性及可行性，并且计算简单，易于 实现，对于主旋律分布于一个音轨上的ＭＩＤＩ音乐有很高的准 确性。具体做法如下： （１）根据文献［６］提供的公式从ＭＩＤＩ文件中计算并提取 相应特征，包括：左右声道平衡度，音量，音长，力度，音高，音 程。 （２）Ｈ—Ｋ算法的主旋律提取： ①应用文献［８】中提到的一些基本的主旋律判别方法排除 一下明显不是主旋律的音轨，这样做可以提高算法的准确性。 ②由左右声道平衡度、音量、音长、力度、音高和音程构 成一个６维特征空间，音乐特征矢量ｘ－－（ｘｌ， ２， ， ４， ５，ｘ６） ２多音轨ＭＩＤＩ特征提取 基于上节所述ＭＩＤＩ音乐结构特征规则标记，从已经转译 的十进制文本文件中提取出各个音轨信息，包括：节拍，开始时 间，音高，力度，持续时间，音色。构建ＭＩＤＩ音乐特征文本。图 ３为ＭＩＤＩ音乐特征文本。说明如下： （１）第一行为这首音乐每节的单元数。 （２）第二行为第一音轨开始标记。 对应于特征空间中的一个点，运用已知的样本进行学习产生 一个最优超平面ｄ（ｘ）－－ＷｏＸ＋Ｗ －０，将特征空间划分成两个子 区域，使不同模式类分布在不同的子区域中并将特征量符号 规范化得到特征量增广矩阵Ｘ，引入Ｎ维余矢量ｂ＞Ｏ，于是 不等式方程组变为：ｗ ≥ｂ＞Ｏ。使用平方误差标准函数： ． ２ Ｊ（ｗ，ｂ） Ｉｌｗｏ’ —ｂＩ ∑（ 薯一 ）＝＝＞ｍｉｎＨ—Ｋ算法将准则 ｌ 函数 十）视作Ｗ和ｂ的函数，在迭代过程中不断修正ｗ并调整 ６，最终求得准则函数Ｊ关于Ｗ和ｂ的极小值点，作为判断主旋 律音轨的依据。 （３）第三行开始分节拍显示，Ｍ００１代表第一节拍，后边的 １／２代表１／２拍。 软件杂志欢迎推荐投稿：ｈｔｔｐ：／／ｗｗｗ．ｃｃｏｍｓｏｆｔ．ｃｏｍ／
