中国高校学者开发全自动漫画生成系统，可基于多种类型视频进行创作

在过去的几年里，计算机科学家创造了大量的计算技术，可以自动生成文本、图像和其他类型的数据。这些模型非常具有优势，特别是对于创建数据或创造性工作来说，这些工作通常需要人力手工生成，且耗时。

中国大连理工大学和香港城市大学的研究人员最近创建了一个创新的框架，可以自动生成漫画书。这些漫画书通常是由高技能的专业艺术家设计的，需要大量的工作。

他们的框架在一篇预发表在arXiv上的论文中提出，这是一个全自动的系统，可以在没有任何人工干预的情况下，从视频中生成一部漫画书。具体来看，可以通过从电视剧、电影、动画或其他视频中提取数据，从而进行创作。

“我们的方法首先通过分析字幕提取出内容丰富的关键帧，并将关键帧格式化为漫画风格的图像。”研究人员在论文中表示。

在从视频中提取关键帧，并将它们转换成漫画风格的图像后，研究人员设计的系统会使用一个多页布局框架，将图像分散到多个页面，并创建视觉上吸引人的布局，反映图像之间的关系。

这些方法可以根据所给定的含有多个句子的故事来生成图像序列。与其他大多数漫画生成框架不同，研究人员创建的框架生成了不同类型的“对话气球”，反映了角色话语所传达的情感，而不是总是使用相同类型的“对话气球”。了做到这一点，它首先试图通过分析视频的音轨和相应的字幕，来把握对话中不同台词所传达的情感。

模型创造的“对话气球”的形状和所包含的单词的大小，会根据角色所表达的情感而变化。这大大改善了整体的漫画阅读体验，创造出更吸引人的布局，反映不同角色之间的对话内容。

系统生成的语音“对话气球”被放置在说话的角色旁边。为了做到这一点，该模型首先检测视频中不同的说话者，然后将与他们表达的情绪一致的“对话气球”放置在他们的附近。

研究人员在一系列实验中评估了他们的系统，评估了它的单个模块，并将它生成的漫画质量，与其他现有的将视频翻译成漫画书的先进技术生成的漫画质量进行了比较。目前，该系统分别从《泰坦尼克号》、《风声》（The Message）、《老友记》和《在云端》这四部电影和系列中提取了16段视频进行剪辑并生成漫画。这些视频时长在2-6分钟之间。

研究小组让一组人评估他们的模型所创作的漫画的整体质量，并将其与另一种漫画生成系统所创作的漫画进行比较。参与这项研究的绝大多数用户表示，与之前开发的系统创建的布局相比，他们更喜欢研究者模型所创建的布局。

译/前瞻经济学人APP资讯组

参考来源：https://techxplore.com/news/2021-02-automatically-comic-movies-videos.html