自制世界杯点球机(AI教你20秒制作世界杯“短视频新闻”)

自制世界杯点球机(AI教你20秒制作世界杯“短视频新闻”)

自制世界杯点球机(AI教你20秒制作世界杯“短视频新闻”)

今日新华社发布了媒体大脑2.0“MAGIC”智能生产平台,其名有两层含义,除了魔法的音译,还源于“MGC”(机器生产内容)和“AI”(人工智能)的组合。

该平台由媒体人工智能公司「新华智云」独立研发,此次上线后将首次用于俄罗斯足球世界杯的报道中。预计整个赛事周期中,可根据内容生产的主题、标签定义,根据赛事信息每天生产1万条短视频新闻内容(最大产能)。

新华智云成立于2017年6月,由新华社和阿里巴巴合资成立,启动资金达10亿元。联席CEO傅丕毅、徐常亮,就以下几点问题为我们进行了解答:

1、媒体大脑可以智能生成稿件么?它能为内容生产者提供哪些服务?

2、媒体大脑从1.0到2.0,有哪些技术、功能提升?

3、有哪些前沿科技作支撑?

MAGIC生成的带球轨迹分析

傅丕毅表示,新华社一直在探索媒体和前沿科技的结合点,新华智云就像探索无人区的先头兵,“我们要看看,AI能带领媒体走向什么新的边界”。在傅丕毅眼中,MGC是要帮助内容生产者占有、高效调用更多的新闻资源(包括新闻事件本身,以及事件相关信息的筛选,此前类似事件的影响及分析等),帮助内容创作者足够高效地定向产出视频、音频、图片、文字等形式的价值新闻。

新华智云团队认为,AI时代内容生产基础设施将以大数据处理技术、智能算法技术和人机协作技术为核心,包括智能数据工坊、智能媒资平台、智能生产引擎、智能主题集市等四大智能系统:

  • 智能数据工坊,即大数据处理平台,将新闻内容数据化,对大数据进行清晰和结构化,方便后续的数据抓取。
  • 智能媒资平台,把结构化的数据进行颗粒化,切分成小单元存储起来,形成资源平台。以世界杯为例,一场球赛的实况视频内容,将被切分为进球、传球、带球过人等多组镜头,进行标签化存储。
  • 智能生产引擎,主要功能是从媒资库调取内容、渲染、配音合成出一条视频内容,根据内容生产者的主题需求,将涉及到的所有关键要素,从智能媒资平台中抽取出来,按照动因关系、调度逻辑等,进行顺序排列。
  • 基于k8s,智能生产功能的服务性和扩展性从1.0到2.0有了不小的提升,目前最大可调度节点有2千多个,形象得来说就是,一条3分钟的短视频,自动生成时间不会超过20秒,且MAGIC平台目前能同时生产1万条作品。
  • 智能主题集市,更前端的一项产品,供内容生产者下任务、定制短视频。据徐常亮介绍,借助阿里云的弹性支持,媒体大脑从1.0到2.0算力扩大了几个数量级,当初只能处理10路视频,现在可同时处理2千个视频。

关于背后的一些技术实现,徐常亮介绍,经过一年多的产品研发,通过不断的训练机器进行视频追踪、深度学习、视频工程的二维三维映射,以及知识图谱的构建,目前MAGIC在命名实体识别(NER)的时候,CRF(随机场算法)做到93-94%准确率、基于深度学习的融合算法做到97%的准确率。

也正是基于这些技术实现,才能够能够准确识别球队、球员、射门等动作和指令,当你在前端网页输入“梅西进球集锦”、“巴西队点球破门”字样,系统才能准确的从媒资库中抓取对应信息,按照一定顺序将片段化的数据合成为一条渲染过的、有配乐、有解说的短视频,而且产出速度足够快、可承载并行运算量足够大。

新华智云表示,媒体大脑平台已入驻了十余家官方媒体,部分定制化功能需要付费使用,但2.0的MAGIC现阶段将提供给内容生产者免费使用。

此外,从此次发布的视频来看,仅有拖着彗星长尾的行动轨迹,及人体骨骼动图,对于大众对「AI 球赛解读」的预期而言还有很大差距。新华智云表示此次发布媒体大脑2.0仅仅是推开了视频新闻智能生产的一道门,此后怎么叠加对视频内容的抓取分析纬度,以及添加特效、优化内容质感等方面还有很大提升空间。

联席CEO傅丕毅,高级记者,前新华社浙江分社副总编辑,采访报道过汶川地震、吴英案等一系列新闻事件,80余篇稿件受到中央领导批示,产生重大影响。

联席CEO徐常亮,阿里巴巴大数据平台ODPS(即MaxCompute)、机器学习平台PAI创始人,阿里云大数据业务第一任总经理,一站式大数据开发平台——数加平台第一任掌门人。曾在纽约时报负责新闻标签化与搜索。