设计智能与数字创意内容生产
作者：孙凌云 教授 （浙江大学国际设计研究院副院长）杨智渊 （浙江大学2012级数字化艺术与设计博士 ）
根据第八届中国智能产业高峰论坛（成都，2018年11月）智能创意与数字艺术专题论坛报告整理
人工智能的迅速发展给数字创意领域带来了巨大的影响。以设计智能和数字创意内容生产为代表的研究和应用正迅速发展。这一报告将和大家分享：设计与人工智能的关系和挑战，浙江大学与阿里巴巴的合作实践，以及我们的愿景和可能性。
>>>>设计与人工智能的关系和挑战 <<<<
（1）设计与人工智能的关系
设计和人工智能都是当下的热门领域，新问题、新方法层出不穷。我国既发布了创新设计的发展规划，同时也在大力推动新一代人工智能的发展。那么，设计与人工智能，或者说，设计师与计算机应该是什么样的关系？
首先，计算机可以是设计师的仆人。以“抠图”为例，从原始平面素材中提取需要的设计素材，是许多平面设计师最基本、最常见、最耗时的工作内容。今天很多图像处理软件正努力提升其抠图能力，以便大幅降低设计师抠图的工作量。在这个例子中，计算机可以快速、方便地替设计师完成一些规则明确的、机械性的工作，计算机是设计师的仆人。
第二，计算机可以是设计师的助理。例如，设计师完成一个横幅广告的设计，计算机在保持设计风格、设计语言的基础上，自动适应不同场景的使用需求进行适配性设计。也就是说，当设计师明确设计规则后，计算机可以大批量地执行设计任务。计算机的介入可以极大地减轻设计师的这种低创造性的适配性工作。这个时候，计算机就是设计师的助理。
其三，设计师与计算机可以是学徒关系。正如同导师指导研究生，导师是希望这个学生在一定的训练之后，能够有自己的想法，提出自己的研究问题。当计算机作为助理时，设计师并不期望计算机能完成太多创造性的工作；但作为学徒时，设计师希望计算机能完成一定的创造性工作，例如计算机在经过若干次的学习之后，能沿着设计师的风格，继续去创造一个全新的设计。
第四，设计师和计算机可以是合伙人关系。在这种关系里，设计师能够让计算机学习到新的设计知识和经验，计算机也能够给设计师提供启发，这是一种良性的、发展性的关系。
上述四种关系呈现了设计智能不同的发展方向，也是计算机对设计的不同介入程度和影响方式。四种关系并无高下之分。设计过程中，设计师既需要值得信赖的仆人、可靠的助理、聪明的学徒，也需要有能力的合伙人。
（2）设计智能的挑战
人工智能在解决设计问题时有很多挑战。传统人工智能最擅长解决的是推理、分类、证明、聚类这些目标明确、规则清晰的问题。但设计，尤其是创意设计，却是一个从头模糊到尾的不良问题，存在问题定义不清晰、求解路径不确定、评价标准不明确等特点。举例来说，一个计算机问题经常有非常明确的输入和输出，关注的是求解的过程；但设计问题往往是定义非常模糊的，设计师需要花很长的时间去发现和定义具体问题，要不断地发散和收敛，从而将问题固化下来，这个过程常常没有具体规则。设计具有预测未来、开放多解、结构不良的特征，而这些特征恰恰都是计算机并不擅长解决的。
设计思维有三个特征。首先，设计思维是跨媒体知识加工的过程。设计师会通过画草图、搜索案例等来寻找灵感，也会被某一种感官刺激所激发，例如一种新奇的嗅觉感受等，对于计算机而言，这种多通道的知识搜索与加工，是典型的跨媒体知识加工的过程。其次，设计思维是问题方案共进的。设计师提出了某个方案，但这并不意味着结束，设计师很有可能会通过这个方案引出新的问题，循环往复。问题到方案，方案到问题，问题到问题，方案到方案，这些循环链路导致问题和方案空间都在不断发生变化。最后，整个设计过程是发散和收敛并重的。设计最终是需要收敛成一个结果的，但在这个结果出现之前，设计时而发散，时而收敛，总体上呈现先发散后收敛的特性。
由此可见，人工智能擅长解决的问题与设计问题的特征存在着冲突，如何通过人工智能解决设计问题面临着很多挑战。
>>>>设计智能的研发实例 <<<<
浙江大学与阿里巴巴合作成立了智能、设计、体验与审美联合实验室，即：IDEA Lab。IDEA Lab围绕设计智能和数字创意开展了一些研究与实践。
实例一：平面广告自动化设计。阿里每天有百万级的广告分发与投放需求，需要在淘宝、百度、谷歌等不同平台、移动应用首页、侧栏等不同位置投放不同内容和尺寸的广告。另外，阿里希望做到“千人千面”，即每个用户打开应用，都会根据用户的偏好与历史记录，推送不同的商品，投放不同的广告。这是很大的设计挑战。广告设计的量级变得非常庞大，不仅需要为不同产品、不同尺寸、不同场景设计不同的广告；甚至同一产品也要设计不同风格的广告以适应不同人群。这些电商平面广告的视觉设计常常并没有太高的设计门槛，并不需要设计大师或者艺术家级的设计能力；同时，这些电商平面广告的生存周期很低，常常只有几天甚至几个小时。这是海量低值易耗的设计场景。传统模式需要建立一个庞大的视觉设计团队。随着人工智能的不断进步，我们在思索能否通过计算机或者人工智能的方法去解决这个问题。
IDEA Lab针对上述问题开展了一些基础支撑算法的研究。首先，配色和布局是平面设计的两个关键影响因素。自动配色问题可以采用数据挖掘加深度学习的方式来解决。通过搜集大量的广告设计数据，建立平面广告数据库，分析广告图中的背景、前景、产品、标题等的色彩，根据品牌风格、应用场景、针对人群挖掘不同的配色规律，从而对广告设计进行配色推荐以及色彩转移。针对布局也做了类似的工作，实现对广告布局的学习进而自动排版。其次，还进行了广告风格识别的研究。广告风格是影响用户感知的重要通道，实现个性化设计与推荐的基础。根据不同的人群推荐不同风格的广告，可以增强广告效果。此外，还研究了计算机的设计评价能力，基于对设计规则如平衡、留白等的量化，实现广告审美计算。
在这些基础算法的积累基础上，IDEA Lab与阿里合作开发了广告自动生成系统AUTOLAYOUT。在这个系统中，输入产品图和文案，即可自动生成一张广告图，还可通过切换风格来调整布局和色彩。
再例如AI赋能的设计辅助系统AI.DESIGN，通过计算机与设计师的共同协作，半自动地生成广告。
以及AI协同创作系统AI Painting,可以将用户涂鸦转换成IP动画作品，丰富和延展IP的内容边界。
这些工作给平面广告自动化设计提供了原子级的能力。这类智能设计的推广应用引发了社会的关注，很多人都在讨论人工智能会不会取代设计师，或者人工智能会不会减弱设计师的价值？事实上，一方面，人工智能的创新能力受限于设计数据的规模和质量，其设计质量还有很大的长大空间；另一方面，即使人工智能不断加强设计能力，提高设计质量，也无法取代设计师的创新能力。设计智能的工作是要将设计师从繁琐、机械化的工作中解放出来，从而有时间、有精力去做更有创造力、更有价值的工作。
实例二：在平面设计中加入时间维度，即视频设计。视频，尤其是短视频，极大地吸引着年轻用户的兴趣，抖音、快手这些产品的流行印证了这一点。现在，电商网站上的商品介绍也越来越多地采用视频的方式。阿里的数据表明，视频广告的转化率要远高于平面广告。但是目前在阿里的各个平台中，商品的视频广告占比依旧比较低，并且商家的视频广告制作成本高。将商品详情转化为高质量的短视频是当前要解决的问题。IDEA Lab与阿里合作开发了短视频智能设计系统，Alibaba Wood。在双十一期间，Alibaba Wood为森马、BALABALA等品牌商家提供了短视频智能设计服务。根据阿里的数据反馈，Alibaba Wood降低了品牌90%的制作成本，提高了46.5%的成交转化率，带来了立竿见影的效果。
短视频智能设计系统的研发中存在很多有趣的研究点。短视频设计并不是简单的平面设计加动效。例如视频画面的运镜问题，同样的产品采用不同的运镜方式带给人的感受各不相同。这些运镜规律最终都会体现在短视频的算法设计中。另外，视频镜头间的剪辑手法、音画间的联觉，都是值得深入研究的内容。
>>>>愿景和可能性 <<<<
在平面智能设计问题上，阿里提出一个平面智能设计循环的构想，通过建立设计、商品、素材等数据库，支持人工智能进行设计解读和机器学习，从而完成图像生成并进行业务应用；人工智能还可以进行创意监控和评价，根据广告分发后的效果来优化算法机制，重新调整图像生成，进而改善业务应用效果，形成一个设计-投放-反馈的完整循环。
这一构想呈现了我们对AI赋能的设计新范式的理解与愿景。在传统的设计范式里，设计是沟通用户与产品的桥梁，是用户-设计-产品这条链路中的一个节点。设计师的任务是将完成的设计交付给生产或开发环节，所有的工作都在设计这一节点内部中循环。在设计领域，研究人员不断地扩展这一节点，通过构建设计模型，比如斯坦福D.school的design thinking模型、Google的design sprint等，指导设计师理解用户、定义问题、原型设计、用户测试等，并循环往复地发散和收敛。这些设计模型和方法很大程度上影响了设计教育界、研究界和产业界。因此，传统的设计过程可以抽象成一条从用户研究到功能和形式设计，最终构建产品的设计链路。
但是，人工智能赋能的新技术正在改变传统设计过程。我们可以从以下三个维度来观察这些正在发生的变化。
首先是体验计算的能力。以用户为中心是设计的核心，传统用户研究方法都是设计师通过模拟或抽样目标用户，构建扁平的、主观的用户画像；而以体验计算为代表的新技术则可以支持系统实时计算每个用户的交互体验，支持设计师触达每个立体的、真实的用户。例如传统的用户测试需要邀请用户通过心理学的实验方法和手段进行测量与评价；但在人工智能的支持下，用户测试在线上可以通过采集行为与交互数据、在线下可以通过普通的摄像头捕捉用户情绪，分析用户的真实反馈。再比如情感计算在新零售场景中的应用。用户进入无人店，或者操作语音自助点单机时，摄像头不仅能够识别用户身份，也能根据用户的面部表情、肢体语言、语音情绪等判断情感状态，预测购买意图，并给予相应的反馈，如是否需要帮助等。这些新技术可以支持设计师对用户进行深入挖掘与分析，影响产品的功能、形态等，提升用户体验。
其次是感知增强的能力。例如IDEA Lab许威威教授团队将一张照片转换成立体视觉效果；巫英才研究员团队将商品详情中的复杂数据通过可视化的方式呈现。这些能力从用户视觉感知角度出发，为用户提供多通道、多媒介、多维度的感知增强方法，并且可以根据用户偏好进行切换。
最后是设计智能的能力。例如前文介绍的平面广告、短视频的智能设计，以及背景音乐的自动生成，根据短视频内容匹配音乐素材，并生成合适的背景音乐以提供统一的视听感受。
综上所述，针对用户有体验计算能力，针对信息传达有感知增强能力，针对内容生成有设计智能能力，这有什么启发？以短视频设计为例，可以通过传统方法把商品详情转化成短视频，完成设计任务。但人工智能带来更多地可能性。系统可以根据用户的观看体验与反馈，知道用户的兴趣点、视频特效偏好等，为该用户或同类用户实时生成合适的视频。在这个循环里，体验计算、感知增强、智能设计的能力贯穿其中。人工智能也可以赋能实体产品设计。例如浙大工业设计本科生团队的设计作品：“玩具收纳箱”，第一代版本的功能特点是小朋友将玩具放回收纳箱，收纳箱会产生反馈：发出“打个饱嗝”的音效。这类设计仅能短暂维持小朋友的兴趣。第二代版本：人工智能赋能的玩具收纳箱，通过检测小朋友对声音反馈的兴趣度，不断生成和输出不同的反馈，以维持小朋友的兴趣。在这个过程中，收纳箱并不是提前预设几种用户、几种声音，而是根据使用过程中用户的反馈实时生成和调整收纳箱的输出。
回到设计过程中，传统的设计过程是通过用户研究，找到部分典型用户构建画像模型，然后根据用户需求设计功能和形式，最终将完成的设计交付给生产或开发环节。至此，设计环节基本完成。但现在，有了人工智能赋能的体验计算、感知增强、设计智能等能力，整个设计过程发生了巨变。设计师不再是通过用户抽样去寻找需求，给出一个解决方案；而是介入到产品的整个生产生命周期中，在用户的实际体验过程中不断地再设计、再优化。所以，人工智能带给设计一种全新愿景。面对这样全新的设计模式，设计不再是产品生产链路中的一个节点，而是成为以用户为中心、人工智能赋能的设计循环中的重要一环，贯穿整个产品生命周期。这个变化给设计教育、设计研究、尤其是背后提供支持的人工智能技术提出了新的挑战。
我们正在数字创意内容生产中实践着这一设计新范式。相信在未来，这个设计新范式也会慢慢影响实体产品设计领域，甚至扩展到更广义的创意设计领域。
页:
[1]