绘本在日本古代和近代艺术中占据了重要的位置。绘本中的人物形象、衣着和表情神态无不反映着当时的社会状态、阶层分布和政治环境。在画作众多的属性中，画中人物的表情对于理解画作要表达的历史意义至关重要。其中的丰富信息不仅包含了人物的属性，同时也反映了创作时期的历史进程。科学家们从绘本图片中将人脸区域裁剪出来，并通过历史学家的专业标注为人脸区域提供了准确的元数据（例如性别、社会阶层），并提出了人脸表情集合数据集(Collection of Facial expressions)。

这一数据集使得最新的机器学习技术应用于艺术作品的研究成为可能，但它最早并不是为机器学习任务设计的——其格式、图像尺寸、和属性标注都不符合工业标准。为此基于Collection of Facial expressions数据集，研究人员通过工业化的标准格式构建了易用的数据API——包括多标签标注、规则的图像和易用的格式，同时基于PyTorch和TensorFlow构建了数据加载器，为进一步的研究提供了便利的条件。

针对原始数据，研究人员首先将图像的元数据标签重新组织成了工业标准的格式，使其与现有的机器学习模型更容易集成。由于Collection of Facial expressions中的图像尺寸大小不一，研究人员还对图像的尺寸进行了归一化，最终得到了5552张尺寸为256x256的RGB数据，涵盖了不同艺术风格和属性的人脸，其格式也与ImageNet一致，便于现有的模型对其进行研究。

此外为了便于非监督学习的研究，数据还选择了人物性别（男/女）和社会阶层（贵族/武士/化身/庶民）来作为标签，充分考虑了数据均衡的问题。

基准模型

为了为将来的研究提供比较基准，同时也为了启发更多有意义的人文艺术研究，这一工作中提出了基于监督学习的分类基准模型，同时也利用三种生成模型对数据集进行了艺术探索。

针对分类问题，研究人员利用了视觉识别中常用的模型在KaoKore上进行了训练，在标准的数据增强和Adam优化器的作用下得到了如下表所示的分类结果：

下图显示标准的视觉分类模型可以有效处理这一数据集中的分类结果并达到较高的精度，从上表中可以看出更新更大的模型精度也更高，这与视觉领域的发展状况一致，意味着这一数据集的分类性能在将来可以进一步提升。

艺术源于创造力，而机器学习则为我们的想象力插上了翅膀。为了探索KaoKore在生成艺术领域的应用，研究人员利用了不同的生成模型进行了探索。KaoKore数据集中的人脸包含像脸型和发型一类的相关特征，对这些相关性进行有效建模并风格化存在一定难度。研究人员首先利用StyleGan模型在数据集上进行了训练，而后利用训练好的生成模型输出类似的图像。

下图显示了基于StyleGan训练后生成的图像结果，表明模型已经成功地捕捉了数据中丰富的多样性特征。

基于StyleGan训练后生成的图像结果（点击大图更清晰）

在人类画家作画的过程中，不是像生成模型一样直接生成所有的像素，而是利用画笔一笔一画地按照一定顺序绘制出最终的画面。为了合成出更为逼真的画作，研究人员利用了Stroke-based rendering的方法来序列化生成最终的艺术图像。首先采用了Intrinsic style transfer的方法来可差分的近似了绘图参数，在对抗训练后使得模型可以学会重新创作出序列的绘画。

在少量的图像样本下，模型可以将画作分解为一系列笔画，并学习人类的绘画方式将其顺序组合起来构建出最终的绘制结果。

在所有步骤完成后得到的图像结果与第一行原始参考图像的比较

此外研究人员来利用了Learning to paint方法来学习生成画作，它的不同在于利用二次贝塞尔曲线构成的区域来作为绘画的基本元素而不是前一种方法的线条。他的绘画序列是一系列区域的顺序组合，学习如何将区域组合起来重新创作出图像。

基于learning to paint实现的绘画过程，其特点在于通过一系列区域的组合来重建出最终的结果

下图上半部分为intrinsic style transfer方法下半部分为learning to paint方法得到的完整结果，可以看到第一种基于线条的方法方法得到的图像背景更为清晰，线条更细；第二种基于区域组合的方法背景与原图更为相似，但是在细节区域存在模糊。

这一数据集和对应的基准模型将为人类学、历史学、艺术历史等方面提供新的解决方案，同时架起机器学习领域与人文领域的研究桥梁。未来研究人员将会收集更大范围和属性更广的数据集，在多学科的努力下为文化传承和社会研究做成更大的贡献。

如果想要了解更多详细的数据请参看：

paper:https://arxiv.org/abs/2002.08595
code:https://github.com/rois-codh/kaokore

ref:

http://codh.rois.ac.jp/index.html.en

http://geoshape.ex.nii.ac.jp

http://agora.ex.nii.ac.jp/GeoNLP/

北本研究室：http://agora.ex.nii.ac.jp

https://sc.ddbj.nig.ac.jp/ja

http://agora.ex.nii.ac.jp/~kitamoto/