天眼查App显示，3月24日，阿里巴巴达摩院（杭州）科技有限公司申请的“多模态对话方法、装置、设备及存储介质”专利公布。

摘要显示，该公开通过获取与同一问题关联的多模态信息，对多模态信息进行意图识别，得到意图信息，并对多模态信息进行槽位识别，得到一个或多个槽位值。然后，根据意图信息和一个或多个槽位值，生成该多模态信息对应的一个或多个回复信息。该申请使得用户可以通过多种模态信息对同一问题和该问题针对的目标对象进行描述，使得人机对话系统可以从多个模态理解同一问题，并生成一个或多个回复信息，如果是多个回复信息，则多个回复信息的模态不同，从而实现了多模态对话，使得用户和人机对话系统之间的对话方式灵活多样，提高了用户体验。