技术特征：

1.一种皮肤病在线问诊方法，其特征在于，所述方法包括：获取步骤：获取预测样本，所述预测样本包括患处图像和/或历史问诊问题；其中，所述患处图像为当前轮次之前从医生终端接收的，所述历史问诊问题为上一轮次从医生终端接收的；向量化步骤：对所述患处图像和/或所述历史问诊问题进行向量化，得到图像输入向量和/或文本输入向量；预测步骤：将所述图像输入向量和/或所述文本输入向量对应输入到训练好的皮肤病问诊问题推荐模型中进行预测，得到多个待选问题，并推荐至所述医生终端，以使医生可从所述多个待选问题中选择一个作为本轮次问诊问题；循环步骤：依次循环执行所述获取步骤、所述向量化步骤、所述融合步骤和所述预测步骤多次，直到问诊结束。2.根据权利要求1所述的方法，其特征在于，所述皮肤病问诊问题推荐模型是根据下述方法训练得到的：构建皮肤病问诊问题的推荐初始模型，其中，所述皮肤病问诊问题的推荐初始模型包括图像分类子模型、语言表达子模型和问诊问题分类子模型，所述图像分类子模型和所述语言表达子模型分别连接所述问诊问题分类子模型；构建训练数据集，所述训练数据集包含多组训练样本，每组训练样本是根据一次皮肤病问诊对话提取而成，每组训练样本包括多轮次训练数据，每轮次输入数据包括一张患处图片和一个问诊问题；且不同组训练样本的多个轮次训练数据作为一类训练数据，每类训练数据具有相同标签，且每类训练数据中的距离其他问题最近的问诊问题作为对应标签的标准问诊问题；将所述训练数据集输入所述皮肤病问诊问题的推荐初始模型进行训练，得到皮肤病问诊问题的推荐模型。

3.根据权利要求2所述的方法，其特征在于，所述构建训练数据集，包括：对于一次皮肤病问诊对话，对述皮肤病问诊对话进行图文分离，得到至少一张患处图片和多段医患问答文本；对各各段医患问答文本进行过滤，得到多个问诊问题；将所述患者图片与得到的每个问诊问题分别组合，得到多轮次训练数据；对得到的多个问诊问题进行聚类，得到多类问诊问题；基于距离最近原则，从各类问诊问题中选取一个问诊问题作为对应标签的标准问诊问题；对获取的多次皮肤病问诊对话进行处理，得到所述训练数据集。4.根据权利要求2所述的方法，其特征在于，所述将所述训练数据集输入所述皮肤病问诊问题的推荐初始模型进行训练，包括：对于一组训练样本，依次将每组训练样本的多轮次训练数据输入所述皮肤病问诊问题推荐初始模型中；各轮次训练数据中的患处图像进入所述图像分类子模型，以及问诊问题进入所述语言表达子模型，将所述图像分类子模型的输出作为图像输出向量，将所述语言表达子模型的输出作为文本输出向量；

将所述图像输出向量和所述文本输出向量进行融合，得到融合向量；使所述融合向量进入所述问诊问题分类子模型，以对推荐问诊问题的标签的概率值进行预测；根据得到的预测结果，更新所述皮肤病问诊问题推荐初始模型的参数。5.根据权利要求4所述的方法，其特征在于，所述将所述图像输出向量和所述文本输出向量进行融合，得到融合向量，包括：若所述图像输出向量和所述文本输出向量为一维向量；则将所述文本输出向量的各元素按照原始顺序放置到所述图像输出向量的最后一个元素之后，得到融合向量；若所述图像输出向量和所述文本输出向量为矩阵；则根据指定拼接形式，将所述文本输出向量的各元素按照原始顺序放置到所述图像输出向量之后的相应位置上，得到融合向量。6.根据权利要求1～5中任一项所述的方法在线问诊系统，其特征在于，所述图像分类子模型为模型，所述语言表达子模型为bert模型，所述问诊问题分类子模型为mlp模型。7.一种皮肤病在线问诊装置，其特征在于，所述装置包括：获取单元：用于获取预测样本，所述预测样本包括患处图像和/或历史问诊问题；其中，所述患处图像为当前轮次之前从从医生终端接收的，所述历史问诊问题为上一轮次从医生终端接收的；向量化单元：用于对所述患处图像和/或所述历史问诊问题进行向量化，得到图像输入向量和/或文本输入向量；预测单元：用于将所述图像输入向量和/或所述文本输入向量对应输入到训练好的皮肤病问诊问题推荐模型中进行预测，得到多个待选问题，并推荐至所述医生终端，以使医生可从所述多个待选问题中选择一个作为本轮次问诊问题；循环单元：用于依次循环执行所述获取步骤、所述向量化步骤、所述融合步骤和所述预测步骤多次，直到问诊结束。

8.一种皮肤病在线问诊系统，其特征在于，所述系统包括患者终端、医生终端和问诊服务器，所述患者终端和所述医生终端分别通信连接所述问诊服务器，所述问诊服务器部署有权利要求7所述的皮肤病在线问诊装置；所述患者终端，用于响应于问诊图片输入指令以及第一文本输入指令，将对应的内容发送到所述问诊服务器，还用于接收所述问诊服务器转发的问诊问题以及第二文本并展示；所述医生终端，用于响应于问诊问题选择指令以及第二文本输入指令，将对应的内容发送到所述问诊服务器，还用于所述问诊服务器转发的问诊图片以及第一文本并展示。9.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～6所述方法。10.一种计算机可读存储介质在线问诊系统，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～6所述方法。

技术总结

本申请公开了一种皮肤病在线问诊方法、装置、系统、设备及介质，其方法包括：获取预测样本，所述预测样本包括患处图像和/或历史问诊问题；对所述患处图像和/或所述历史问诊问题进行向量化，得到图像输入向量和文本输入向量；将所述图像输入向量和所述文本输入向量对应输入到训练好的皮肤病问诊问题推荐模型中，进行预测，得到多个待选问题，并推荐至所述医生终端，以使医生可从所述多个待选问题中选择一个作为本轮次问诊问题；以及循环步骤，直到问诊结束。本申请能够显著提高医生的在线问诊效率，从而缓解由于在线问诊需求量大造成的提供问诊服务的医生数量不足的问题；且能够有效减少漏诊和误诊，提升在线医疗服务的质量。提升在线医疗服务的质量。提升在线医疗服务的质量。

技术研发人员：唐蕊

受保护的技术使用者：平安科技（深圳）有限公司

技术研发日：2022.06.17

技术公布日：2022/8/26