水产动物疾病症状复杂、扩散迅速，防治高度依赖专业知识，存在四方面障碍：诊疗知识以非结构化文本散落于书籍与网站；大语言模型算力要求高，而养殖场设施薄弱、需本地化部署；单一视觉模态对“异病同症”潜伏期病害存在盲区且样本稀缺；投饲仍以经验判断为主。项目由此构建知识、视觉与声学多模态协同的诊断与感知体系。
1.知识图谱构建与防治措施智能推荐
构建含1051条用户信息、2122条交互记录的数据集，抽取13类疾病特征与8类用户特征，模型结构如图1所示。
图1基于协同指导信号的水产动物疾病防治措施知识感知推荐模型结构
Top-10推荐召回率与归一化折损累计增益分别达94.83%和82.43%，点击率预测AUC与F1值分别达96.43%和75.93%，较KGIN、KGIC、MCCLK等前沿模型全面领先；冷启动疾病占比稳定高于86%，成果已部署于微信小程序。
2.基于MiCoRAG框架的轻量化智能诊疗
针对诊疗依赖专家经验、养殖场软硬件不足、大语言模型在资源受限下专业性下降的问题，提出基于MiCoRAG框架的文本处理方法，如图2所示。
图2基于MiCoRAG框架的鱼病智能诊疗辅助决策系统架构图
该方法在轻量级检索增强生成框架MiniRAG基础上，构建含543个节点、294个关系的鱼病知识图谱作为结构化底座，引入假设文档嵌入（HyDE）作为语义锚点实施协同检索：先由小语言模型生成假设性答案文档，再以其向量检索真实知识，弥合口语化提问与专业表述的语义鸿沟；综合评分59.64分，优于GraphRAG、LightRAG等基线，显存与存储需求显著降低，可在养殖场边缘设备离线运行。
3.病害视觉识别与多模态诊断
针对不同鱼类皮肤病变性状、颜色、大小高度相似导致识别精度偏低的问题，构建涵盖草鱼、鲫鱼、黄颡鱼等品种细菌性疾病的自建数据集，在YOLOv8骨干网络引入EMA注意力机制，并将颈部卷积替换为GSConv降低复杂度，病害识别精度（mAP@50）达88.8%、召回率88.9%，且参数量与计算量反而减少，如图3所示。
图3各模型检测结果对比
面向鱼塘实时监测需求，以YOLO11n为基础实施轻量化改造：骨干卷积替换为GhostConv、C3k2改造为C3k2_LDConv、损失替换为WIoU，mAP@50提升2.2%（梅海彬，2023）。针对单一视觉模态在潜伏期病害中的诊断歧义，提出融合双流数据增强与监督对比学习的小样本视觉模型（ST-SCL），平均F1值达95.81%；进一步引入养殖户巡塘经验的自然语言描述扩充图文配对数据，以跨模态注意力聚焦关键病灶，平均F1值提升至98.18%，并在Android终端集成闭环应用。
1.3.4 摄食强度智能感知与精准投饲支撑
设计基于计算机视觉的摄食强度分类模型，引入时间移位操作实现相邻帧信息交换，并以轴向特征校准模块调整特征，准确率达90.1%。融合声音模态时，静态融合仅提升准确率0.5%却使推理时间增加942.9%，为此提出动态多模态融合策略：由门控网络依据输入特性动态激活专家分支，并以资源损失感知函数权衡算力与精度，如图4所示。
图4动态融合图像和声音双模态的网络模型
动态融合较静态多模态准确率提升2.0%，参数量几乎不增长而推理时间降低11.8%，支撑养殖现场依据实时摄食状态动态调整投饲量。