研究人员开发出AI模型,可识别葡萄园图像中的藤蔓枝条,交并比达88.25%
该系统在冬季葡萄园测试中优于成熟的图像分割工具,为提高机器人冬季修剪的一致性迈进一步
2026年11月14日星期六
一支农业工程师团队开发出一种人工智能系统,能够从复杂的葡萄园图像中分离出葡萄藤主干和待修剪枝条。这项研究发表于《Smart Agricultural Technology》,并于11月13日(周五)对外介绍,研究聚焦于计算机视觉,而非一台完整的自主修剪机器。这项成果有望助力未来的机器人更稳定地完成冬季修剪。
修剪是葡萄园最重要的日常作业之一,有助于控制植株生长、果实产量和葡萄藤长势,并最终影响葡萄品质。在许多葡萄种植区,这项工作仍高度依赖熟练的田间工人。因此,修剪成本高、耗时长,也难以在大型葡萄园中实现标准化,劳动力短缺时尤其如此。修剪是葡萄生产商的一项主要成本;如果这项技术能在商业葡萄园中证明可靠性,更完善的自动化最终可能对葡萄酒行业产生重要影响。
这款新模型名为Dual-branch Transformer-Mamba Fusion Network,简称DTMF。它旨在识别休眠期户外图像中的木质藤蔓结构,此时葡萄藤已落叶,正待冬季修剪。这项任务看似范围有限,却针对葡萄园机器人面临的一项基本障碍:如果机器无法先区分葡萄藤、应当修剪的枝条和周围背景,就无法确定切割位置。
背景往往难以通过软件解读。细枝可能与棚架钢丝、土壤、杂草及其他视觉干扰融为一体。研究人员表示,标准图像分割系统往往难以同时捕捉葡萄藤的整体形态,以及细长枝条边缘的精细细节。为此,他们设计了一套双分支系统。网络的一条分支分析整体场景和图像中的远距离关系,另一条则聚焦于精细纹理、边缘和频率模式,这些信息有助于描绘狭窄的木质结构。
从技术上看,该模型结合了视觉Transformer、离散小波变换和Mamba状态空间模块。Transformer部分旨在捕捉整幅图像的全局背景信息;小波和Mamba部分则用于保留细小结构细节及细枝的连续性。系统没有过早将两路信息合并,而是在大部分处理过程中将其分开,仅在最后阶段融合预测结果。研究人员还采用了两阶段训练方法:训练初期进行基础像素分类,后期则加强边界细化,其中包括一种基于超像素的损失函数,旨在使预测结果贴合自然物体边缘。
研究团队在中国新疆采集的2,150张高分辨率RGB图像上测试了该系统,图像拍摄于冬季休眠期。其中,1,250张图像于2024年11月在石河子大学试验葡萄园拍摄,另有900张于2024年12月在吐鲁番一处商业生产果园拍摄。研究人员对所有图像进行了像素级人工标注,以标出藤干和枝条。数据集被划分为1,505张训练图像、215张验证图像和430张测试图像。经过数据增强后,实际用于训练的图像数量增至4,515张。
研究显示,完整的DTMF模型在测试集上的平均像素准确率达到94.24%,平均交并比(常用的图像分割指标)达到88.25%。与多个成熟模型对比时,DTMF的表现优于DeepLabV3、PSPNet、FCN、Segformer、U-Net和基于Transformer的U-Net。在枝条识别方面,差距尤为明显;这也是任务中较难的一环,因为枝条更细,更容易与背景混淆。DTMF的枝条交并比达到85.12%,而该类别中表现最好的基准模型为70.13%,相差14.99个百分点。藤干分割表现同样出色,达到87.68%,不过其他现代模型在这一类别上的表现与之更为接近。
研究人员还进行了消融测试,即移除系统的部分组件,以评估各组件的贡献。测试结果表明,双编码器和双解码器结构、小波-Mamba融合模块以及两阶段损失策略均提升了模型性能。仅使用Transformer分支时,模型的平均交并比为71.98%;采用完整设计后,这一数值升至88.25%。在针对训练方法的单独测试中,加入后期阶段监督和超像素约束后,枝条交并比从74.33%提高到85.12%。
论文中的可视化示例显示,在钢丝和不平整土壤等复杂背景下,该模型描绘枝条的结果比对照系统更少出现断裂或遗漏。作者还在其他木本植物的外部图像上测试了该模型。这些演示表明,该方法在结构识别方面或许有更广泛的用途,但论文指出,这些结果仅作示例,并非对模型在葡萄园数据以外的泛化能力进行正式测试。
研究作者谨慎指出,这项工作并不等于提出了一套完整的机器人修剪解决方案。准确的图像分割只是更大问题的一部分。要让修剪机器人真正适用于田间作业,还需要对葡萄藤结构进行三维重建、确定切割点、规划移动路径,并在真实葡萄园环境中控制切割工具。研究人员还表示,该模型的并行架构增加了计算成本,可能会给其在农业机器人搭载的嵌入式硬件上部署带来困难。
论文还指出了其他几项局限。图像仅来自新疆两个地区,且仅采集于冬季休眠期,因此该模型尚未在其他种植区、棚架系统或枝叶繁茂的夏季条件下得到验证。数据集按图像而非单株植株划分,团队也未报告多次训练的结果,因此无法评估不同随机初始化带来的差异。这些局限意味着,强劲的基准测试结果应被视为感知技术取得进展的证据,而非系统已具备大规模商业应用条件的证明。
尽管如此,这项研究为葡萄园自动化指明了一个务实方向。如果未来版本能够提速,并在更多真实场景中得到验证,这种方法有望帮助突破葡萄生产机器人修剪面临的主要技术障碍之一。对于供应葡萄酒及其他葡萄制饮品的葡萄园而言,这最终或可支持更稳定的劳动力规划和更统一的葡萄藤管理,但要实现这一目标,仍取决于田间整合,以及图像分割之外的进一步测试。