Исследователи создали модель ИИ, которая распознаёт побеги виноградной лозы на снимках виноградников с точностью IoU 88,25%

Система превзошла известные инструменты сегментации изображений в испытаниях на зимних виноградниках — это шаг к более стабильной роботизированной обрезке

суббота, 14 ноября 2026 г.

Поделиться

Просмотры › 1805

Команда инженеров-аграриев разработала систему искусственного интеллекта, способную выделять стволы виноградной лозы и побеги, подлежащие обрезке, на сложных снимках виноградников. Эта разработка может помочь роботам будущего выполнять зимнюю обрезку более стабильно. Работа опубликована в журнале Smart Agricultural Technology и представлена в пятницу, 13 ноября. Она посвящена компьютерному зрению, а не созданию полностью автономной машины для обрезки.

Обрезка — одна из важнейших регулярных работ на виноградниках. Она помогает контролировать рост растений, урожайность, силу роста лозы и, в конечном счёте, качество винограда. Во многих винодельческих регионах эта работа по-прежнему во многом зависит от квалифицированных полевых бригад. Поэтому она обходится дорого, занимает много времени и её трудно стандартизировать на крупных виноградниках, особенно при нехватке рабочей силы. Поскольку обрезка составляет значительную часть затрат виноградарей, более совершенная автоматизация в перспективе может иметь значение для винодельческого бизнеса, если технология подтвердит свою надёжность в коммерческих хозяйствах.

Новая модель называется Dual-branch Transformer-Mamba Fusion Network, или DTMF. Она предназначена для распознавания одревесневших частей лозы на уличных снимках, сделанных в период зимнего покоя, когда лозы стоят без листьев и готовы к зимней обрезке. Задача может показаться узкоспециализированной, но она связана с одним из основных препятствий для роботизации работ на виноградниках: прежде чем сделать срез, машина должна отличить лозу от побегов, которые нужно обрезать, и от окружающего фона.

Программному обеспечению часто трудно распознать этот фон. Тонкие побеги могут сливаться с проволокой шпалеры, почвой, сорняками и другими визуальными помехами. По словам исследователей, стандартным системам сегментации изображений часто не удаётся одновременно распознать общую форму лозы и мельчайшие детали по краям тонких побегов. Для решения этой проблемы учёные разработали систему с двумя ветвями. Одна анализирует общую сцену и дальние взаимосвязи на изображении, а другая сосредоточена на мелких текстурах, контурах и частотных характеристиках, которые помогают прослеживать тонкие одревесневшие части лозы.

С технической точки зрения модель объединяет визуальный трансформер, дискретное вейвлет-преобразование и модули пространства состояний Mamba. Трансформер предназначен для распознавания общего контекста всего изображения. Вейвлет-преобразование и Mamba помогают сохранять мелкие структурные детали и непрерывность тонких побегов. Вместо того чтобы объединять оба потока на раннем этапе, система обрабатывает их раздельно на большей части процесса и сводит прогнозы только на заключительном этапе. Исследователи также применили двухэтапный метод обучения: сначала модель классифицирует отдельные пиксели, а затем точнее определяет границы объектов. На втором этапе используется функция потерь на основе суперпикселей, призванная согласовать прогнозы с естественными контурами объектов.

Команда испытала систему на 2 150 снимках высокого разрешения в формате RGB, собранных в Синьцзяне, Китай, в период зимнего покоя лозы. В набор данных вошли 1 250 снимков, сделанных в ноябре 2024 года на экспериментальном винограднике Шихэцзыйского университета, и 900 снимков, сделанных в декабре 2024 года в коммерческом производственном саду в Турфане. На всех снимках вручную разметили стволы и побеги на уровне пикселей. Исследователи разделили набор данных на 1 505 обучающих, 215 проверочных и 430 тестовых изображений. После аугментации данных эффективный объём обучающей выборки увеличился до 4 515 снимков.

Согласно исследованию, полная модель DTMF показала среднюю точность классификации пикселей 94,24%, а среднее пересечение по объединению (IoU) — распространённый показатель сегментации — составило 88,25% на тестовой выборке. В сравнении с несколькими известными моделями DTMF превзошла DeepLabV3, PSPNet, FCN, Segformer, U-Net и основанную на трансформере модель U-Net. Особенно велик был разрыв при распознавании побегов — наиболее сложной части задачи, поскольку побеги тоньше и их легче не заметить на фоне окружающей среды. Показатель IoU для побегов у DTMF составил 85,12% против 70,13% у лучшей базовой модели в этой категории, то есть преимущество достигло 14,99 процентного пункта. Результат сегментации стволов также был высоким — 87,68%, хотя в этой категории другие современные модели показали более близкие результаты.

Исследователи также провели абляционные тесты, в которых из системы убирают отдельные компоненты, чтобы определить вклад каждого из них. Результаты показали, что структуру с двумя энкодерами и двумя декодерами, модуль объединения вейвлет-преобразования и Mamba, а также двухэтапную стратегию расчёта функции потерь — всё это улучшало показатели. Среднее пересечение по объединению модели, использовавшей только ветвь трансформера, составило 71,98%. При использовании полной архитектуры оно выросло до 88,25%. В отдельных испытаниях метода обучения добавление супервизии на позднем этапе и ограничений на основе суперпикселей повысило IoU для побегов с 74,33% до 85,12%.

На визуальных примерах в статье модель прослеживала побеги на сложном фоне, например на фоне проволоки и неровной почвы, допуская меньше разрывов и пропусков, чем сравниваемые системы. Авторы также проверили модель на внешних снимках других одревесневших растений. Эти демонстрации показали, что метод может быть полезен и для распознавания других структур, однако в статье подчёркивается, что они носили исключительно иллюстративный характер и не были формальным тестом способности системы работать за пределами данных по виноградникам.

Авторы исследования особо отметили, что эта работа не представляет собой готового решения для роботизированной обрезки. Точная сегментация изображений — лишь одна часть более масштабной задачи. Роботу, готовому к работе в поле, всё ещё потребуется реконструировать структуру лозы в трёх измерениях, определять точки среза, планировать траектории движения и управлять режущим инструментом в реальных условиях виноградника. Исследователи также указали, что параллельная архитектура модели повышает вычислительные затраты, что может затруднить её использование на встроенном оборудовании, устанавливаемом на сельскохозяйственные роботы.

В статье указаны и другие ограничения. Снимки были получены только в двух районах Синьцзяна и только в период зимнего покоя, поэтому модель пока не проверяли в других виноградарских регионах, при других системах шпалер или летом, когда листвы особенно много. Разделение набора данных проводилось на уровне отдельных снимков, а не растений; кроме того, команда не сообщила о повторных запусках обучения, которые позволили бы оценить разброс результатов при разных случайных начальных условиях. Поэтому высокие результаты тестирования следует рассматривать как свидетельство прогресса в области машинного зрения, а не как доказательство готовности системы к широкому коммерческому применению.

Тем не менее эта работа указывает на практическое направление развития автоматизации на виноградниках. Если в будущих версиях удастся повысить скорость работы и провести испытания в более широком спектре реальных условий, такой подход может помочь устранить одно из главных технических препятствий для роботизированной обрезки виноградной лозы. Для виноградников, поставляющих сырьё для вина и других напитков на основе винограда, это в перспективе может способствовать более стабильному планированию трудовых ресурсов и более равномерному уходу за лозами. Однако для этого систему необходимо интегрировать в полевые процессы и испытать за пределами одной лишь сегментации изображений.

Понравилась статья? Поделитесь ею!

Просмотры › 1805