Настоящий украинский ML: Kernel и MK-Consulting рассказали о большом проекте для агросектора

10 октября 2024 года в Киеве состоялось знаковое мероприятие - семинар DOU AI Meetup, собравший под одной крышей украинских экспертов AI/ML-отрасли, которые рассказали об опыте применения технологий искусственного интеллекта и машинного обучения в Украине. Встреча наглядно продемонстрировала, что мировые технологические тенденции не обходят нашу страну, и, несмотря на войну, корпоративные пользователи, с помощью местных разработчиков и сервис-провайдеров, сумели интегрировать инновационные AI/ML-инструменты в важные бизнес-процессы и производственные цепочки. Наглядным примером является опыт компании Kernel, крупнейшего в Украине производителя и экспортера зерновых, а также лидера мирового рынка подсолнечного масла.

Искусственный интеллект для украинского агросектора

Одним из важных этапов в работе агрокомпании прогноз урожайности. Эти данные используются департаментами логистики, маркетинговым отделом, финансовым департаментом. Однако в распоряжении Kernel – тысячи полей в разных регионах Украины – каждое со своими условиями и особенностями. Различные факторы, такие как погодные условия, вредители, болезни и т.п., могут существенно влиять на конечный результат. Компания Kernel предложила разрешение этой проблемы путем разработки интеллектуальных систем прогнозирования урожайности. Эти системы, работающие сегодня на базе ML-технологий, способны анализировать большие объемы данных, в частности спутниковые снимки, метеорологические данные, данные о почве и другие, для прогнозирования будущего урожая с высокой точностью. Об этом, в частности, рассказал Вадим Литвинов — Head of IT Infrastructure Kernel Digital.

Как ускорить тренировку ML-модели втрое

Детали и этапы реализации проекта раскрыл во время своего доклада Евгений Краснокутский — ML Lead компании MK-Consulting. В подготовке презентации также принимал участие Даниил Поляков — Data Science Team Lead компании Kernel — который со своей командой непосредственно занимался реализацией проекта.

Основой анализа являются данные, собираемые из разных источников — для прогноза урожайности используются показатели, температуры, осадки и т.д. К этим данным добавляются такие параметры как координаты поля, характеристики сорта, внесенные удобрения, агрохимический состав почвы и многие другие параметры, что в итоге дает в датсети десятки тысяч уникальных примеров для каждого поля.

Для решения задачи прогнозирования разработчики применили широкий спектр алгоритмов машинного обучения, включая логистическую регрессию, рандомные леса, градиентный бустинг и т.д. Как отметил Евгений Краснокутский, специфика задачи заключалась еще и в том, что нужно осуществлять кросвалидацию, чтобы оценить, как модель сработает в погодных условиях нового года, которых еще не было в датасете. Такая ML-модель достаточно динамична и требует регулярного тюнинга. В целом использование машинного обучения привело к заметному повышению точности прогнозов и, как следствие — росту эффективности бизнеса агрокомпании.

Отметим, что в этом важном для страны проекте (ведь агробизнес — одна из ведущих отраслей украинской экономики) есть и вклад компании De Novo. Дело в том, что для оптимизации параметров ML-модели использовались графические карты пользовательского класса. Как следствие, в зависимости от количества параметров, оптимизация могла продолжаться даже целые сутки. Для того чтобы ускорить процесс, компания Kernel воспользовалась ресурсами сверхмощных тензорных акселераторов TPU (GPU) NVIDIA корпоративного уровня, доступных из облака De Novo. В результате время, необходимое на тренировку ML-моделей уменьшилось втрое. Мощности облака De Novo полностью удовлетворили потребности отдела data science в вычислительных ресурсах. Кроме того, по словам Евгения Краснокутского, облачный сервис предоставляет очень удобные инструменты резервирования мощностей TPU между специалистами, каждый из которых работает над отдельной задачей. В дальнейшем компания Kernel планирует внедрять новые функциональные возможности с использованием мощностей De Novo, в частности, сейчас проводятся эксперименты с Autoencoders и другими NN-архитектурами.

Новейшие ML-технологии помогли Kernel достичь поставленных целей, и повысить точность прогнозирования и эффективность бизнеса. Однако на этом этапе компания не останавливается — продолжается дальнейшее развитие ML-проекта, расширение его функциональных возможностей и интеграция инструментов искусственного интеллекта с другими системами управления сельскохозяйственными процессами.

Проект Kernel продемонстрировал, что машинное обучение вполне может стать мощным фактором трансформации аграрного сектора Украины, ведь применение интеллектуальных систем прогнозирования позволяет повысить эффективность производства, снизить влияние на окружающую среду и обеспечить продовольственную безопасность. Дальнейшее развитие и привлечение ML-технологий открывает новые перспективы аграрному сектору нашей страны.