В Москве завершилась первая международная олимпиада по анализу данных

4 апреля стали известны имена победителей Первой международной олимпиады по анализу данных IDAO, которую организовали факультет компьютерных наук Высшей школы экономики, компания Яндекс и Harbour.Space University (Барселона) при поддержке Сбербанка. Лучшей стала команда «Magic City» из Санкт-Петербурга, второе место занял участник из Украины, бронзу завоевала команда «Apex» из Республики Беларусь.

В финале IDAO приняли участие 36 команд из России, Украины, Беларуси, Азербайджана, Израиля, Индии и Перу. Соревнования проходили в два этапа: в заочном онлайн-квалификационном раунде, который проходил с 15 января по 11 февраля 2018 года, участники должны были решить задачу, предложенную компанией Яндекс. Второй, очный тур прошёл 2–3 апреля в Москве, в центральном офисе компании Яндекс. Финалисты в течение 36 часов работали над заданием от Сбербанка.

«Профессия Data Scientist сегодня — одна из самых востребованных на рынке, и очень важно, чтобы квалифицированных специалистов в этой области появлялось как можно больше. Все, что связано с аналитикой данных, определяет будущее бизнеса и экономики в целом, поэтому компании, которые хотят идти в ногу со временем, ищут этих специалистов, — говорит куратор Школы анализа данных Яндекса, доцент факультета компьютерных наук НИУ ВШЭ Станислав Федотов. — В программировании уже сложилось некоторое количество глобальных мероприятий, которые делают его популярным и помогают определять лучших из лучших  — например, Международная студенческая олимпиада по программированию ACM/ICPC (International Collegiate Programming Contest). В сфере Data Science эта ниша только заполняется и в нашей стране, да и в мире в целом. Мы хотим, чтобы в Data Science эту функцию выполняла олимпиада IDAO, и с ее помощью стараемся показать молодым специалистам, какая это интересная сфера».

Как рассказал Станислав Федотов, одна из важных особенностей этой олимпиады заключается в том, что задачи, которые предлагаются участникам, в большей степени, чем обычно, приближены к «боевым». Например, на отборочном, онлайновом, этапе участники решали задачу для сервиса Яндекс.Маркет. Когда пользователь заходит на этот сервис с конкретной целью, система подбирает ему набор вариантов, которые соответствуют его запросу — например, если человек ищет чайник, то Яндекс.Маркет предлагает ему множество вариантов чайников в разных ценовых категориях и с различным набором опций. Но гораздо интереснее научить систему предсказывать запросы, то есть предлагать не то, что человек ищет в данный момент, а то, что он может захотеть в будущем, но о чем еще даже не подозревает. «Участникам была предложена история поисковых запросов условных пользователей, и они должны были предсказать такие категории товаров, которые эти люди за последние три недели не смотрели, но могут захотеть через неделю. Им надо было из всего количества пользователей выбрать пять процентов, для каждого выделить пять категорий товаров и «угадать» хотя бы одну из них», — объясняет Станислав Федотов.

Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч

В финале 36 команд (изначально отборочный тур прошла 41 команда, но не все смогли приехать в Москву) в течение 36 часов работали над задачей, предложенной командой data scientists Сбербанка.

Как рассказывает управляющий директор по исследованиям и разработкам в Сбербанке Андрей Черток, участники должны были разобраться с реальной проблемой, над которой недавно работала команда Сбербанка и с которой сталкиваются все банки. Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч. Проблема заключается в том, что инкассация денежных средств далеко не всегда и везде проводится эффективно — в результате в каких-то банкоматах деньги в течение долгого времени просто лежат, в то время как в других слишком быстро заканчиваются.

«Потери банка от «пролёживания» лишних денег в банкоматах исчисляются миллиардами рублей в год, — подчеркивает Андрей Черток. — Для решения таких задач наша команда все чаще применяет аналитику данных. В частности, эту проблему с оптимизацией развоза наличности и прогнозированием, сколько захотят снять денег в данном конкретном банкомате, нам удалось успешно решить с помощью методов машинного обучения. Мы предложили участникам олимпиады мини-версию того, что мы сделали в Сбербанке». Финалисты работали с реальными данными размещения и загрузки банкоматов Сбербанка. В ходе работы команды столкнулись с теми же проблемами, с которыми приходится иметь дело специалистам по анализу данных банка в реальной жизни. Например, с тем, что данные надо чистить, что в данных, на основе которых строятся прогнозы, есть так называемые «выбросы», связанные с более интенсивной выгрузкой наличности в день выплаты зарплаты или пенсии. «Все участники за короткий период времени достаточно успешно смогли построить модели, которые можно внедрять на практике, и получили опыт решения реальной банковской задачи, — считает Андрей Черток. — Мне кажется, в этой олимпиаде нам удалось соединить дух соревнования и прикладную значимость».

Практическая применимость и эффективность были важными требованиями к прототипам, над которыми работали финалисты. Как отмечает первый заместитель декана ФКН НИУ ВШЭ Тамара Вознесенская, главная цель любого моделирования в этой сфере — это точность предсказания. Однако специалисты, которые занимаются анализом данных с научной точки зрения, далеко не всегда заботятся о таких параметрах, как время работы или затрачиваемые ресурсы, и в результате их модели не получается применять в реальной жизни. «Сами алгоритмы могут строить качественные модели, но делать это или слишком долго, или требовать слишком большой объем памяти, и их нельзя, например, встраивать в мобильные приложения» — уточняет Тамара Вознесенская. Поэтому все участники должны были работать по принципу «Эффективность так же важна, как и качество».

Организаторы надеются, что по мере развития олимпиады в команды будут объединяться специалисты и по анализу данных (любители соревнований Kaggle), и по спортивному программированию.

Как рассказали победители олимпиады, участники команды из Санкт-Петербургского государственного университета «Magic City», основой их решения стала чистка данных, о которой им рассказывали аналитики из Сбербанка. «Первые наши решения на тестировании не всегда выдавали стабильный результат, их «шатало». В результате мы решили убрать из них весь «мусор», отследить все аномалии и выделить только самую необходимую информацию, поскольку данных, с которыми нам предлагалось работать, было не очень много, и качество играло большую роль, — объясняют Артем Плоткин, Роман Пьянков и Сергей Арефьев. — А дальше мы уже работали с готовым алгоритмом XGBoost, смотрели, что в нем надо поменять, а что добавить».

На втором месте — участник из Украины, постоянный участник Kaggle, Александр Макеев: «Kaggle-соревнование идет три месяца, полгода, год, команды не лимитированы в числе игроков, они могут делать сумасшедшие модели, которые могут считаться неделями на супермощных ресурсах, они занимают первые места, но без этих всех ресурсов занять первое место невозможно. А еще такие решения просто не получится применить в обычной жизни из-за требований к ресурсам».

Как рассказали бронзовые призеры из команды Гродненского государственного университета им. Янки Купалы (Республика Беларусь) «Apex» Евгений Демидович, Константин Млынарчик и Сергей Петров, эта олимпиада запомнится им тем, что финальный этап проходил всего два дня в режиме оффлайн, а не несколько месяцев в онлайне, как это обычно бывает, а также нестандартными заданиями. «Эти задачи были не только из сферы машинного обучения, нам пришлось и самим что-то придумывать, то есть побыть в роли data engineers, — отметил Евгений Демидович. — В задаче данных было не очень много, поэтому мы сами расширили данные, старались помочь модели найти решение, придумать такое представление данных, на которых модель не ошибется. Мы использовали алгоритм Random forest. Взяли 20 моделей, натренировали их на данных, которые мы сами нарезали, и эти 20 моделей потом усреднили, чтобы получить более стабильное решение».

Победители IDAO получили ценные призы, победившей команде вручили ноутбуки. Кроме того, факультет компьютерных наук НИУ ВШЭ учтет заслуги победителей при отборе на свои магистерские программы, а Harbour.Space University предоставит победителям стипендии, которые полностью покроют стоимость обучения на их образовательных программах.

Организаторы планируют проводить Международную олимпиаду по анализу данных регулярно. Как отмечает доцент ФКН НИУ ВШЭ Ростислав Яворский, это соревнование очень актуально, так как во всем мире к сфере Data Science уже сформировался большой интерес, но индустрия еще долго будет испытывать нехватку квалифицированных специалистов: «У нашей олимпиады несколько задач — заинтересовать и привлечь как можно больше молодых специалистов в эту сферу, дать им мотивацию самосовершенствоваться, внести свой вклад в формирование профессионального сообщества. Мне кажется, у нас получился хороший первый шаг, и мы очень надеемся на продолжение».