scalaby #13: spark в действии

22-го января, в 18.30, в #eventspace пройдет 13-ый митап scala.by. Для регистрации, вам необходимо отметиться на странице встречи в Facebook.

Spark - прекрасный кандидат на довершение триумвирата Kafka + Akka + Spark, для создания распределенных, высоконагруженных систем, оперирующих большими объемами данных. Эдакий ответ стандарту де факто для корпоративной разработки, Java + Spring + Hibernate, из мира Scala. За последний год, Spark набрал огромные обороты, и из гадкого утенка (коим был в начале 2014 года), он превратился в технологию, которая уверенно вытесняет из технологических стеков крупных игроков решения, проверенные годами.

Увы, как показывает практика, большое количество команд из разных компаний, решая схожие задачи, месяцами идут к практически идентичным решениям, сталкивась с одинаковыми проблемами. К счастью, рынки, на которых работают компании, зачастую, не являются конкурентными, а решения, к которым приходят команды разработки - проприетарными. Лозунг этой встречи (как и всех предыдущих / последующих) - максимальная открытость. Так, все докладчики расскажут об архитектурах систем, в которых использовался Spark, настолько подробно, насколько позволяет NDA компаний, в которых они работают. Разработчики, практикующие Spark, получат возможность внести коррективы в курс движения, получив инсайты от других практикующих; те же, кто еще только оценивают применимость технологии, узнают о том, что их ожидает, и смогут избежать большого количества ошибок на ранних этапах внедрения.

План встречи

Вводную информацию по Spark все могут получить, прочитав многочисленные статьи в интернете и посмотрев исходники на GitHub. Первоочередная цель встречи - собрать всех людей практикующих Spark в Минске, и поделиться реальным опытом использования: в каких сценариях применялся, какие были проблемы с внедрением, какие плоды принес.

На встрече будет представлено 3 мини-доклада (25-30 минут). Каждый выступающий расскажет о конкретном case’e применения Spark в боевых условиях.