Облачная аналитика больших данных в Amazon Athena и локальная аналитика в Trino (PrestoSQL) - как написать свой MPP-плагин, чтобы отказаться от DataWarehouse раз и навсегда

Александр Сербул/Head of Data Science в 1С-Битрикс

В докладе расскажем:
- как мы использовали Amazon Athena, экспериментировали с кластерами Spark;
- почему нам не хватило Click House и почему мы прониклись идеей отказаться от традиционного Data Warehouse.

А так же:
- рассмотрим поближе протокол работы с аналитическими данными через коннектор к Google Data Studio, реализующий идею "зондирования" хранилища операторами реляционной алгебры.
- поделимся опытом разработки собственного плагина к Trino (PrestoSQL) на Java для эффективной замены Data Warehouse и построения масштабируемой системы BI-аналитики на базе раcпределенного ANSI SQL движка запросов.