Купить билет Программа

О конференции

11-14 октября пройдет SmartData 2021 — конференция по Data Engineering.

Стриминг

  • Flink
  • Spark
  • Kafka
  • Beam
  • Pulsar

СУБД и хранилища для больших данных

Использование классических реляционных, колоночных, NoSQL, SMP/MPP хранилищ для построения DWH:

  • Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
  • Teradata, Redshift, GreenPlum, Exadata
  • MSSQL, PostgreSQL
  • MongoDB, DynamoDB
  • S3, ADLS, GCS, HDFS

Архитектура DWH

  • Моделирование данных
  • Примеры построения корпоративных хранилищ данных
  • Оперативная аналитика
  • Ad-hoc reporting
  • Hadoop
  • Iceberg, DeltaLake

Data governance

  • Безопасность данных
  • Качество данных
  • Метаданные и управление каталогом
  • Управление основными данными
  • Миграция данных

Технологии построения ETL

  • Spark
  • Hadoop MapReduce
  • Sqoop
  • NiFi
  • Анализ производительности и оптимизация

Оркестрация и MLOps

  • Airflow, Luigi, Oozie
  • MLflow
  • Dagster

Другое

  • Дата инженерия не для дата инженеров
  • CI/CD для пайплайнов данных
  • Тестирование

Cloud solutions

  • Snowflake
  • Databricks
  • AWS, GCP, Azure

Если вы занимаетесь Data Engineering и хотите первыми узнавать о новых технологиях и перспективных направлениях, подписывайтесь на новости конференции.

Фичи конференции

  • Видео в разрешении 4К
  • Прямой эфир и запись
  • Мы отвечаем за то, что делаем. Если вам не понравится — мы вернем вам деньги
  • Активности и доклады от партнеров
  • Дискуссионные зоны онлайн

Спикеры

Jacek Laskowski
Jacek Laskowski
Jacek is an IT freelancer specializing in Apache Spark, Delta Lake, Apache Kafka and Kafka Streams...

Jacek is an IT freelancer specializing in Apache Spark, Delta Lake, Apache Kafka and Kafka Streams (with brief forays into a wider data engineering space, e.g. Presto). Jacek offers software development and consultancy services with very hands-on in-depth workshops and mentoring. He is best known by his online books available free of charge at https://books.japila.pl/.

Andy Pavlo
Andy Pavlo Carnegie Mellon University
Andy Pavlo is an Associate Professor of Databaseology in the Computer Science Department at Carnegie Mellon...

Andy Pavlo is an Associate Professor of Databaseology in the Computer Science Department at Carnegie Mellon University. He is also the co-founder of OtterTune.

Ash Berlin-Taylor
Ash Berlin-Taylor Astronomer.io
Ash has been a contributor to Airflow for almost four years and is a member of...

Ash has been a contributor to Airflow for almost four years and is a member of the Project Management Committee (a.k.a. the Core team) for almost as long. He was the Release Manager for much of the 1.10 release series and he also re-wrote much of the Scheduler internals to be highly-available and increase performance by an order of magnitude (AIP-15).

Outside of Airflow he is the Director of Airflow Engineering at Astronomer.io where he runs the team of developers contribute to the open source Airflow project.

Александр Волочнев
Александр Волочнев Datastax
После многих лет в разработке ПО в качестве программиста, руководителя разработки, энтузиаста DevOps и архитектора, Александр...

После многих лет в разработке ПО в качестве программиста, руководителя разработки, энтузиаста DevOps и архитектора, Александр сосредоточился на облачных вычислениях и распределённых системах. Профессиональный архитектор облачных решений и Developer Advocate для Apache Cassandra в Datastax, всегда рад поделиться опытом в проектировании высокопроизводительных и отказоустойчивых систем.

Sabir Akhadov
Sabir Akhadov Databricks Inc
Sabir is a software engineer at Databricks working on optimizing physical data layouts for the best...
Sabir Akhadov

Sabir is a software engineer at Databricks working on optimizing physical data layouts for the best performance. Before that, he worked in Databricks performance engineering and benchmarking team.

Sabir was born in Kazakhstan and since then has lived in 4 different countries. He's interested in learning new languages, technologies, and sports, mostly powerlifting and Russian kettlebells.

Tejas Chopra
Tejas Chopra Netflix
Tejas Chopra is a Senior Software Engineer, working in the Data Storage Platform team at Netflix,...
Tejas Chopra

Tejas Chopra is a Senior Software Engineer, working in the Data Storage Platform team at Netflix, where he is responsible for architecting storage solutions to support Netflix Studios and Netflix Streaming Platform. Tejas has worked on distributed file systems & backend architectures, both in on-premise and cloud environments as part of several startups in his career. Tejas is an International Keynote Speaker and periodically conducts seminars on Micro services, NFTs, Software Development & Cloud Computing and has a Masters Degree in Electrical & Computer Engineering from Carnegie Mellon University, with a specialization in Computer Systems.

Владимир Озеров
Владимир Озеров Querify Labs
Владимир Озеров является основателем Querify Labs, где руководит исследованиями и разработкой инновационных продуктов управления данными для...

Владимир Озеров является основателем Querify Labs, где руководит исследованиями и разработкой инновационных продуктов управления данными для технологических компаний. До этого Владимир более восьми лет работал над in-memory дата-платформами Apache Ignite и Hazelcast, уделяя особое внимание распределенной обработке данных. Является коммиттером проектов Apache Calcite и Apache Ignite.

Дмитрий Бугайченко
Дмитрий Бугайченко Сбер
Окончил Санкт-Петербургский государственный университет в 2004 году, там же защитил кандидатскую по формально-логическим методам в 2007....
Дмитрий Бугайченко

Окончил Санкт-Петербургский государственный университет в 2004 году, там же защитил кандидатскую по формально-логическим методам в 2007. Почти 9 лет проработал в аутсорсинге, не теряя контакта с университетом и научной средой. Анализ больших данных в Одноклассниках стал для Дмитрия уникальным шансом совместить теоретическую подготовку и научный фундамент с разработкой реальных, востребованных продуктов. И этим шансом он с радостью воспользовался, придя туда пять лет назад. С 2019-го года присоединился к дружной команде Сбербанка.

Николай Голов
Николай Голов ManyChat
Глава Data Engineering в ManyChat, отвечает за все пайплайны и платформу данных для аналитики (хранилище, BI,...
Николай Голов

Глава Data Engineering в ManyChat, отвечает за все пайплайны и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы). Раньше был руководителем Data Platform в Avito. В область ответственности Data Platform входили системы больших данных, OLTP-базы (PostgreSQL), NoSQL-базы (MongoDB, Redis, Tarantool, VoltDB), а также системы очередей и потоковой обработки данных (RabbitMQ, NSQ, Spark). Также Николай преподает в НИУ ВШЭ, где занимается научными исследованиями в области современных методологий построения хранилищ данных (Data Vault и Anchor Modeling) и изучает BlockChain.

Партнеры

Если бы не компании, которые нас поддерживают, мы не смогли бы проводить для вас SmartData ежегодно на таком высоком уровне. Конференция растет и развивается благодаря нашим партнерам.

Платиновый партнер

Золотые партнеры

Серебряные партнеры

Информационные партнеры

Если вы хотите стать партнёром конференции — пишите на [email protected].