Если мысленно вернуться в 1980-е, аналитика во многом находилась буквально над production
Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research
Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели:
production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё
И вот здесь мне стало интересно немного заглянуть вперед...
А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности?
Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы
Если не хотите много читать, в конце статьи вся суть одной картинкой
Читать далее