Комментарии 4
Слишком сложно, а значит дорого, и тем более бесполезно :)
Даже для обзора - дорого. Кассандра - очень специфичный выбор, особенно для биг даты, с огромной кучей своих подводных камней.
И даже спарк там особо ничем помочь не сможет :( У меня был опыт как раз чтения котировок из кассандры - это больно, долго и нудно. Обычная реляционка типа pg или mysql окажется гораздо лучше.
Спасибо за комментарий :)
Действительно, система крайне сложная для запуска, и кассандра специфичный инструмент, попытка использовать ее как реляционку с помощью спарка - та еще проблема, требующая большого ресерча, и с наскока задачу не решить.
Но у меня самого на работе была такая задача, и мне пришлось ее решать. В данной статье постарался изложить накопленный опыт. Исходил из того, что если бы мне самому попалась в свое время такая статья, мне было бы намного проще. Надеюсь, кому-нибудь поможет.
Очень интересная статья, с точки зрения исследования, экспериментов и набивания шишек. Но сложновато и правда. Если это сугубо инструмент теханализа, он вообще может решить целевую задачу?
Есть гипотеза, что решить может, но надо много ресерча и тестов. Есть множество условностей: начиная от того, что в таких системах нужно подбирать период данных для обучения, и период, на который делать предикт - он, обычно, на несколько (1-3) периодов вперед делается, если делать вывод из тех статей, которые мне удалось найти.
Но исходить нужно из того, по какой инвестиционной стратегии торгуется каждый конкретный инструмент, а стратегия включает в себя как средства тех анализа: индикаторы (и каждый со своими параметрами, которые подстраиваются в зависимости от задачи и стратегии трейдера), фигуры, паттерны японских свечей, временные циклы, уровни Фибоначчи и прочие волны Эллиота (кто во что верит), анализ рыночного сентимента секторальный и глобальный, включая новостной поток от субъекта экономической деятельности до геополитики и природных явлений; так и средства фундаментального анализа - как правило, базирующихся на анализе финансовых отчетов, касающихся того или иного инструмента: квартальные/годовые отчеты компаний, статистические отчеты различных институтов и др. Так же немаловажным является стратегия входа и стратегия выхода: обычно, по вход и выход из сделки делают по совпадению нескольких сигналов перечисленных выше средств анализа.
Масштабируемая Big Data система в Kubernetes с использованием Spark и Cassandra