Как стать автором
Обновить

Научпоп

Сначала показывать
Порог рейтинга

Система сбора распределенной телеметрии на Cassandra и Kotlin Spring

Блог компании OTUS NoSQL *Big Data *Kotlin *Умный дом

Сердцем любого backend являются данные. Существует два сценария использования данных. В одном из них данные изменяются редко, но при этом активно используются в сыром или агрегированном виде и применяются для целей аналитики в реальном времени (такие системы принято называть OLAP). В других системах важно обеспечить сохранение с высокой скоростью большого количество неструктурированных или полуструктурированных объектов, поступающих от устройств Интернета вещей, из источников произвольных событий, наблюдений за активностью пользователя (такие системы называются OLTP - Online Transaction Processing, ориентированные на большое количество транзакций с минимальной задержкой обработки). Для таких систем важно обеспечить надежность хранения данных, поддержку распределенного хранения на нескольких серверах и/или дата-центрах и сохранение консистентности распределенного хранилища.

При этом сами объекты могут отличаться от привычной реляционной модели данных и представляться, например, в виде json-документов с произвольной схемой, объектов с полями со множественными значениями или графов. Разумеется это приводит к необходимости изучения новых подходов к поиску и добавлению данных, использованию специальных драйверов. Но что если соединить распределенное надежное хранилище и синтаксис запросов, близкий к SQL? В этой статье мы познакомимся с проектом Apache Cassandra и обсудим на примере разработки API на Kotlin для сбора телеметрии с датчиков, расположенных по всему миру (с поддержкой отказоустойчивости и управляемой репликации между дата-центрами).

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 176
Комментарии 0

Новости

Визуализация и анализ зимних температур Алматы за последние сто лет на Streamlit

Python *Открытые данные *Визуализация данных Экология
Из песочницы

Как менялись зимние температуры в Алматы за сто лет, анализ на Streamlit.

Читать далее
Рейтинг 0
Просмотры 232
Комментарии 0

Anonymous покушаются на бургеры. DDoS-2022: ждать ли новые серии атак

Блог компании Selectel Хостинг Информационная безопасность *Системное администрирование *Статистика в IT

Со второй половины февраля 2022 года в рунете начались волнения. Причиной послужили серии кибератак, из-за которых пострадали государственные организации, банки, интернет-ресурсы СМИ, сервисы дистанционного образования и другие компании.

На Хабре и других порталах опубликованы десятки новостей о DDoS-атаках за февраль, март и апрель. Показатели DDoS-атак рекордные и заслуживают внимания. 

В этой статье мы постарались прояснить ситуацию с помощью данных систем безопасности Selectel, провайдеров security-сервисов и СМИ. За цифрами приглашаем под кат.

Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 346
Комментарии 0

Дайджест недели от Apple Pro Weekly News (23.05 – 29.05.22)

Гаджеты Компьютерное железо Смартфоны IT-компании

В этом дайджесте: Конференция разработчиков WWDC22 уже скоро и теперь есть расписание, магазины техники Apple в России стремительно закрываются, а саму компанию нещадно штрафуют, и немного новинок, обновлений и слухов. Всё это и многое другое в свежей подборке событий от Apple Pro Weekly News.

Перейти к новостям
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 275
Комментарии 0

Открытый банкинг в России

IT-инфраструктура *Финансы в IT

Переход на открытую модель обращения с информацией — один из заметных технологических трендов. В большей степени это заметно в сфере услуг, в особенности, в финансовом и банковском секторах.

Читать далее
Всего голосов 4: ↑2 и ↓2 0
Просмотры 449
Комментарии 1

ИИ, который читает ваши мысли

Блог компании SkillFactory Интерфейсы *Машинное обучение *Научно-популярное Мозг
Перевод

Бионические протезы, работающие на основе выводов ИИ о сигналах мозга, стали реальностью уже вчера. Материалом, в котором кандидат наук в области физики на простом примере показывает, что у этих протезов под капотом, делимся к старту флагманского курса по Data Science.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 621
Комментарии 0

Английский для тестировщиков — как надо

Тестирование IT-систем *Тестирование веб-сервисов *Учебный процесс в IT Карьера в IT-индустрии Изучение языков

В прошлой статье “QA-обучение без границ” мы поговорили про возможное превращение карьерной лестницы начинающего тестировщика “обучение → получение первого опыта на русскоязычном проекте → получение опыта на англоязычном проекте” в более стремительное “обучение → получение опыта на англоязычном проекте”.
И про то, как с задачей обучить специалиста, на выходе способного работать QA-джуном сразу в международной компании справляются самообразовательная, массовая и менторская модель обучения.
Сегодня мне как специалисту, который более 15 лет занимается подготовкой QA с нуля, хочется продолжить эту тему и поговорить собственно про обучение тестировщиков английскому. Сначала рассмотрим существующие на рынке решения, а потом обрисуем нечто идеальное.

Итак, наша задача - максимально короткое вхождение в QA-английский для обучающегося тестированию или трейни/джуна.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 1.5K
Комментарии 3

Тренды в агротехе 2022

Блог компании Россельхозбанк Развитие стартапа Читальный зал Научно-популярное Экология
Перевод

Рынок агротехнологий стремительно развивается год от года. За первые три квартала 2021 года, по данным исследования Future Today Institute, инвестиции в размере более 8,3 млрд долларов получили 441 агротех-стартапов по всему миру.

Мы решили создать цикл статей о рынке современного агротеха, дополнив исследование примерами международных и российских компаний различных направлений. Читайте первый материал, подписывайтесь на блог и будьте в курсе трендов в агротехе.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 1.1K
Комментарии 4

Разбираем модульный марсоход от «Сколтеха», состоящий из четырёх двухколёсных роботов

Разработка робототехники *Робототехника Научно-популярное IT-компании

В апреле этого года Сколковский институт науки и технологий («Сколтех») представил концепцию модульного марсохода, состоящего из четырёх двухколёсных роботов. Роботы могут функционировать по отдельности или собираться в разных комбинациях, реализуя принцип кооперативной робототехники. Информационная служба Хабра обратилась в пресс-службу «Сколтеха» с просьбой предоставить дополнительную информацию по проекту и ответить на пару вопросов. На вопросы редакции ответил доцент института и один из авторов проекта Антон Иванов.

Читать далее
Всего голосов 21: ↑18 и ↓3 +15
Просмотры 1.3K
Комментарии 15

Отечественный портативный ВЧ генератор (отзыв)

Производство и разработка электроники *Электроника для начинающих

Привет! Меня зовут Олеся и я разрабатываю СВЧ устройства. Дома у меня мини лаборатория с разным оборудованием. Больше полугода назад я писала о ваттметре Микран, теперь у меня появился (куплен за свои деньги) СВЧ генератор этой же серии.

В этой статье будет показаны результаты измерений характеристик портативного генератора Микран.

далее
Всего голосов 23: ↑23 и ↓0 +23
Просмотры 2K
Комментарии 16

Rama Works U80-A: механическая кастомная клавиатура за $800+. Что она умеет?

Блог компании Selectel Гаджеты Компьютерное железо DIY или Сделай сам

Как и многие мои коллеги, я — поклонник механических кастомных клавиатур. Правда, через мои руки прошло не так много моделей, но в любом случае, рынок регулярно изучаю, выискивая интересные модели. Недавно смотрел разные системы на eBay и неожиданно увидел кастомную механику за $800, модель Rama Works U80-A. Потом и вовсе на глаза попалась та же модель с некоторыми изменениями из Японии за $1500.

Стало интересно, что это за клавиатура такая — за несколько дней я изучил несколько обзоров, посмотрел, что есть на сайте производителя. И теперь решил обсудить эту клавиатуру на Хабре. Если эта тема интересна — прошу под кат.
Читать дальше →
Всего голосов 29: ↑27 и ↓2 +25
Просмотры 3.3K
Комментарии 17

Обучение с подкреплением: неформальное знакомство

Блог компании Wunder Fund Программирование *Алгоритмы *Машинное обучение *Искусственный интеллект
Перевод

Обучение с подкреплением (Reinforcement learning, RL) сыграло ключевую роль в стремительном развитии технологий искусственного интеллекта, которое можно было наблюдать в последнее десятилетие. В этом материале мы простыми словами расскажем о том, что такое обучение с подкреплением, поговорим о том, почему оно важно не только как объект исследований, но и как инструмент, который находит множество самых разных вариантов практического применения.

Читать далее
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 738
Комментарии 0

Космические пираты атакуют, или как мы обнаружили новую APT-группировку с уникальными бэкдорами

Блог компании Positive Technologies Информационная безопасность *Реверс-инжиниринг *Исследования и прогнозы в IT Космонавтика

Летом 2021 года мы, специалисты экспертного центра безопасности Positive Technologies, выявили ранее неизвестную APT-группировку, которая действует по меньшей мере с 2017 года. Главные цели Space Pirates (именно так мы решили назвать группу киберпреступников) — шпионаж и кража конфиденциальных данных. Как показало наше исследование, впервые мы встретили Space Pirates еще в конце 2019 года, когда в рамках мониторинга угроз ИБ обнаружили фишинговое письмо с ранее неизвестным вредоносным ПО, направленное в адрес одного российского авиационно-космического предприятия.

Кто на прицеле у новой хакерской группировки, какие утилиты она использует в атаках и как ее активность связана с уже известными APT-группами, читайте под катом.

Подробнее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.2K
Комментарии 0

Анализ аудиоданных (часть 1)

Python *Программирование *Визуализация данных Машинное обучение *Звук
Tutorial

Каждый аудиосигнал содержит характеристики. Из MFCC (Мел-кепстральных коэффициентов), Spectral Centroid (Спектрального центроида) и Spectral Rolloff (Спектрального спада) я провела анализ аудиоданных и извлекла характеристики в виде среднего значения, стандартного отклонения и skew (наклон) с помощью библиотеки librosa.

Для классификации “живого” голоса (класс 1) и его отделению от синтетического/конвертированного/перезаписанного голоса (класс 2) я использовала алгоритм машинного обучения - SVM (Support Vector Machines) / машины опорных векторов. SVM работает путем сопоставления данных с многомерным пространством функций, чтобы точки данных можно было классифицировать, даже если данные не могут быть линейно разделены иным образом. Для работы я использовала математическую функцию, используемой для преобразования (известна как функция ядра) - RBF (радиальную базисную функцию).

В первой части анализа аудиоданных разберем:

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 909
Комментарии 6

Kincony KC868-A32: авианосец на DIN-рейку

Блог компании RUVDS.com Программирование микроконтроллеров *Разработка для интернета вещей *Разработка под Arduino *DIY или Сделай сам


Сколько реле можно установить на плату контроллера? Четыре? Восемь? Компания Kincony решила не ограничивать себя и оснастила свою модель KC868-A32 аж 32-я реле. В результате получился уникальный контроллер, аналогов которому я и не припомню — на фоне обычных девайсов подобного типа KC868-A32 смотрится как флагманский авианесущий крейсер.

Размеры KC868-A32 таковы, что это произведение креативной китайской мысли влезет далеко не в каждый электрощит, его можно взять подмышку как доску, а если приделать к ней колёсики — то и кататься на ней как на скейтборде.

Экстремальные размеры и невероятное количество реле на борту — это далеко не все достоинства Kincony KC868-A32, далее мы подробно разберём устройство, схемотехнику и области применения этого контролера.
Читать дальше →
Всего голосов 27: ↑27 и ↓0 +27
Просмотры 3K
Комментарии 18

Малигнизация психотерапевтического контракта

Читальный зал Здоровье

Всем привет! Меня зовут Сергей и я практикующий психолог.

Дисклеймер: это вообще не хабритянская статья по форме и содержанию. В ней я поверхностно анализирую принципы коммерциализации сервисов подбора психологов и выявляю противоречия с самим процессом психологической работы. Вредны ли сервисы подбора психологов и можно ли ожидать быстрый результат в такой работе?
Лонгрид для психологов и тех, кто к ним ходит, про психотерапевтический контракт и его перерождение из инструмента терапии в инструмент продаж.

P.S. некоторые термины я прямо разжевываю, чтобы неподготовленному читателю было легче. Подготовленных - прошу простить за лишние знаки.

Узнать про психологический контракт
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 1.4K
Комментарии 23

Jitsi-meet: авторизация по JWT-токену

Блог компании Timeweb Cloud Настройка Linux *Информационная безопасность *Системное администрирование *Видеоконференцсвязь
Tutorial


Подключение к jitsi с отсутствием авторизации может стать небезопасным. Для того, чтобы избежать незваных гостей во время встречи, совещания или личной беседы стоит задуматься об авторизации. Под катом я подробно расскажу как нам улучшить наш сервис jitsi-meet с помощью JWT-токена.

Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 803
Комментарии 0

Когда тестирование бессильно. Космические лучи меняют биты памяти чаще, чем принято думать

Блог компании FirstVDS Тестирование IT-систем *Производство и разработка электроники *Научно-популярное Процессоры


Как известно, все объекты на Земле подвергаются бомбардировке высокоэнергетическими частицами из различных источников. И если частица «снайперским выстрелом» попадёт точно в электронный компонент, то последствия могут быть неприятными, вплоть до сбоя компонента.

В авионике такие феномены называют «одиночные сбои» (single event upset, SEU). Для авиации космическое излучение особенно опасно, потому что лайнеры поднимаются в верхние слои атмосферы, где защита магнитного поля Земли намного слабее.

Но SEU происходят и на обычных компьютерах, в смартфонах, на серверах и т. д. Причём довольно часто. И если такой сбой произошёл во время тестирования, вы никогда не сможете его повторить, потому что состояние Вселенной отличается в каждый момент времени.
Читать дальше →
Всего голосов 37: ↑36 и ↓1 +35
Просмотры 9.5K
Комментарии 80

Используем фотоаппарат в качестве веб-камеры

Фототехника Видеотехника Видеоконференцсвязь Удалённая работа
Перевод

На дворе 2022 год, поэтому многие из нас уже имеют два года опыта онлайн-совещаний. По моим ощущениям, чем лучше я вижу и слышу собеседника в онлайн-звонке, тем более естественным кажется общение. Иными словами, мне кажется, что повышая качество своего отображения при видеозвонке, мы оказываем любезность другому человеку.

К сожалению, большинство веб-камер — это ужасные устройства, дающие ужасную картинку. Похоже, рынка качественных веб-камер не существует, а доступные варианты находятся где-то в промежутке от плохих до посредственных. У веб-камер ноутбуков есть дополнительная проблема — камера в их тонкой крышке проигрывает битву с физикой, которую программно можно компенсировать лишь частично. [Как ни странно, камерам телефонов с этим проще. Они достаточно толстые, чтобы можно было делать с ними хитрые штуки, например, размещать детали камеры под прямым углом к объективу.]

К счастью, решение существует: в качестве веб-камеры можно использовать «настоящую» камеру, которая обычно ассоциируется с путешественниками. В частности, самые современные беззеркальные фотоаппараты, появившиеся за последние несколько лет, превосходно с этим справятся, если сделать всё правильно.
Читать дальше →
Всего голосов 23: ↑20 и ↓3 +17
Просмотры 4.4K
Комментарии 21

Проект Smart_U: ещё одна метеостанция на Arduino

Программирование микроконтроллеров *Разработка под Arduino *Умный дом

Smart_U - студенческий проект по созданию метеодатчиков для контроля микроклимата в различных помещениях. В статье рассказывается о разработке проекта, используемых технологиях, возникших ошибках и т.д. Сразу скажу, что набор компонентов довольно банален: микроконтроллеры Atmegа328(168), датчик температуры и влажности HTU21D, датчик интенсивности света MAX44009/BH1750, LoRa для передачи данных и в качестве эксперимента - ёмкостной датчик влажности почвы.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 1.3K
Комментарии 3