Как стать автором
Обновить

Моя лента

Тип публикации
Порог рейтинга
Уровень сложности
Предупреждение
Войдите или зарегистрируйтесь, чтобы настроить фильтры

Как мы переезжали с PostgreSQL на Data Lake в AWS и какие грабли собрали по пути

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 3

За несколько лет Whoosh в несколько раз вырос по числу самокатов, пользователей и локаций, а данных по ним накопилось на 30 терабайт. Прежней архитектуры уже не хватало для работы. К тому же платить за I/O (input/output)-операции на Aurora (PostgreSQL) выходило дорого (тогда еще не было I/O‑optimized версии, однако с ее появлением, актуальность не исчезла). Другое дело — Redshift: расходы постоянны (n$/час), а работает он быстрее, благодаря колоночному формату хранения данных. В этом году мы переехали с одного хранилища на базе PostgreSQL — того, где вся отчётность для бизнеса и модели dbt — на рельсы Data Lake в AWS.

Меня зовут Никита Зеленский, я главный по данным в Whoosh. Эту статью я написал вместе с другими участниками переезда — Пашей Сивохиным, ГИС-аналитиком, и Костей Малыхиным, руководителем группы анализа данных. Надеюсь, наш опыт будет полезен всем, кому предстоит миграция данных, особенно если вы работаете с геоаналитикой.

whoooooosh
Рейтинг 0
Комментарии 0

Новости

Как оценить эффект от внедрения проекта?

Уровень сложности Простой
Время на прочтение 27 мин
Количество просмотров 60

Целью любого проекта, будь то разработка сайта, внедрение искусственного интеллекта или модернизация оборудования, является получение бизнес-результата. Поэтому для клиента важно понимать, какую выгоду он получит от внедрения проекта и как это отразится на его прибыли. Кроме того, разработчикам также необходимо оценить эффект от проекта по нескольким причинам: увеличение вероятности получения новых проектов, лучшее понимание потребностей клиента, повышение рыночной стоимости и моральное удовлетворение от значимости своей работы.

В статье показано применение таких методов оценки эффекта от внедрения проекта, как AБ-тестирование (классический подход, стратификация, CUPED), альтернативное прогнозирование, синтетический контроль и мэтчинг.

Читать далее
Рейтинг 0
Комментарии 0

Заблуждения о семантической сегментации

Время на прочтение 4 мин
Количество просмотров 47

Семантическая сегментация — это задача компьютерного зрения, заключающаяся в помещении в один класс связанных элементов изображения.

Семантическая сегментация состоит из трёх этапов:

Классификация: обнаружение и классификация определённого объекта на изображении.

Локализация: нахождение предмета и отрисовка вокруг него ограничивающего прямоугольника.

Сегментация: процесс группировки пикселей в локализованном изображении при помощи маски сегментации.

Существует множество подтипов семантической сегментации, но все они возникают вследствие выбора пары параметров из двух категорий: размерности данных и разрешения выходных аннотаций.
Читать дальше →
Рейтинг 0
Комментарии 0

ИИ со 100% точностью диагностирует детский аутизм по фотографиям глаз

Время на прочтение 2 мин
Количество просмотров 295

Исследователи сделали фотографии сетчатки глаза детей и проверили их с помощью алгоритма глубокого обучения ИИ, чтобы диагностировать аутизм. Полученные результаты говорят в пользу использования ИИ в качестве объективного скринингового инструмента для ранней диагностики, особенно когда доступ к специалисту по детской психиатрии ограничен.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Нестандартное решение для бесконечно рвущегося кабеля наушников для ПК

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 680

Доброго времени суток хабравчане, сегодня хочу поделиться с вами нестандартным решением проблемы рвущегося кабеля наушников ПК.

Читать далее
Всего голосов 3: ↑2.5 и ↓0.5 +2
Комментарии 8

Поступила информация про возбуждении нового дела ФАС по части 16 статьи 18.1 закона о рекламе №38-ФЗ в отношении поста про курсы в IT-Академия Hackerson в телеграм-канале школы «МБОУ ОЦ «Багратион».

Типичный рекламный посев своего поста на чужом интернет-ресурсе без маркировки рекламы и отсутствие отчетности в ОРД. Так что удивляться не стоит.

Пойдут по стопам нижегородского кейса от ФАС до Роскомнадзора. Штраф будет зависить от того, на кого оформлен телеграм-канал. Если на физлицо в статусе СЗ, то пойдут по минималке по части 1 статьи 14.3 КОАП по линии ФАС (2500 рублей штрафа) и по части 16 статьи 14.3 КОАП по линии Роскомнадзора (30 000 рублей штрафа)

Теги:
0
Комментарии 0

Создаём HoneyBot в Telegram

Время на прочтение 4 мин
Количество просмотров 254

Всем привет! В этой статье мы рассмотрим, как создать Telegram HoneyBot для идентификации анонимных пользователей «самого безопасного» мессенджера. А на примере такого бота заодно и наглядно покажем, как избегать деанонимизации в Telegram, и напомним о необходимости сохранять бдительность, кликая по подозрительным кнопкам и ссылкам в нём. За подробностями добро пожаловать под кат!

Читать далее
Рейтинг 0
Комментарии 0

Туман кибервойны: шпионы из Cloud Atlas атакуют российские компании под видом поддержки участников СВО

Время на прочтение 2 мин
Количество просмотров 385

Компания F.A.C.C.T. зафиксировала новые атаки шпионской группы Cloud Atlas на российское агропромышленное предприятие и исследовательскую госкомпанию. Обе рассылки были перехвачены системой защиты от сложных и неизвестных киберугроз F.A.C.C.T. Managed XDR

Cloud Atlas — прогосударственная APT-группа, специализирующаяся на кибершпионаже и краже конфиденциальной информации. По данным исследователей, активна как минимум с 2014 года. Чаще других целями Cloud Atlas становились промышленные предприятия и  госкомпании в России, Беларуси, Азербайджане, Турции и Словении.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Zyxel XMG1930-30HP: обзор способов управления

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 120

В прошлой статье мы разобрались с внешним видом, индикаторами и даже заглянули внутрь коммутатора. Теперь пришла пора его подключить и посмотреть, каким образом системные администраторы и сетевые инженеры могут управлять этим устройством и контролировать его параметры.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Анализ безопасности приложений, использующих GraphQL API

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 120

Привет! Меня зовут Даниил Савин. Летом я участвовал в программе стажировки для безопасников от Бастион и в процессе глубоко исследовал тему безопасности приложений, использующих GraphQL. Так появилась статья, из которой вы узнаете:

— какие встроенные функции есть у GraphQL;

— как тестировать GraphQL API;

— какие инструменты использовать;

— и как обходить различные защитные механизмы.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 0

Наблюдаемость качества разработки: от субъективных суждений к объективным данным

Время на прочтение 11 мин
Количество просмотров 72

Привет, Хабр! Я — Алексей Диянов, технический директор Nedra Digital. Мы — IT в нефтегазовой отрасли. Компании чуть больше трёх лет. Мы быстро выросли как в численности персонала, так и в количестве проектов, но не избежали классических проблем в виде трудностей внутренней коммуникации, регулярного тушения пожаров и принятия управленческих решений на основе субъективного мнения.

Поговорим о наблюдаемости качества разработки. Нужно ли измерять всё, что поддается измерению? И если нужно, то с чего начать, где брать исходные данные и с какими инженерными метриками работать, чтобы повысить управляемость разработки в будущем? 

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Анализ виртуальной машины на примере VMProtect. Часть 1

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 115

В этой статье мы рассмотрим, как может выглядеть работа виртуальной машины VMProtect, а также посмотрим, что можно сделать для понимания защищенного функционала (в зависимости от того, как далеко вы готовы зайти в этом не всегда благодарном деле).

Ожидается, что данный материал поможет тем, кто в ходе реагирования на компьютерный инцидент или исследования какой-либо вредоносной активности столкнулся с защитой в виде виртуальной машины.

Анализировать!
Рейтинг 0
Комментарии 0

Обеспечение безопасности Kubernetes с помощью Open Policy Agent (OPA)

Время на прочтение 7 мин
Количество просмотров 66

Kubernetes — это мощный инструмент, который помогает нам эффективно и надежно управлять и развертывать наше программное обеспечение. Однако по мере того как наши системы становятся все более сложными, может возникнуть проблема с обеспечением их безопасности и соответствия правилам и нормам. Именно здесь на помощь приходит Open Policy Agent (OPA). Перевели туториал, где рассматривается, как OPA можно использовать в Kubernetes для обеспечения безопасности наших систем и соблюдения политик.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Ближайшие события

Шопинг на рабочем месте: как ЕВРАЗ внедрил внутренний маркетплейс для снабжения

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 66

Маленькие вещи могут создавать большие проблемы. И нет, речь не о камешке в ботинке и даже не о вирусах. Мелкие закупки — крупная головная боль для отдела снабжения. А поскольку в ЕВРАЗе активно развивается цифровая трансформация, мы эту головную боль решили лечить не цитрамоном, а соответствующим IT-продуктом. 

Под катом вы узнаете, как мы разрабатывали собственный внутренний маркетплейс, какие проблемы героически преодолели, а какие предвидели заранее. Ну и, разумеется, что из этого вышло.

<КДПВ, кат>
Рейтинг 0
Комментарии 0

Аэростатный телескоп НАСА GUSTO займётся картографированием части Млечного Пути

Время на прочтение 2 мин
Количество просмотров 122

Учёные и инженеры американского космического агентства готовятся к началу работы аэростатного телескопа проекта GUSTO, предназначенного для картографирования части Млечного пути. Воздушный шар обсерватории ULDB запустят с шельфового ледника Росс недалеко от антарктической исследовательской станции Мак-Мердо Национального научного фонда США не раньше 21 декабря.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Технологии искусственного интеллекта в корпоративном управлении: как мы увидели рациональные области их использования

Время на прочтение 5 мин
Количество просмотров 107

О пользе и рисках применения искусственного интеллекта в бизнес-процессах организации не писал и не говорил только ленивый. И я долгое время причислял себя к этим «ленивцам», потому что в тех процессах и задачах, с которыми приходится сталкиваться в работе после обращений клиентов, не видел подходящих и рациональных мест применения ИИ. До недавнего времени.

Читать далее
Рейтинг 0
Комментарии 0

Компания «Нанософт» оборудует современным ПО тысячу рабочих мест в Московском Политехе

Время на прочтение 3 мин
Количество просмотров 216

Компания «Нанософт» приняла участие в проведении Дня открытых дверей, организованного Московским политехническим университетом. Местом проведения мероприятия, которое прошло 9 декабря, стал главный корпус университета на Большой Семеновской улице в Москве. «Нанософт» и вуз подписали соглашение о сотрудничестве в сфере образования, а на выставке индустриальных партнеров специалисты компании-разработчика познакомили абитуриентов с линейкой продуктов на Платформе nanoCAD.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Как тестировать без требований? Или как убедить разраба и себя, что это баг

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 175

Всем привет, это моя первая статья по тестированию. До этого я писал от лица Scrum-мастера, а теперь уже и от лица QA. В тестировании я уже более 2-х лет. Работал на двух проектах одновременно, и было супер весело менять проект на протяжении дня: утром ты тестируешь веб-сервис, а вечером со студентами делаешь тест-план по мобильному приложению. Не жизнь, а сказка!

Из названия мы с вами понимаем, что тема статьи интересна и, как воздух, необходима.

Для кого-то покажется тестирование без требований пустяком, и он, как вызов, примет этот поединок. Но я хочу заметить, что тестировать сервис-продукт, который ты понимаешь от того, что видел аналоги, пользовался этим сервисом с пелёнок и понимаешь его за счет косвенных требований - дело одно. Когда нет аналогов или сервис выполняет роль франкенштейна из функционала от разных продуктов - тут ситуация другая.

Не будем петь серенады, как это сложно, и приступим к делу.

Вас посвящают в суть проекта, и главный шаг - уточнить у аналитика или того героя, кто выполняет эту роль, "Есть какая-нить дока?" (далее - спецификация).

Какая может быть спецификация на проекте? Будьте внимательны, я не использую термин документация, потому-что дока - это текстовый формат, а в виде спецификации может выступать:

1) документация; обновленная в последний раз в 90-х

2) макеты; вообще не похожи на прод

3) тикеты в Jira; обычно там один заголовок, но верим в чудо

4) user-story;

5) тест-кейсы, чек-листы; если был тестировщик до

6) звонок с владельцем продукта; Product owner

Читать далее
Всего голосов 2: ↑0 и ↓2 -2
Комментарии 1

Расчетная архитектура платформы для A/B-тестов Mail.Ru

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 167

Привет Хабр! Меня зовут Андрей Каймаков, я работаю в продуктовой аналитике Mail.ru в VK. Сейчас практически каждая IT-компания (да и не только IT) знает про A/B-тесты и понимает важность проверки новых фичей с помощью этого метода. Когда фичей становится много, то A/B-тесты начинают занимать значительное время в работе команд. Чтобы автоматизировать эти процессы создаются платформы для проведения A/B-тестов. Мы разрабатываем свою систему с 2017 года, а недавно сильно ее обновили. Хочу вместе со своим коллегой разработчиком Андреем Чубаркиным поделиться опытом и инсайтами, которые мы обнаружили в ходе этого проекта. 

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Код драйвера с открытым исходным кодом Nintendo HID расширен в ядре Linux 6.8 для поддержки контроллеров Nintendo Switch Online (NSO).

Ранее Nintendo открыла возможность по использованию контроллеров своих классических игровых консолей Nintendo, Super Nintendo (SNES) и Nintendo 64 для с Nintendo Switch. Эти контроллеры отлично подходят для игр в классические тайтлы Nintendo на портативном устройстве Nintendo Switch, но теперь поддержка этих контроллеров NSO планируется к появлению в основном ядре Linux.

В ветке for-next hid.git для подготовки кода ядра Linux 6.8 подготовлен патч к драйверу hid-nintendo, добавляющий поддержку контроллера NSO. Этот патч был успешно протестирован с контроллерами SNES, Genesis и N64. Драйвер HID-Nintendo уже поддерживает контроллеры Nintendo Joy-Con и Pro, а теперь этот драйвер с открытым исходным кодом, поддерживаемый сообществом посредством реверс-инжиниринга, может работать с новейшими контроллерами Nintendo. Релиз ядра Linux 6.8 ожидается в марте.

Источник: Phoronix.

Теги:
0
Комментарии 0