Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

SQL HowTo: один индекс на два диапазона

Уровень сложности Средний
Время на прочтение 3 мин
Количество просмотров 70

В прошлой статье я показал, как условие с парой однотипных неравенств, плохо поддающееся индексации с помощью btree, можно переделать на эффективно gist-индексируемое в PostgreSQL условие относительно диапазонных типов, а наш сервис анализа планов запросов explain.tensor.ru подскажет, как именно это сделать.

Но что делать, если неравенств у нас не два, а целых четыре, да еще и с разными типами участвующих полей? Например, для целей бизнеса это может быть задачей вроде "найди мне все продажи за декабрь на сумму 10-20K", что на SQL будет выглядеть примерно так:

dt >= '2023-12-01'::date AND dt <= '2023-12-31'::date AND

sum >= 10000::numeric AND sum <= 20000::numeric

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Новости

Марафон DataYoga “Ничего лишнего” — кому будет полезна неделя лучших практик визуализации данных

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 224

Привет, Хабр! Сегодня мы хотим поделиться одним интересным событием, которое не может оставить равнодушным никого из сферы BI и визуализации данных. Марафон  будет проходить с 18 по 22 марта в онлайн-режиме (разумеется бесплатно) и включит в себя наработки ведущих визуализаторов и дата-йогов. Это будет настоящее погружение для тех, кто уже в BI и аналитике, а также для тех, кто еще только думает о расширении своих компетенций (или пока вообще не понимает, почему за “построение диаграмм” сегодня обещают хорошие зарплаты). Все подробности о Марафоне и ссылка на регистрацию — под катом.

Хочу стать дата-йогом!
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 0

Надежный обход блокировок в 2024: протоколы, клиенты и настройка сервера для чайников

Уровень сложности Простой
Время на прочтение 36 мин
Количество просмотров 13K

Поскольку блокировки интернета в РФ в последние недели и месяцы многократно активизировались, а госмаразм все крепчает и крепчает, стоит еще раз поднять тему обхода этих самых блокировок (и делаем ставки, через сколько дней на эту статью доброжелатели напишут донос в РКН чтобы ограничить к ней доступ на территории страны).

Вы, наверняка, помните отличный цикл статей на Хабре в прошлом году от пользователя MiraclePtr, который рассказывал о разных методах блокировок, о разных методах обхода блокировок, о разных клиентах и серверах для обходов блокировок, и о разных способах их настройки (раз, два, три, четыре, пять, шесть, семь, восемь, десять, десять, и вроде были еще другие), и можете спросить, а зачем еще одна? Есть две основные причины для этого.

Читать далее
Всего голосов 115: ↑113 и ↓2 +111
Комментарии 30

Энергетика большой страны. Почему  мы все не можем отапливаться электричеством?

Время на прочтение 28 мин
Количество просмотров 7.4K

Кто и как нам обеспечивает постоянное наличие 220 вольт в розетке и тепло в батареях зимой?

В википедии по запросу  «Энергетика Москвы» можно узнать следующую информацию:

«По состоянию на начало 2021 года, на территории Москвы эксплуатировалась 41 электростанция общей мощностью 10 865 МВт, в том числе три гидроэлектростанции, 32 тепловые электростанции (в том числе 16 энергоцентров, обеспечивающих энергоснабжение отдельных предприятий), три мусоросжигательных завода с попутной выработкой электроэнергии, две электростанции на биогазе и один пневмоэлектрогенераторный энергоблок. В 2019 году они произвели 52 559 млн кВт·ч электроэнергии[1][2][3]. Основное топливо: природный газ.

Общая тепловая мощность источников теплоснабжения, расположенных на территории Москвы, составляет 54 86 1 Гкал/ч.»

По информации из этой обзорной статьи мы имеем две цифры мощности: 10 865 МВт  электрической  и 54 86 1 Гкал/ч тепловой генерации , которые надо сравнить.

Нужно ещё сделать  пересчёт для разных единиц мощности МВт и 1 Гкал/ч, чтобы сравнивать в единой размерности.

 1 Гкал/ч - это мощность, равная  энергия для нагрева 1 миллиарда грамм воды на 1 градус за один час, что эквивалентно  мощности электрической энергии:

  Nэл  =1*4,19*10^9/3600 =1,164 МВт /( Гкал/ч)

Тогда тепловая мощность  при переводе на МВт будет равна:

54 861 Гкал/ч = 54 861*1,164=63 858МВт

То есть в г Москве мощности на отопление и  электроэнергию относятся как:

=63 858/10 865= 5,88

Получается почти 6-ти кратное отношение  максимальных мощностей  потребляемой в Москве электрической и тепловой энергии, причём с перевесом почти в 6 раз в пользу тепловой энергии.

Читать далее
Всего голосов 26: ↑23 и ↓3 +20
Комментарии 39

Истории

6 важных принципов GDPR

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 754

Привет, Хабр!

Сегодня я хочу поговорить о GDPR – регуляции, которая изменила понимание приватности данных в Европе и за ее пределами. На первый взгляд, GDPR может показаться очередной бюрократической головной болью, но на самом деле это очень большой шаг в сторону уважения и защиты личной информаций.

GDPR выступает не как какой-то набор ограничений, а как стимул для повышения качества работы с данными.

Санкции за несоблюдение GDPR могут быть очень большими, в некоторых случаях доходя до 10 миллионов евро или 2% от общего мирового годового оборота за предыдущий финансовый год, а в других случаях — до 20 миллионов евро или до 4% от общего мирового годового оборота. Размер штрафа оценивается индивидуально и зависит от множества факторов, как серьезность нарушения, степень причиненного ущерба, наличие умысла, и многое другое​​.

В этой статье мы рассмотрим несколько основных принципов GDPR.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 5

Внутренняя разведка Active Directory через Cobalt Strike

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 1.6K

С ростом автоматизированных вычислительных систем и с увеличением атак на данные системы резко возник вопрос мониторинга за операционными системами на базе которых и работает любая информационная система в компании. В данных операционных системах устанавливаются/подключаются новые классы средств защиты. Мониторинг за информационными системами углубляется, а аналитика атомарных событий усложняется.

В рамках внутренней разведки атакующие часто используют инструмент PowerShell для сбора информации о домене, что порождает больший интерес к контролю за данным инструментом со стороны подразделений мониторинга событий информационной безопасности.

Чтобы отойти от концепции использования PowerShell и .NET, оставаться более незаметными и минимизировать время на разведку контроллера-домена эксперты из Red Team Outflank создали скрипт для Cobalt Strike - Recon-AD, написанный на языках на C/C++ на основе ADSI и reflective DLL.

Ну что же, приступим к более детальному изучению данного решения.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

«Иногда твоя работа выглядит магией»: что делают дата-сайентисты в промышленности и почему так востребованы

Время на прочтение 10 мин
Количество просмотров 3.5K

Привет, Хабр! Меня зовут Светлана Потапова, я руковожу «Северсталь Диджитал» — подразделением ИТ-функции Северстали, которое занимается разработкой и внедрением решений на основе машинного обучения.

Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Все обратили внимание на работу с данными, ведь они справедливо считаются новой нефтью, а их правильное использование даёт компаниям существенные преимущества. Обилие разнообразных задач со своей спецификой привело к появлению отдельного направления — Data Science (DS) в промышленности. 

В этой статье расскажу, зачем становиться дата-сайентистом в промышленности, кто это такой и чем занимается и почему повышать цифровизацию производства непросто, но того стоит. 

Читать дальше →
Всего голосов 12: ↑10 и ↓2 +8
Комментарии 4

Интернет-связь для российских эмигрантов в Китае: Как мы это сделали 10Gb\s

Время на прочтение 4 мин
Количество просмотров 1.7K

Китай - страна с невероятной историей и богатой культурой, ставшая в наши дни одним из главных экономических и технологических лидеров мира. Однако, вопрос свободы информации остаётся актуальным, особенно для тех, кто приехал из других стран. Интернет в Китае имеет свои особенности, которые могут вызвать проблемы для иностранных граждан.

Одной из отличительных черт интернета в Китае является так называемая "Великий китайский фаерволл" - система цензуры интернета, которая блокирует доступ к многим популярным западным сайтам и сервисам. Из-за этой стены, многие российские эмигранты, проживающие в Китае, испытывают трудности с доступом к государственным услугам России.

Эта проблема стала особенно острой в современные времена, когда большинство государственных услуг предоставляется в онлайн-формате. Это значит, что для удовлетворения своих потребностей в государственных услугах, российские эмигранты в Китае должны обходить систему цензуры, что может быть сложным и рискованным.

Читать далее
Всего голосов 7: ↑3 и ↓4 -1
Комментарии 8

Покрытие архитектуры as Code тестами

Уровень сложности Простой
Время на прочтение 16 мин
Количество просмотров 1.5K

💬 На самом деле, моя идея написания тестов на архитектуру настолько проста, легко реализуема и при этом полезна, что я до сих пор толком не понимаю, почему я не встречал материалов на эту тему, и сама тема всё ещё не используется повсеместно 🙂
Статья написана по следам моих докладов на трёх крупных ИТ-конференциях, на каждой из которых ко мне подходили архитекторы и разработчики российских бигтехов, говорили, что я очень точно попал в их боли и предложил суперпрактику, которую они теперь будут внедрять. На всех трёх конференциях я получил высшие оценки от аудитории, а на двух из них доклад был признан лучшим в своей секции. В конце статьи приведена ссылка на видео доклада с одной из конференций.
В статье я поделюсь своей идеей и OpenSource-реализацией решения для написания тестов, разберу примеры тестов на небольшой учебной микросервисной архитектуре, а также расскажу про личный опыт и профит от применения этой практики.
Для разработчиков монолита тоже есть небольшой бонус: в OpenSource-репозитории появилась реализация и примеры тестов на архитектуру модульного монолита.

Читать далее
Всего голосов 14: ↑13 и ↓1 +12
Комментарии 5

Hello-Packet. Быстрая идентификация mikrotik

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 1.9K

В этой небольшой публикации я расскажу, как настройить функцию идентификации устройства на филиальном корпоративном или домашнем роутере. Многие Mikrotik роутеры от различных серий имеют кнопку "Mode", на которой можно настроить эту функцию.

Часто бывает так, что администратор, ответственный за управление сетью в каком-либо филиале, звонит с просьбой о срочной помощи по настройке Ethernet портов, VLAN или Wi-Fi. Он может быть не знаком с моделью роутера, ничего не подписано, и обстановка выглядит довольно запутанно. В таких ситуациях возникают вопросы, особенно если у вас много дел и задача требует немедленного решения.

Процедура идентификации осуществляется путем отправки письма на электронную почту, содержащего следующую информацию: имя устройства, IP-адреса интерфейсов, DynDNS, и время срабатывания. Пользователь нажимает кнопку "MODE", после чего роутер издает одиночный звуковой сигнал, затем собирает данные и отправляет их по протоколу SMTP на указанный адрес. Таким образом, нужный роутер определен, и в общем уравнении остается меньше неизвестных, что позволяет продолжить работу без лишних препятствий.

Читать далее
Рейтинг 0
Комментарии 1

Инженеры, мы в ваших руках

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 3.7K

— Стакан наполовину пуст или наполовину полон?
— Мы инженеры. Стакан изготовлен по неверной спецификации.
/Сериал "Мир Дикого Запада" (Westworld)/

В середине этого января я шла с учёбы домой мимо могилы Ивана Кулибина. Простудный насморк не давал продышаться, я то и дело останавливалась среди гигантских сугробов. У памятника стоял первоклассник с бабушкой, внимательно его разглядывал, а потом спросил: «Кто это?». «Изобретатель», — машинально подумала я. «Великий русский инженер», — ответила бабушка. «Ин-же-нер», — повторил мальчик, кивнул и продолжил рассматривать чертежи на камне.

Инженер, пожалуй, более ёмкое слово. Для меня оно обыденное: выросла в семье инженеров-строителей, половина друзей — инженеры, работала инженером по тестированию, читала книги про инженеров. В общем, слово-значок: с башенным краном, каской, тубусом и шестерёнками. А между тем, это слово — целая вселенная со своей историей, драмой, трагедией, возрождением и, кажется, с прекрасным будущим. 

Читать далее
Всего голосов 34: ↑31 и ↓3 +28
Комментарии 8

G2 Market Research vs Gartner: слон или тигр?

Время на прочтение 7 мин
Количество просмотров 144

Мы в Кругах Громова любим исследования. Можно было бы даже сказать «собаку на них съели», но собакенов мы любим не меньше, чем исследования, и, конечно, есть никого не собираемся. Как бы там ни было, нам интересно – и, конечно, познавательно – наблюдать и изучать работу крупных мировых игроков. Сегодня решили поделиться с вами результатами сравнения двух «рапторов» – Gartner и G2 Market Research.

Читать далее
Всего голосов 4: ↑1 и ↓3 -2
Комментарии 0

Работа с очередями мертвых писем (DLQ) в AWS SNS

Время на прочтение 6 мин
Количество просмотров 213

Amazon Simple Notification Service (AWS SNS) — это мощный инструмент в арсенале облачных сервисов Amazon Web Services, предоставляющий простые и эффективные средства для управления уведомлениями и распределения сообщений в распределенных системах. SNS обеспечивает высокую гибкость в организации коммуникации между различными компонентами приложений, позволяя быстро и эффективно реагировать на разнообразные события и изменения в окружающей среде.

В данной статье мы рассмотрим ключевые особенности и возможности AWS SNS, а также проанализируем, как этот сервис способствует созданию устойчивых и масштабируемых архитектур облачных приложений.

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Комментарии 0

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн

Контроллеры для автоматизации, отечественные коммутаторы и оборудование для SMT-монтажа на выставке в Минске

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.5K

12-14 марта 2024 в Минске проходит 27-я международная выставка «Автоматизация. Электроника. Электротех. Свет».

Тема выставки пересекается с домашней и промышленной автоматизацией, поэтому мы решили рассказать о стендах и продуктах, которые нас заинтересовали.

Есть на выставке и стенд Wiren Board, на котором посетители могут ознакомиться с нашими новинками и получить ответы на вопросы из первых рук, от инженеров компании. Выставка закрывается в 14.00 в четверг, так что у минчан еще есть возможность посетить стенд.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 0

Одно, чтоб править всеми: как мы сделали хаб для сопровождения СУБД

Уровень сложности Простой
Время на прочтение 10 мин
Количество просмотров 1.4K

Работа в СУБД — это множество разноплановых задач: создание новых продуктов, плановые обновления, работа с инцидентами. По мере цифровизации компании количество таких задач растёт, очередь запросов наполняется. Всё больше времени уходит не на решения, а на подготовку — сбор данных, аналитику и прочие «ветряные мельницы». Разрешить эту проблему помогают графические инструменты управления базами данных.

Меня зовут Иван Пушкарь, и вместе с командой я разрабатываю один из таких инструментов — Platform V Kintsugi. В этой статье расскажу, как появились первые платформы и оркестраторы для работы с СУБД, что сейчас есть для управления PostgreSQL и как мы решили создать собственный инструмент, который стал бы кольцом Всевластья для множества баз данных Сбера.

Читать далее
Всего голосов 9: ↑5 и ↓4 +1
Комментарии 3

Apache NiFi. Как быстро подружиться с LDAP и Registry

Уровень сложности Простой
Время на прочтение 17 мин
Количество просмотров 853

Казалось бы, про Apache NiFi уже писали не раз. Но если ты только знакомишься с инструментом, разобраться в таких статьях бывает нелегко. Обычно с тобой говорят так, будто ты уже давно в теме, да и задачи чаще решают явно не твои. С официальной документацией тоже все сложно: она есть, но для быстрого погружения явно не подходит.

Вот почему я решил подготовить свой гайд для новичка. Попробуем максимально быстро разобраться с первичной настройкой NiFi и NiFi Registry, подключить авторизацию по LDAP, протестировать работоспособность, рассмотреть возможные ошибки настройки и отдебажить их. 

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 0

Обзор Протокола ISO-TP [ISO 15765-2]

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.1K

Как известно канальные CAN пакеты могут быть размером максимум 8 байт. Одновременно с этим, с более высоких уровней модели OSI могут поступить запросы передать огромные пакеты  [ jumbo frame(ы) ]. Как же разрешить это противоречие?

Эту ситуацию призван распетлять протокол ISO-15765-2 (или попросту ISO-TP ).

В этом тексте я выполнил обзор протокола ISO-TP.

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 9

Провести онлайн-опрос

Время на прочтение 12 мин
Количество просмотров 267

Зачем читать эту статью? Мы разберем, почему онлайн-опросы являются незаменимым инструментом для сбора данных и как они могут помочь вашему бизнесу расти и развиваться, принимая во внимание мнения и предпочтения вашей целевой аудитории. Онлайн-опросы предлагают уникальную возможность взглянуть на ваш продукт или услугу глазами потребителя и сделать обоснованные улучшения, основанные на полученной обратной связи.

Кто найдет эту статью полезной? Этот материал будет особенно интересен предпринимателям, ищущим способы оптимизировать свои продукты и услуги; HR-менеджерам, стремящимся улучшить внутреннюю культуру и вовлеченность сотрудников; маркетологам, желающим понять потребности своих клиентов глубже; а также UX-дизайнерам, которые хотят сделать интерфейс своего продукта максимально удобным и интуитивно понятным.

Читать далее
Всего голосов 16: ↑11 и ↓5 +6
Комментарии 1

Как организовать интересное обучение в IT и сохранить мотивацию

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.5K

Опыт и карьера складываются из маленьких кирпичиков. Иногда, только они и формируют движение по пути в профессии. Запрос на «большие» цели или проекты без «работы» по маленьким целям, может быть опасным и иногда недостижимым путем.

Читать далее
Всего голосов 12: ↑8 и ↓4 +4
Комментарии 1

Тестируем отечественную виртуализацию: итоги и выводы

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 7.1K

Привет, Хабр!

Вот и закончился мой цикл статей, посвященных российским решениям для виртуализации. В этом материале мы посмотрим, как показали себя участники эксперимента и подведем итоги.

Я решил отказаться от классической рейтинговой системы — сегодня не будет однозначных победителей и проигравших. Вместо этого я выделю ряд критериев, на основе которых мы обсудим сильные и слабые стороны тестируемых решений.

Читать далее
Всего голосов 20: ↑17 и ↓3 +14
Комментарии 9