Как стать автором
Обновить

Все потоки

Сначала показывать
Порог рейтинга

Новости

Как выжить под нагрузкой, имея 100 ТБ в нешардированной MongoDB

Блог компании STM Labs Распределённые системы *MongoDB *Высокая производительность *

Сегодня у нас — экшен, основанный на реальных событиях. Будем переобуваться в воздухе и на лету менять архитектуру высоконагруженной системы.

Действие разворачивается на базе очень большой track & trace системы класса big data. В ней давно откладывали переход на шардированную архитектуру хранилища. Поэтому главному герою предстоит справиться справиться со злом, пробудившимся в системе под нагрузкой: деградацией производительности, полкой по блокировкам и алертами о перегрузке.

В конце — как обычно, хэппи-энд. Наш герой бесстрашно меняет архитектуру решения на лету без downtime (DT) и обеспечивает штатную работу системы. Зло повержено, а отважный инженер купается в овациях!

Статья написана по мотивам доклада на конференции Saint Highload++ 2022. Если не хотите читать — можно посмотреть видео-версию выступления.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 295
Комментарии 0

Год на Airtable: как настроить процессы в компании с помощью low-code решения и стоит ли?

Управление проектами *Облачные сервисы *Софт

Привет, Хабр! Я — Антон Иванов, работаю продакт-менеджером в двусторонних платформах. Как правило отвечаю за опыт поставщиков, вместе с командой успел помочь разработать с нуля и удвоить выручку на второй год после запуска у трех мобильных  приложений и у двух веб-версий. Работал в логистике, e-commerce, процессинге. Когда это было нужно, приходилось закатывать рукава и глубже вникать не только в отстройку бизнес-процессов, но и в стек, архитектуру компании, о чем сейчас и хотел бы рассказать.

Если конкретнее, поговорим о моем опыте работы с таким продуктом, как Airtable. Его можно использовать малому, среднему и в определенных ситуациях — даже крупному бизнесу (в последних двух случаях — как временное решение, в статье объясню, почему). Airtable ни в коем случае не универсальный инструмент, а применять его стоит на первых порах развития проекта — когда все еще неясно, какие системы нужно внедрять, но функционала гугл-таблиц уже не хватает. Мы пройдемся по основным функциям Airtable и посмотрим, какую пользу они принесли продукту, который развивал я. Подробнее обо всем этом — под катом.

Читать далее
Рейтинг 0
Просмотры 176
Комментарии 0

Баттл «художников»: сравниваем Midjourney, DALL-E 2 и Stable Diffusion

Блог компании Selectel Будущее здесь Машинное обучение *Научно-популярное

Текстов про Midjourney, DALL-E 2 и Stable Diffusion много: их обозревали и даже сравнивали с дизайнерами. Мы решили пойти дальше и устроить между ними баттл: проверить, как нейросети генерируют литературных персонажей, исторических личностей, абстракции и другое. Что из этого получилось — показываем под катом.
Читать дальше →
Всего голосов 8: ↑6 и ↓2 +4
Просмотры 445
Комментарии 0

Я загрузил 4000 вирусов в разные облачные хранилища, и вот что из этого вышло

Блог компании Бастион Информационная безопасность *Антивирусная защита *Облачные сервисы *

Эксперты регулярно объявляют то одно, то другое файловое хранилище новой базой для хакерских атак. Это актуальная проблема, и по идее владельцы этих сервисов должны с ней бороться. Поэтому я решил провести небольшое исследование, завести аккаунты в известных облачных сервисах и проверить эффективность антивирусной защиты.

Читать далее
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 1.2K
Комментарии 3

MySQL. Оптимизация псевдо-больших данных

Блог компании RUVDS.com MySQL *SQL *Администрирование баз данных *Высокая производительность *

Работая над различными интересными задачами, мне только и приходилось слышать о существовании программ, которые работают с большими данными (в области действия одного сервера). И вот настал тот день, когда к нам обратился клиент, у которого сайт грузился очень долго. Задание для решения этой проблемы выдали моего коллеги. Немного прошло времени, до того как он подозвал меня к себе, с целью показать, столь диковинное для меня зрелище, связанное с объёмом таблиц, в которых находились данные после импорта категорий, характеристик, брендов товаров.

22 миллиона варианта категорий для нас показалось более чем приличным объёмом, тем более — вес таблицы с категориями получился чуть больше 1,6 Гиб. С такими размерами страницы начали грузиться дольше, чем хотелось бы. Ввиду того что, сроки на решение проблемы маленькие (чем быстрей тем лучше), руководство решило выделить на эту задачу, две единицы программистов, меня и моего коллегу. Разделив модуль на двоих, мне достались по объёму не самые сливки, но не менее ответственный участок, поскольку в нём — на загрузку данных, уходило значительное время.
Читать дальше →
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 260
Комментарии 1

Настраиваем память JVM-приложения в Kubernetes

Блог компании Домклик Программирование *Java *Kotlin *Kubernetes *

Друзья, всем привет! Как известно, в Kubernetes у каждого pod’а есть ограничение на  использование памяти (limits.memory), и, как показывает опыт, далеко не всегда очевидно, как JVM-приложение интерпретирует эту настройку, что порой может приводить к OOMKill.

 

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 318
Комментарии 0

Книга «Мир физики и физика мира. Простые законы мироздания»

Блог компании Издательский дом «Питер» Физика Читальный зал
image Приветствуем, Хаброжители!

Фантастические масштабы и диапазон тем, которыми занимается современная физика, поражают воображение. Мы знаем, из чего состоит всё (или почти всё), что нас окружает, видим невидимое, исследуем связи всех кубиков мироздания, можем проследить эволюцию Вселенной чуть ли не с момента зарождения пространства и времени, а законы физики позволяют создавать технологии, которые меняют нашу жизнь.

Всё, что окружает вас в настоящий момент, всё, что создало или построило человечество, стало реальностью благодаря нашему понимаю законов природы — сил, участвующих в формировании мира и свойств материи, на которую эти силы воздействуют. Как же понять законы мира, в котором мы живем?

Джим Аль-Халили — автор бестселлеров и ведущий BBC — признается в любви к физике и хочет показать, насколько она прекрасна. Прочитав эту книгу вы сможете не только понять что физики вкладывают в понятия «пространство и время», «энергия и материя», но и узнать, что ждет нас в будущем. Темная материя и энергия, мультивселенные и многое другое перестанут быть для вас пустыми словами.

Познакомьтесь с рассказом о современной физике без формул и занудных объяснений!
Читать дальше →
Рейтинг 0
Просмотры 280
Комментарии 0

Неочевидное про Fragment API. Часть 3. Навигация

Блог компании TINKOFF Разработка мобильных приложений *Разработка под Android *Kotlin *

Всем привет! На связи Максим Бредихин, Android-разработчик в Тинькофф. А это — третья статья об интересных моментах из Fragment API, о которых вы, возможно, не знали.

Наливайте чай, садитесь поудобнее и приятного чтения!

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 121
Комментарии 0

Заменяем Office 365: российские аналоги, которые мы используем уже сегодня

Блог компании Oxygen Cloud Platform Разработка для Office 365 *Удалённая работа Управление проектами *

Привет, Хабр! Не могу сказать, что именно сегодня назрела тема замены западного ПО на российские и открытые аналоги. Случилось это еще вчера. Но постепенно количество запросов на замену начало расти. И в этом посте мне хотелось бы спокойно и вдумчиво рассмотреть альтернативы для компонентов Office 365, но не теоретически, а именно те, которые используются в Oxygen в виде сервисов уже сегодня. Кто уже поменял офис или, наоборот, сидит на “призрачном” софте, который то ли есть в России, то ли уже нет — давайте под кат, обсудим ситуацию.

Читать далее
Всего голосов 11: ↑9 и ↓2 +7
Просмотры 1.3K
Комментарии 5

Защита внешнего сетевого периметра компании через регулярный пентест

Блог компании Тензор Информационная безопасность *Тестирование IT-систем *

Привет, ХАБР. В настоящее время для каждой компании стает ребром вопрос информационной безопасности. С одной стороны растет количество кибер-атак, с другой растет ответственность компаний за сохранность информации, тех же персональных данных. Как говорится, ставки со всех сторон растут и поэтому наличие в штате сотрудников, осуществляющих инфобез уже не является вопросом, а скорее аксиомой. В этом статье, на основе своего профессионального опыта я расскажу, как можно защищать внешние информационные ресурсы компании, через их регулярный пентест и почему важно пентестить на регулярной основе.

 Для простого понимания сути темы, отвечу на типичные вопросы:

Что такое Пентест?

Если кратко, то это такой метод оценки безопасности системы, который представляет собой моделирования действий кибер-преступника (хакера), которые он может провести с вашими информационными ресурсами, однако при такой методике есть незыблемое правило. Не доводить действия до деструктивных последствий. Иначе говоря, пентестер по своей сути тестировщик, применяющий инструментарий хакеров.

Почему безопасностью должен заниматься отдельный сотрудник, не отвечающий за настройку/работу сервиса?

Потому, что ни один, даже самый профессиональный сисадмин не сможет оценивать свой сервис не предвзято, да и у него основная задача другая – стабильная работа сервиса, за который он отвечает, а безопасность, скорее, дополнительная обязанность.

Я слышал, что есть основное разделение инфобезопасников на защищающихся (blue team) и атакующих (red team). Так чем этот подход плох?

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 275
Комментарии 2

3D-мастерская на орбите. Интервью с командиром экипажа космического эксперимента SIRIUS-21 Олегом Блиновым

Блог компании АСКОН CAD/CAM *Космонавтика 3D-принтеры

В июле завершился третий этап международного проекта SIRIUS (Scientific International Research In Unique Terrestrial Station), моделирующего длительные пилотируемые космические полеты. На протяжении 240 суток экипаж из 5 человек, представлявших три страны — Россию, США и ОАЭ, находился в полной изоляции в условиях, имитирующих работу реальной экспедиции на окололунной орбитальной станции и поверхности Луны. Эксперимент проходил в испытательном комплексе Института медико-биологических проблем Российской академии наук (ИМБП РАН) и предполагал полное погружение во все этапы космической миссии: от выхода на орбиту Земли и перелета до Луны до пребывания на орбите и возвращения на Землю.

Мы поговорили с командиром экипажа SIRIUS-21, начальником отделения по созданию комплексных тренажеров перспективных транспортных кораблей Центра подготовки космонавтов им. Ю. А. Гагарина Олегом Блиновым об участии в эксперименте, решении самых разных задач с помощью доступных 3D-технологий и, конечно, о буднях будущего межпланетного перелета.

Узнать подробности
Рейтинг 0
Просмотры 132
Комментарии 0

Нужны ли нам микросервисы?

Блог компании FirstVDS Программирование *Микросервисы *
Перевод

Сегодня особую популярность получила микросервисная архитектура веб-приложений. У такого подхода есть много известных сторонников. К ним относятся Facebook, Uber, Groupon, Klarna, Amazon, Netflix, eBay, Comcast и другие. Но насколько необходим подобный подход в каждом конкретном случае?

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 742
Комментарии 2

Онлайн-фестиваль TechTrain — для тех, кто уехал, и тех, кто остался

Блог компании JUG Ru Group Тестирование IT-систем *Java *Разработка мобильных приложений *Конференции

В эти турбулентные времена многие читатели Хабра меняют местоположение. И части из них сейчас не до докладов про технологии, даже если речь о бесплатном онлайн-мероприятии в субботу.

Однако мы считаем, что мероприятия полезны и в такое время. Они помогают отвлечься от бесконечного думскроллинга. И они помогают людям, оказавшимся в разных географических точках, по-прежнему ощущать себя участниками русскоговорящего сообщества. Поэтому 8 октября мы, как и собирались, проведём TechTrain.

Он предшествует нашей осенней серии конференций по разным направлениям (Java, JS, DevOps и так далее). И в его программе по одному докладу от этих конференций: один о видеотехнологиях, другой о мобильной разработке, третий вообще про генерацию картинок нейросетями.

Для участия достаточно зарегистрироваться на сайте. А в этом посте мы расскажем, какие доклады (и не только) там будут.

К программе
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 212
Комментарии 0

Бизнес — экосистема CarDamageTest. Как построить удобный сервис для автовладельцев?

Блог компании Финолаб Data Mining *Обработка изображений *Бизнес-модели *

В предыдущей публикации я рассказала о нашем сервисе, который теперь имеет запатентованное название CarDamageTest. Он предназначен для автоматической оценки технического состояния автомобилей на основе технологий искусственного интеллекта. И сейчас мне хотелось бы вынести на ваше обсуждение трансформацию этого сервиса в полноценную цифровую бизнес-экосистему для автовладельцев и компаний, работающих в автомобильном бизнесе.

В статье мы обсудим преимущества бизнес-экосистем по сравнению с обычными сервисами для клиентов, рассмотрим выгоды участия в таких системах для бизнеса, ну а в конце статьи вы найдете ссылки для скачивания нашего сервиса.

Читать далее
Рейтинг 0
Просмотры 142
Комментарии 2

Lavritech V7.1 Lite: открываем ящик Пандоры

Блог компании Timeweb Cloud DIY или Сделай сам Разработка для интернета вещей *Разработка под Arduino *Умный дом


В предыдущей статье я дал общее описание контроллера Lavritech V7.1 Lite и остановился на том, что для разбора схемотехники, распиновки и организации «материнской» платы потребуется отдельная статья. Сегодня мы разберём «матрицу» соединений и интерфейсов Lavritech V7.1 Lite и составим представление об этом, без преувеличения, чуде инженерной мысли.

Для тех, кто не читал первую статью, или не совсем понял о чём там идёт речь, напомню, что Lavritech V7.1 Lite является воплощением очень интересной и перспективной концепции «модульных» контроллеров, когда функционал конкретного контроллера набирается из стандартных модулей и блоков, почти как в конструкторе Lego.

Разумеется, чтобы такое стало возможным, нужно было создать и проработать очень нетривиальную концепцию интерфейсов и соединений, с которой я и приглашаю вас познакомиться.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 766
Комментарии 4

Обзор лучших бесплатных приложений для исследований в рамках форензики

Блог компании ГК ЛАНИТ Информационная безопасность *Open source *

На сегодняшний день у ряда специалистов по форензике в РФ возникают трудности в проведении исследования цифровых свидетельств с помощью платного коммерческого ПО, поскольку не всегда есть возможность продлить лицензионную подписку или срок действия аппаратного ключа. Приходится искать альтернативные пути, которые позволят, пусть и с некоторыми потерями во времени, выполнять расследования с сохранением достаточного уровня качества. Мы в “Информзащите” изучили довольно большой ряд бесплатных опенсорсных инструментов, которые применяем в наших расследованиях и хотим поделиться с вами нашими впечатлениями и опытом применения такого ПО.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 701
Комментарии 0

Kotlin. Автоматизация тестирования (Часть 3). Расширения Kotest и Spring Test

Блог компании Мир Plat.Form (НСПК) Тестирование веб-сервисов *Kotlin *
Tutorial

Kotest


Продолжаем автоматизировать функциональные тесты на Kotlin и знакомиться с возможностями фреймворка Kotest


Расскажу про расширения Kotest:


  • Что это такое
  • Как расширения помогают писать тесты
  • Реализацию запуска расширений в Kotest
  • Некоторые встроенные расширения
  • Про расширение для Spring
  • Углублюсь в интеграцию Kotest и Spring Boot Test
  • Сравню с Junit5
  • И на закуску добавлю отчеты Allure

⚠️Будет много кода, внутренностей и примеров.

Все части руководства:


Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 253
Комментарии 0

Опыт многопоточной работы, или Как быть DevOps’ом для множества команд разработки

Блог компании Nixys Учебный процесс в IT Карьера в IT-индустрии DevOps *Удалённая работа

Привет, Хабр!  В этой статье хотел бы поделиться опытом участия в процессе цифровизации огромной компании. Под катом расскажу об особенностях, с которыми столкнулся при взаимодействии с большим количеством команд разработки. На их основе во второй части статьи рассмотрим, какие принципы помогли справиться с работой в таких условиях и оптимизировать ее. 

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 654
Комментарии 0

«Уехал, и что дальше?» ч.2 — подборка для тех, кто не готовился к эмиграции

Образование за рубежом IT-эмиграция

Продолжение предыдущей статьи с важной информацией для тех, кто не планировал эмиграцию.

Читать дальше →
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 2.3K
Комментарии 2