Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга

5 советов о том, как выполнить успешное планирование спринта

Управление разработкой *Agile *Облачные сервисы *
Из песочницы

Планирование спринта является ключевым элементом работы в Scrum. Тем не менее, это все еще проблематичное и часто поверхностное событие для многих групп. Основываясь на своем опыте, я подготовил пять советов, которые помогут вам лучше спланировать свой следующий спринт.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 289
Комментарии 0

Новости

7 печатей ТИМ

IT-инфраструктура *Геоинформационные сервисы *Хранилища данных *Законодательство в IT Интернет вещей
Из песочницы

Давно собирался написать данную статью и представить свое видение в отношении Технологии информационного моделирования (ТИМ). ТИМ имеет бесчисленное множество преимуществ при реализации, и в случае достижения результативности внедрения во все субъекты строительной отрасли можно будет наконец-то поставить жирную точку в вопросе бесконтрольности строительных процессов. Не знаю, когда удастся превратить ТИМ в привычную технологию, но …

… разве я спроста провожу параллель с Апокалипсисом?! Когда грядет тот миг воцарения цифры в стройке, тогда мир не будет прежним! Слишком фанатично. Согласен. Наяву внедрение информационных технологий происходит очень медленно, болезненно и туго, поэтому такой расклад на практике не воодушевляет и не наращивает инициатив в развитии. Но стоит представить, как эти идеи воплощаются в жизнь, сразу хочется взять и сделать чертежи в BIM (хах, нет).

Читать далее
Рейтинг 0
Просмотры 183
Комментарии 0

От wtf-кода к чистой архитектуре

Блог компании Southbridge Программирование *IT-инфраструктура *Go *Управление разработкой *
Перевод

Материал заботливо подготовлен на основе перевода части книги Go With The Domain, а именно — главы 9 «Чистая архитектура» за авторством Miłosz Smółka.

В этой части говорится о том, как из wtf-кода прийти к чистой архитектуре с помощью сочетания двух идей: разделении портов и адаптеров + ограничении того, как структуры кода ссылаются друг на друга.

Читать далее
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 2.3K
Комментарии 0

Очередь недоставленных сообщений для обработки ошибок в Apache Kafka

Блог компании Southbridge Администрирование баз данных *Apache *Хранилища данных *DevOps *
Перевод

Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafka.

Мы рассмотрим несколько вариантов: кастомная реализация, Kafka Streams, Kafka Connect, Spring Framework и Parallel Consumer. Вы увидите, как Uber, CrowdStrike и Santander Bank реализуют надёжные механизмы обработки ошибок в реальном времени и в огромном масштабе.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 1K
Комментарии 1

Monq 7.0: сценарное управление и автоматизация; как концепция кода изменила мониторинг и его инструменты

Блог компании Monq Системное администрирование *IT-инфраструктура *DevOps *Софт

В последние годы среди организаций, живущих философией DevOps и SRE, стал популярен подход “всего как кода”. Особенно часто он встречается при управлении инфраструктурой. Направление IaC (infrastructure as a code), где ручная настройка заменяется использованием скриптов, появившись в ответ на растущую виртуализацию данных, превратилось в IT-стандарт и неотъемлемую часть DevOps. Представление инфраструктуры в виде кода обеспечивает её гибкость и масштабируемость, автоматизирует ручные задачи, минимизирует риск человеческого фактора и позволяет эффективнее использовать существующие ресурсы. Но рука об руку с инфраструктурой идёт и её мониторинг, а потому резонным является вопрос о том, как на нём отразилась описанная выше концепция. 

В этой статье я расскажу про такой подход как Monitoring as a Code и покажу его реализацию на примере нашей платформы для мониторинга и автоматизации Monq 7.0.

Читать далее
Рейтинг 0
Просмотры 537
Комментарии 0

HaaS, работа 24/7 и модульная оптимизация: как сэкономить 50 млн рублей и ускорить обмен данными в 10 раз

Блог компании CloudMTS Высокая производительность *Управление проектами *Облачные сервисы *Компьютерное железо
image

Современный завод создает не только огромное количество продукции. Предприятие с помощью устройств генерирует данные, которые можно трансформировать в умные решения для повышения производительности.

Чтобы эффективно обрабатывать большие данные, оптимизировать бизнес-процессы и повысить их управляемость, к нам за помощью обратились представители крупного промышленного предприятия.

Заказчик в течение года расширял производство: открывал новые линии, внедрял современные системы, автоматизировал процессы. Эти меры увеличили нагрузку на сеть. Требовалось повысить скорость передачи данных в 10 раз и добиться отказоустойчивости в режиме 24/7.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 544
Комментарии 1

Платформа управления качеством данных на Open Source

Блог компании Газпромбанк Хранение данных *

Значение данных для эффективного управления организацией расчет с тех пор как больше ста лет назад Фредериком Уинслоу Тейлором были заложены основы научной организации труда. Появление компьютеров позволило вывести их обработку и использование на принципиально новый уровень. Объем используемых человечеством данных растет по экспоненте. По прогнозам экспертного сообщества их объем уже через три года (в 2025 году) достигнет 180–200 Зеттабайт.

Ручная обработка больших объемов информации практически невозможна и мы вынуждены все больше полагаться на сложные алгоритмы обработки, подготовки и анализа. Агрегация данных становится все более и более высокоуровневой, десятки и сотни миллионов записей в базах данных сводятся машинами в одностраничную табличку, на основе которой принимаются стратегические решения.

Но ошибки в исходных данных вызывают ошибки в расчетах производных, в лучшем случае алгоритмы оказываются неспособны их обработать и процесс аварийно останавливается, а в худшем – менеджер получает результат анализа, не осознавая, что ошибки привели к абсолютно неадекватному результату. Образно говоря, он начинает грызть футбольный мяч, будучи уверен, что это арбуз.

Здесь мы приходим ко вполне предсказуемому, но все еще неочевидному для многих выводу: управление современной организацией невозможно без создания системы управления данными и, в частности, системы управления КАЧЕСТВОМ данных.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 518
Комментарии 1

Особое мнение: предугадываем фрод без дата-сайнса

Блог компании Конференции Олега Бунина (Онтико) Big Data *Data Engineering *

Каждая компания, принимающая платежи на своем сайте или в магазине, рано или поздно сталкивается с фродом (fraud) и несет убытки. Есть разные методы борьбы с ними. 80% всех задач обычно решаются скриптами, а потом к ним уже докручивается дата-сайнс. Правда не всегда понятно для чего. Но давайте пока не будем останавливаться на этом, а попробуем решить типичные проблемы. Такие, как сбор данных, долгий этап оценки гипотез и снижение нагрузки на внешние системы.

Меня зовут Александр Сальков. Я разработчик в Sportmaster Lab. Руковожу направлением дата инженерии и больше 10 лет разрабатываю базы данных и все системы, которые так или иначе с ними связаны. Когда я был молод, написал свой вариант Кафки, который делал то же самое, что делает Кафка, только между инстансами Oracle. Участвовал во всяких разных датасаентистских вещах. В частности, делал систему идентификации людей по венам на ладонях. И много всякого интересного.

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 825
Комментарии 0

Куда приводят Ops'ы: размышления о развитии ландшафта *Ops-специализаций

Блог компании ITSumma IT-стандарты *Big Data *Машинное обучение *DevOps *


Разнообразные и разнонаправленные изменения, на которые 2022-й оказался более чем щедр, натолкнули на размышления о том, каков текущий Ops-ландшафт и как он (потенциально) будет изменяться в ближайшей и среднесрочной перспективе. И хотя все сейчас живут в соответствии с известным изречением «Хочешь насмешить Бога — расскажи ему о своих планах», можно попытаться кое-что спрогнозировать.

К слову о прогнозировании: несмотря на недавние новости о снижении мобильного трафика в России, Nokia Bell Labs предсказывает рост мирового объема IP-трафика в 2022 году до уровня в 330 эксабайт в месяц. А количество устройств, подключенных к Интернету вещей, по мнению экспертов, вырастет до 100 млрд в 2025 году. И большую часть сгенерированных устройствами и пользователями данных, так или иначе, будет анализировать бизнес.

Для автоматизации этого процесса используются платформы обработки и хранения данных, которые дают аналитикам огромные возможности по их глубокому изучению. Однако инфраструктуры таких платформ довольно сложно сопровождать — они содержат много компонентов и связей между ними. А у BI-специалистов свои задачами, им недосуг следить за тем, как, например, распаковывается JSON или извлекаются данные. Так что «платформа ищет человека». И находит его — в лице DataOps- и MLOps-инженеров.
Читать дальше →
Всего голосов 19: ↑17 и ↓2 +15
Просмотры 688
Комментарии 1

Переезжаем с Oracle и Microsoft SQL Server на Platform V Pangolin: опыт Сбера

Блог компании Сбер Высокая производительность *Информационная безопасность *PostgreSQL *Администрирование баз данных *

Привет, Хабр! На связи Михаил Семёнов, лидер дивизиона баз данных в СберТехе, Артём Лаптев, руководитель эксплуатации продукта Platform V Pangolin в SberInfra, и Вячеслав Гавришин, руководитель команды развития Platform V Pangolin в SberInfra. 

В этой статье мы поделимся историей импортозамещения систем управления базами данных в Сбере и опытом миграции с MSSQL и Oracle на собственную СУБД Platform V Pangolin. А ещё расскажем, как разрабатываем и кастомизируем отечественную СУБД уровня enterprise. Кроме того, покажем, какие решения помогли нам упростить процесс миграции и использовать продукт в микросервисной архитектуре Банка. Если вам это близко ― просим под кат!

Читать далее
Всего голосов 14: ↑10 и ↓4 +6
Просмотры 2.8K
Комментарии 10

Делаем firefox корпоративным браузером

Блог компании RUVDS.com Firefox Системное администрирование **nix *

Всем привет. Предвижу вопросы у большинства — а он разве не корпоративный?

Да, не корпоративный. Возможно, я связался с плохой компанией, но для меня пока ещё основной рабочий браузер — это Internet Explorer не выше 11 версии. Корпорация — организм большой, инертный. Менять софт — сплошные муки пользователям, головняк ИТ-службе, счастье интеграторам. Именно поэтому до сих пор на десктопах тут живёт винда, вплоть до XP, а периметры сетей зажаты в первую очередь бумагами с печатями, и потом уже межсетевыми экранами. Ну и основным «сдерживающим фактором» является обилие «легаси», приложений с ActiveX и безальтернативной поддержкой Internet Explorer в разметке.
Читать дальше →
Всего голосов 32: ↑30 и ↓2 +28
Просмотры 3.7K
Комментарии 5

Что делать со сбоями в подах: практическое руководство с примерами конфигураций

Блог компании VK DevOps *Kubernetes *
Перевод


Команда VK Cloud перевела статью о том, почему возникают сбои в кластерах Kubernetes и как с ними бороться.

Осознанные прерывания и непреднамеренные сбои


Поды исчезают по причинам двух категорий: если возникает неустранимая ошибка аппаратного обеспечения или системы либо если их уничтожает человек или контроллер. Первую категорию необратимых ситуаций мы называем непреднамеренными сбоями приложения. Например:

  • происходит сбой оборудования, на котором размещен узел;
  • администратор кластера по ошибке удаляет (экземпляр) виртуальную машину;
  • ВМ исчезает из-за сбоя в работе гипервизора или облачного провайдера;
  • возникает критическая ошибка ядра;
  • узел исчезает из кластера из-за сетевого раздела кластера;
  • происходит выселение пода с ноды из-за отсутствия ресурсов на ней или превышения лимитов.

Примечание: Большинство этих событий неспецифичны для Kubernetes и должны быть знакомы пользователю, за исключением проблемы с отсутствием ресурсов на ноде.
Читать дальше →
Рейтинг 0
Просмотры 644
Комментарии 0

Расширение зоны покрытия Wi-Fi на пляже

Сетевые технологии *Беспроводные технологии *

Недавно к нам обратился клиент из страны бывшего СССР. Он организовал свободный доступ к Wi-Fi на городском пляже. Были выполнены изыскания, обследована местность, смонтировано оборудование и торжественно перерезана красная ленточка, но качество сервиса оказалось неудовлетворительным: частые обрывы соединения, низкая скорость и недостаточная зона покрытия. В ходе разбирательства выяснилось, что никаких обследований местности ни до развертывания, ни после не производилось, реализация проекта основывалась только на моделировании RSSI, а все работы по факту выполнял подрядчик.

Читать далее
Всего голосов 7: ↑5 и ↓2 +3
Просмотры 2.7K
Комментарии 8

Руководство по программированию сокетов на Python. Клиент, сервер и несколько соединений

Блог компании SkillFactory Python *Программирование *Сетевые технологии *
Перевод
Tutorial


К концу руководства вы освоите основные функции и методы модуля Python socket, научитесь применять пользовательский класс для отправки сообщений и данных между конечными точками и работать со всем этим в собственных клиент-серверных приложениях. Материалом делимся к старту курса по Fullstack-разработке на Python. Для удобства чтения первая часть — за спойлером.
Посмотреть
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 3.3K
Комментарии 4

Давайте избавимся от LAMPового рабства

Хостинг DevOps *

Не знаю как вы, а я регулярно сталкиваюсь с ситуацией - предлагаешь кому-то сделать проект на современном стеке технологий, а он говорит - "Да я лучше установлю Wordpress". Думаю, многие мало-мальски опытные программисты, ненавидят вордпресс. Но почему заказчики предпочитают его?

Да, можно сказать, что для него есть куча готовых плагинов, что многие программисты его знают (пусть и ненавидят). Но в то же время даже заказчики понимают, что вордпресс очень быстро превращает в тормозящую свалку из плагинов разной степени глючности. Но почему они все-таки его предпочитают?

Мне кажется я нашел ответ. Этот ответ - хостинги.

Точнее, виртуальные LAMP-хостинги. Те самые, по 100 рублей сайт. Они не меняются последние лет 20. И они действительно очень удобны для простых людей.

Почему? Потому что там все есть. Панель управления, где есть кнопка "Создать сайт на Wordpress/Drupal/MediaWiki с таким-то адресом". Ты нажимаешь, и сайт создан. Всё. Для заказчиков это куда важнее любой технологичности.

И тут я задумался - а почему нет замены этому для современных веб-сервисов на современном стеке технологии? И нашел ответ, который меня поразил. Замена есть. Но ею никто не пользуется как заменой.

Это docker-образы.

Docker-образ - это буквально картридж для игровой приставки, который вставил в слот, и он сразу работает. Ну, несколько env-параметров укажи, и работает. Технологический стек при этом может быть любым. Docker для этого и нужен - абстрагировать технологический стек и все окружение от конечной эксплуатации.

Читать далее
Всего голосов 20: ↑7 и ↓13 -6
Просмотры 7.6K
Комментарии 21

Дайджест о протоколах, сетях и работе интернет-провайдеров

Блог компании VAS Experts IT-инфраструктура *IT-стандарты *Читальный зал

Делимся последними материалами из нашего корпоративного блога и блога на Хабре. Сегодня в подборке — как поднять собственный DNS-сервер, стародавняя сетевая проблема с «раздуванием» буферов и куда пропал IPv5.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 2.2K
Комментарии 0

Три эпохи интернета: как корпорации превращаются в сторожей интернета

Блог компании AdminVPS Информационная безопасность *Читальный зал Облачные сервисы *История IT

Интернет, каким мы его знаем, прошёл три стадии развития.

Первая эпоха интернета: первобытный бульон, в котором зарождались сервисы и идеи, отбирались люди и формировались команды. Интернет на этой стадии был ещё далеко немассовым. Эта стадия приходится примерно на 1995-2005.

Вторая эпоха интернета: захват масс. Примерно 2006-2015. Продукты, прошедшие первичный отбор, начали втягивать в интернет рядовых и корпоративных пользователей, предложив настолько крутые решения актуальных проблем, что интернет превратился в предложение, от которого нельзя отказаться. Это был пик интернета как либертарианского идеала: люди пользовались ему благодаря тому, какую ценность он создавал, а не по принуждению. Стартапы, возникшие в первую эпоху, превращаются в корпорации.

Третья эпоха интернета (2016–…): закрепощение масс. Корпорации выросли до пределов доступного им рынка: всё более-менее экономически активное население большинства развитых стран оказалось охваченным, пространства для экстенсивного роста не осталось, и теперь экономическая конкуренция превратилась из бесконечной экспансии и поисков новых идей, рынков, миров, в борьбу за передел и контроль над оформившимся во Вторую эпоху интернета рынков.

А ещё третья эпоха интернета совпала с приходом в интернет государства.

Читать далее
Всего голосов 30: ↑28 и ↓2 +26
Просмотры 4K
Комментарии 17

Ожидание/реальность: какой компьютер нужен пользователям Хабра для работы

Системное администрирование *Компьютерное железо Ноутбуки
Мегапроект

Это те компьютеры, которые вы ищете.

Да пребудет с вами сила! В прямом смысле. Вместе с российским производителем компьютеров и комплектующих — компанией «Сила» — мы решили узнать, смогут ли отечественные производители удовлетворить запросы разработчиков.

Ответьте на несколько вопросов и расскажите в комментариях, что важно именно для вас — мы соберём ответы, проанализируем результаты и посмотрим, что могут предложить отечественные производители.

Читать далее
Всего голосов 45: ↑31 и ↓14 +17
Просмотры 4.5K
Комментарии 24

Сравнение FineBI и Power BI

Big Data *Визуализация данных *Хранение данных *Хранилища данных *

За последнее время, на рынке BI-услуг все чаще можно услышать упоминание нового игрока в лице китайской компании FanRuan.

Основанная в 2006 году, она является китайским лидером в продвижении систем бизнес-анализа в массы, с 15% долей локального рынка и более чем 15 тысяч клиентами.

Производитель китайского BI-решения, представляет продукт Fine BI как удобный инструмент для Self Service BI-анализа, способный стать заменой такому мировому гиганту как PowerBI, в сравнении с которым он будет сегодня рассмотрен более подробно.

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 946
Комментарии 2

Первый облачный. Как создавался первый в России облачный провайдер

Блог компании Serverspace IT-инфраструктура *Развитие стартапа Облачные сервисы *IT-компании

2008 год. Международный год картофеля, год дельфина и год семьи в России. В 2008-м на выборах президента Российской Федерации победил Дмитрий Медведев, в Белграде состоялся финал конкурса «Евровидение», который выиграл Дима Билан, а звание «Мисс Мира» завоевала россиянка Ксения Сухинова. В этом же году в нашей стране появился первый в России и в Европе облачный провайдер, основанный предпринимателем и венчурным инвестором Дмитрием Гачко.

Хостинг, как коммерческая услуга, возник в России едва ли не одновременно с самим Интернетом — в средине девяностых. Предоставлявшие клиентам доступ к Сети провайдеры предлагали всем желающим дисковое пространство под небольшой сайт или домашнюю страничку, чаще всего даже без собственного домена. На Западе в те времена уже существовал сформировавшийся рынок как бесплатного, так и коммерческого хостинга: первой компанией, чей бизнес был связан именно с размещением сайтов в интернете, стала GeoCities, позже вошедшая в состав Yahoo.

Как создавалось первое облако?
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 814
Комментарии 1

Истории