Как стать автором
Обновить
21.05
Рейтинг

Серверная оптимизация *

Разгружаем сервер

Сначала показывать
Порог рейтинга

Использование URL-адреса функции AWS Lambda для создания бессерверного бэкенда для Slack

Блог компании FirstVDS Серверная оптимизация *Серверное администрирование *API *
Перевод

Сочетание сервисов AWS Lambda и Amazon API Gateway часто используется как архитектура для бессерверных микросервисов и решений на базе API. Эта архитектура позволяет разработчикам сосредоточиться на своих приложениях, а не тратить время на настройку и управление серверами.


API Gateway — это многофункциональное решение, включающее поддержку различных типов API (HTTP, REST, WebSocket), несколько схем аутентификации, возможность версионирования API, развёртывание Canary (Canary Deployment) и многое другое. Однако, если ваши требования скромнее, и всё, что вам нужно, это конечная точка HTTP(S) для вашей Lambda функции(например, для работы в качестве вебхука), вы можете использовать URL-адреса функций Lambda. Когда вы создаёте URL-функции, Lambda автоматически генерирует уникальную конечную точку HTTP(S), предназначенную для вашей функции.

В этой статье мы покажем на практическом примере, как использовать URL-адрес функции Lambda. Вы создадите функцию Go Lambda, которая будет служить бессерверным вебхук бэкендом для Slack.
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 715
Комментарии 0

Новости

Зачем мы установили беспроводные датчики мониторинга напряжения стоек и в чем профит для клиентов дата-центра

Блог компании Selectel IT-инфраструктура *Серверная оптимизация *Энергия и элементы питания Инженерные системы

Для работы любой серверной стойки в дата-центре необходимо электричество. Даже короткий сбой электроснабжения стоечного оборудования расценивается как серьезная авария, приводящая к отказу основных сервисов. Поэтому мониторинг напряжения в стойках так важен и операторы дата-центров уделяют ему значительное внимание.

Меня зовут Антон Бондарь, я работаю старшим инженером по эксплуатации в московском дата-центре Selectel — «Берзарина». Кстати, недавно этот ДЦ получил звание «ЦОД года» на премии ЦОДы.рф. В этом тексте я расскажу, как мы собираем данные по стойкам и почему решили установить для этого беспроводные датчики напряжения.
Читать дальше →
Всего голосов 35: ↑34 и ↓1 +33
Просмотры 4.3K
Комментарии 11

Резервное копирование с максимальной скоростью

Блог компании Acer Высокая производительность *Серверная оптимизация *Компьютерное железо

Количество цифровой информации в мире стремительно растёт. Чтобы обрабатывать и хранить эти объёмы, нужны мощные вычислительные ресурсы, высокопроизводительные системы хранения и резервного копирования. Сегодня мы хотим рассказать о некоторых серверах Altos, которые позволяют добиться высокой скорости резервного копирования.

Надёжность как фактор успеха

Основным направлением деятельности Altos с момента её присоединения к Acer в 1990 году была разработка высокопроизводительных серверов, рабочих станций, систем хранения данных. Основной упор в компании делали на максимальную надёжность создаваемых решений.

С 2017 года Acer обратила внимание на облачные решения и системы виртуализации. Этот процесс отразился и на Altos Computer, которая была переименована в Altos Computing. Основное направление деятельности обновлённой Altos — создание оптимизированных и экономически эффективных интегрированных решений на базе собственных серверов и рабочих станций, тонких клиентов, сетей и хранилищ.

Экономическая эффективность в Altos достигается за счёт собственных инженерных решений, а не использования более бюджетных комплектующих. Все критические компоненты устройств зарезервированы и имеют достаточный запас нагрузочной способности. В частности, практически все блоки питания серверов и высокопроизводительных рабочих станций имеют резервирование по схеме 1 + 1 и энергоэффективность на уровне 80 PLUS Platinum.

Факторы скорости

Помимо надёжности критически важным свойством для устройств резервного копирования является скорость, которая зависит от нескольких факторов: производительности процессора, дисков и сетевого интерфейса. Только сбалансированная работа этих компонентов обеспечивает отсутствие узких мест в ходе создания резервных копий с нескольких источников.

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 1.4K
Комментарии 3

Нетривиальный подход, или Как мы обнаружили баг в отечественной СУБД и успешно его обошли

Блог компании Инфосистемы Джет Серверная оптимизация *Администрирование баз данных *

Три года назад у одного из наших заказчиков — крупнейшего российского банка — появилась задача перенастроить платёжный сервис для ГИС ГМП (штрафы, пошлины и налоги), ГИС ЖКХ, а также запросы начислений (подписки). Выбор решений на рынке был невелик, поскольку нам нужно было подобрать продукт с готовыми комплектами ППО и СУБД, сертифицированный ФСБ России и ФСТЭК России. Перебрав несколько вариантов, мы остановились на комплексном Open Source-решении от российских компаний ID Systems и Red Soft. Плюсом также было использование одним из департаментов банка аналогичного пакета, только с другими адаптерами СМЭВ.

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 2.8K
Комментарии 3

Установка Nextcloud на Synology. Настройка OnlyOffice и External storage

Серверная оптимизация *Хранение данных *Хранилища данных *Облачные сервисы Софт
Из песочницы

В данном посте я хотел бы рассмотреть способ установки персонального облака на домашний сервер Synology при помощи Docker, поделиться своими ошибками и опытом использования в повседневной жизни. Я буду признателен, если более опытные пользователи habr также поделятся своим опытом и расскажут, как им помог Nextcloud в повседневной жизни или какие трудности в установке ими были пройдены.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 5.8K
Комментарии 14

Решение проблем производительности информационных систем при помощи инструментов бережливого производства

Блог компании ОТР Высокая производительность *IT-инфраструктура *Серверная оптимизация *

Привет, меня зовут Владимир Кононенко и я – руководитель управления внедрения в Группе компаний ОТР. Всем, кто работает с информационными системами (ИС), знакома такая история: на определенном этапе жизненного цикла ИС возникают ситуации, когда заказчик, использующий ИС, высказывает недовольство, что все тормозит, пользователи не могут работать, софт не выдерживает нагрузку, и так далее. В данной статье я бы хотел пошагово рассказать, как я решаю проблемы с производительностью и стабильностью ИС, созданных нашей компанией.

Я буду опираться на личный опыт и практику в недавних проектах ОТР – у нас много крутых специалистов с высоким уровнем экспертизы, есть центр компетенций PostgreSQL – а также на собственные знания: в свое время я окончил с отличием Ростовский государственный университет по специальности «Математические методы и исследование операций в экономике», а также получил сертифицированный черный пояс по программе «Шесть сигм» Государственного университета штата Аризона, США. На примерах из моей практики вы увидите, какие я выбираю инструменты и как они работают на каждом этапе.

Читать далее
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 1.6K
Комментарии 7

Оптимизация высоконагруженных конфигураций: от “всё пропало, мы все умрем” до комфортной работы без страха за жизнь

Высокая производительность *SQL *Проектирование и рефакторинг *Серверная оптимизация * *

Оптимизация высоконагруженных конфигураций: от “всё пропало, мы все умрем” до комфортной работы без страха за жизнь

Оптимизация высоконагруженных конфигураций
Всего голосов 8: ↑0 и ↓8 -8
Просмотры 1.8K
Комментарии 4

Тестируем космические технологии: насколько эффективно пассивное охлаждение серверов?

Блог компании HOSTKEY Хостинг Серверная оптимизация *Компьютерное железо

Системы охлаждения совершенствуются, но отвод тепла от электронных компонентов по-прежнему основан на использовании вентиляторов и массивных радиаторов. Можно изолировать холодные или горячие коридоры, устанавливать продвинутые системы мониторинга и управлять воздушными потоками в реальном времени, но технологический предел эффективности таких решений уже достигнут. И где разумная тому альтернатива?

Мы в HOSTKEY решили попробовать пассивное охлаждение и внедрили разработку компании «Теркон» — создателя систем охлаждения для космических аппаратов.

И что же вышло?
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 9.9K
Комментарии 122

Серверная архитектура: быстрый старт проекта и его эволюционное развитие

Серверная оптимизация *Облачные сервисы
Из песочницы

Ах, это соблазнительное желание «запилить свое приложение». Все мы с ним знакомы. Как ему не поддаться? Но столкнувшись с вопросами «как» и «где» разместить свой код, многие бросают эту затею. А это еще не было вопроса «Зачем».

В этой статье я хочу поделиться опытом, рассказать, как развернуть свое первое SaaS-приложение. Также разберем, как его развить в будущем. Это материал для тех, кто давно собирался, но не знает, как.

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 2K
Комментарии 6

Зачем компаниям API Management

Блог компании МТС Информационная безопасность *Серверная оптимизация *Микросервисы *
Из песочницы

Привет, Хабр! Мы – Ярослав Насонов и Надежда Колезнева – развиваем витрину для внешних API в МТС. Сегодня обсудим тему управления API в корпорации. Поделимся опытом внедрения API-менеджмента в МТС, расскажем, что уже сделали, сколько потратили времени, с какими ошибками столкнулись, и зачем все это вообще нужно.

Эта статья будет интересна всем, кто задумывается о централизации IT-сервисов в своей компании, не знает с чего начать внедрение API-менеджмента в компанию, и поможет ответить на вопрос – а нужно ли вообще это внедрение у себя?

Чтобы сделать статью полезной, мы побеседовали с главным по API-менеджменту в МТС – руководителем платформы ЦФК Алексеем Неботовым.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 3.8K
Комментарии 1

Dell VRTX — четыре блейда у вас под столом

Блог компании Сервер Молл IT-инфраструктура *Серверная оптимизация *Компьютерное железо

Давайте начистоту, мировой рынок серверов устоялся. На нём закрепились мастодонты, вроде Dell, HPE, Lenovo, IBM, Cisco, Huawei и другие. Все производят плюс-минус схожие линейки серверов: башенные, стоечные, блейд-системы. 

Принципиально новых решений почти не появляется. Вышли на плато и скучную эволюционная модель развития. Но есть кое что интересное, выбивающееся из серого однообразия — Dell PowerEdge VRTX. Модель не новая, но если стряхнуть пыль, то она сможет вас удивить.

Читать далее
Всего голосов 10: ↑7 и ↓3 +4
Просмотры 4.4K
Комментарии 14

Профилируем php на бою

Высокая производительность *Разработка веб-сайтов *PHP *Серверная оптимизация *
Tutorial

Привет Хабр! Последняя статья про инструменты для профилирования php датируется аж  2018 годом. Но все перечисленные решения разработаны много лет назад и имеют недостатки: древний интерфейс btp (аналог pinba), оверхед xhprof и необходимость ручного запуска phpspy на stage.

Я тимлид в рекомендательном сервисе Zoon и перед моей командой стояла цель найти инструменты, которые профилируют весь код на проде 24/7 и хранят данные. Инструменты, с которыми могут работать рядовые разработчики, без доступа к проду. Инструменты, которые позволяют находить "бутылочные горлышки" за 30 секунд.

В конце 2021 года показался свет в конце туннеля, в виде системы на основе семплирующего eBFP профайлера: prodfiler

С какими трудностями мы столкнулись при настройке и что вышло в итоге - под катом.

Читать далее
Всего голосов 21: ↑21 и ↓0 +21
Просмотры 2.5K
Комментарии 2

Linux LiveCD на базе CentOS и техники его использования в PXE-загрузке через Foreman

Блог компании HOSTKEY Хостинг Настройка Linux *Серверная оптимизация *Серверное администрирование *

Создатели дистрибутивов Linux предлагают пользователям пригодные для работы без установки образы операционных систем, однако универсальные сборки плохо подходят для задач хостинга. Рассказываем, как мы в HOSTKEY создали собственный LiveCD на основе CentOS и в итоге получили удобную управляемую систему сборки и доставки LiveCD.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 3.3K
Комментарии 5

Миллион одновременных соединений

Серверная оптимизация *Сетевые технологии *Серверное администрирование *
Перевод

Я слышал ошибочные утверждения о том, что сервер может принять только 65 тысяч соединений или что сервер всегда использует по одному порту на каждое принятое подключение. Вот как они примерно выглядят:

Адрес TCP/IP поддерживает только 65000 подключений, поэтому придётся назначить этому серверу примерно 30000 IP-адресов.

Существует 65535 номеров TCP-портов, значит ли это, что к TCP-серверу может подключиться не более 65535 клиентов? Можно решить, что это накладывает строгое ограничение на количество клиентов, которые может поддерживать один компьютер/приложение.

Если есть ограничение на количество портов, которые может иметь одна машина, а сокет можно привязать только к неиспользуемому номеру порта, как с этим справляются серверы, имеющие чрезвычайно большое количество запросов (больше, чем максимальное количество портов)? Эта проблема решается распределением системы, то есть кучей серверов на множестве машин?

Поэтому я написал эту статью, чтобы развеять данный миф с трёх сторон:

  1. Мессенджер WhatsApp и веб-фреймворк Phoenix, построенный на основе Elixir, уже продемонстрировали миллионы подключений, прослушивающих один порт.
  2. Теоретические возможности на основе протокола TCP/IP.
  3. Простой эксперимент с Java, который может провести на своей машине любой, если его всё ещё не убедили мои слова.

Если вы не хотите изучать подробности, то перейдите в раздел «Итоги» в конце статьи.
Читать дальше →
Всего голосов 103: ↑101 и ↓2 +99
Просмотры 40K
Комментарии 26

Правила перезаписи PostgreSQL

Блог компании FirstVDS Системное администрирование *PostgreSQL *Серверная оптимизация *
Перевод

Представления (Views) — это не совсем то, о чём вы можете подумать. В этой статье мы разберём правила перезаписи PostgreSQL, как они работают, что они могут и чего не могут делать.

Начиная с версии 10, PostgreSQL поддерживает концепцию правил перезаписи, которые позволяют изменять способ выполнения запросов.

Фактически правила перезаписи — это то, как представления реализованы в PostgreSQL. Когда вы обращаетесь к представлению, ваш запрос фактически переписывается в соответствии с правилом, которое было создано при создании представления. По сути, представление — это, как мы сейчас увидим, правило перезаписи.

Однако не стоит расслабляться — некоторые условности всё же есть. Например, эти правила перезаписи сильно отличаются от плагинов перезаписи MySQL и в целом являются более комплексными.
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 3.5K
Комментарии 1

От DVD и флешек до современных решений: как мы автоматизировали установку ОС на серверы

Блог компании HOSTKEY Хостинг Настройка Linux *Серверная оптимизация *Серверное администрирование *

Сдающие серверы в аренду компании сталкиваются с необходимостью автоматизации установки операционных систем. В первые годы мы в HOSTKEY предлагали клиентам лишь небольшое количество вариантов для инсталляции, но со временем усовершенствовали сервис. Рассказываем, как это сделать с минимальными затратами.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 4.3K
Комментарии 3

Как Uber сэкономил 70 тысяч ядер благодаря полуавтоматической настройке сборки мусора

Серверная оптимизация *Облачные вычисления *Go *
Перевод

Введение


В рамках мер повышения рентабельности наша команда недавно занялась снижением затрат на вычислительные мощности посредством увеличения их эффективности. Один из самых значимых вкладов был внесён в области оптимизации GOGC. В этом посте мы хотим поделиться высокоэффективным, малоопасным, крупномасштабным полуавтоматизированным механизмом настройки сбора мусора в Go.

Технологический стек Uber состоит из тысяч микросервисов на базе нативной облачной архитектуры на основе планировщика. Большинство этих сервисов написано на Go. Наша команда Maps Production Engineering ранее сыграла важную роль в значительном повышении эффективности множества сервисов Java при помощи настройки сборки мусора. В начале 2021 года мы исследовали возможности достичь такого же эффекта в сервисах на Go. Мы запустили несколько профилей CPU для оценки текущего состояния дел и выяснили, что сборка мусора была главным потребителем ресурсов CPU в подавляющем большинстве критически важных сервисов. Ниже приведено описание некоторых профилей CPU, в которых сборка мусора (определяемая объектом runtime.scanobject) потребляет значительную долю выделенных вычислительных ресурсов.
Читать дальше →
Всего голосов 25: ↑24 и ↓1 +23
Просмотры 8.8K
Комментарии 4

Использование PowerShell с $PSStyle

Блог компании FirstVDS Системное администрирование *PowerShell *Серверная оптимизация *Серверное администрирование *
Перевод

В PowerShell 7.2 появилась автоматическая переменная $PSStyle для новой функции под названием PSAnsiRendering. В этой статье я покажу, как можно использовать ANSI-рендеринг для управления оформлением текста, например цветом и стилизацией шрифта, в PowerShell.

Уже некоторое время мы можем использовать в сеансе PowerShell escape-последовательности ANSI. Вы уже могли наблюдать это при вводе команд в командной строке. Команды, параметры, строки и операторы отображаются цветом. Эти цвета определяются как опции PSReadline.
Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Просмотры 2.6K
Комментарии 3

Девочка, балансирующая на NVME-over-TCP 2.0

Блог компании RUVDS.com Системное администрирование *Серверная оптимизация *Серверное администрирование *Компьютерное железо

Привет всем! Рад вас снова видеть, и я счастлив, что вам так понравилась моя предыдущая статья под названием «А все ли врут? Продолжаем издеваться над NVME».

Напомню, что в этой статье я объяснил, как правильно подключить ваш NVME диск удалённо по сети. Не «как расшарить папку на диске?» и не «какой стороной впихивать NVME в компьютер?» а именно «Как подключить ваш NVME диск по сети».

Что вам это даёт? Вы можете подключить NVME диск на одном компьютере в другой компьютер прямо по сети. По самому обыкновенному медному кабелю. И вам не нужно будет устанавливать какие-то левые программы и настраивать что-то сомнительное. Вся система — часть стандартного набора драйверов Linux.

Более того, при наличии сети на 10Gbps вы сможете в полной мере насладиться полной скоростью NVME устройства. Вам будет казаться, что устройство работает как будто на вашем компьютере и с максимальной скоростью. Главное, чтобы сеть позволяла.

Всё это кажется магией, но на самом деле это возможно. И, конечно, у многих из вас это вызвало массу вопросов. Что же, у меня есть ответы. Всё, что вы хотели узнать об NVME-over-TCP, но боялись спросить.

Давайте под кат.
Читать дальше →
Всего голосов 55: ↑55 и ↓0 +55
Просмотры 10K
Комментарии 14

Фаззинг сокетов: Apache HTTP Server. Часть 3: результаты

Блог компании Wunder Fund Информационная безопасность *Серверная оптимизация *Серверное администрирование *Apache *
Перевод

Прим. Wunder Fund: наш СТО Эмиль по совместительству является известным white-hat хакером и специалистом по информационной безопасности, и эту статью он предложил как хорошее знакомство с фаззером afl и вообще с фаззингом как таковым.

В первой части этой серии статей я рассказал о том, как организовать фаззинг Apache HTTP Server с привлечением кастомных мутаторов. Во втором материале я раскрыл вопрос создания перехватчиков ASAN, которые позволяют выявлять ошибки при использовании собственных реализаций пулов памяти.

Эта статья, третья и последняя, посвящена результатам моих исследований. Я расскажу тут об обнаруженных мной уязвимостях Apache.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Просмотры 1.6K
Комментарии 1

Вклад авторов

Работа