Администрирование

Как крутить 2 сервера с белыми IP одного компа, и попутно разрабатывать Telegram Web Apps  на Bot API 6.7. Фронт + бэк на примере веб приложения внутри телеграм React + Fast-api.

В наши руки попал экземпляр контроллера компании Broadcom 946N-8i, который имеет 2Gb кеша и шину PCI-E 3.0. Данный RAID контроллер является полным аналогом 9460-8i, разработанный для компании NEC.

Класс анонимных сетей с теоретически доказуемой анонимностью является достаточно интересным по той лишь простой причине, что таковым сетям не страшен глобальный наблюдатель, они способны работать и функционировать даже в заведомо враждебных и полностью прослушиваемых средах.

Нам говорят, что Apache Kafka сохраняет порядок сообщений для каждой темы/раздела, но насколько это правда? В этой статье мы проанализируем несколько реальных сценариев, в которых слепое принятие этой догмы, может привести к неожиданным и ошибочным последовательностям сообщений.

Туториал о настройке обхода блокировок на роутере с OpenWrt с помощью BGP и сервиса https://antifilter.download/.

Всем привет! Меня зовут Сакович Руслан, я занимаюсь корпоративным риск-моделированием, и сегодня расскажу о построении скоринговых моделей. Эти модели позволяют оценивать кредитные риски и являются крайне важными в деятельности банка. К ним предъявляются высокие требования в плане точности, стабильности и интерпретируемости результатов, поэтому мы в основном не можем использовать методы «черные ящики» (как например бустинги или нейросети), и обычно вынуждены пользоваться логистической регрессией. Сам по себе метод логистической регрессии довольно простой с точки зрения математики, однако для построения хорошей модели он требует тщательной предварительной обработки и энкодинга исходных данных, а также последующего довольно трудоемкого отбора переменных в модель. Причем стандартные библиотеки вообще не предоставляют возможности построения хоть какой-нибудь адекватной модели прямо из коробки. Мы решили стандартизировать весь процесс разработки скоринговых моделей, собрали используемые нами алгоритмы и объединили в библиотеку vtb_scorekit.

«Ваши ученые так сильно беспокоились о своих талантах, что даже забыли подумать, стоит ли вообще это делать».

Эта цитата принадлежит доктору Иэну Малкольму (математику из «Парка юрского периода» в кожаном пиджаке), однако вполне применима не только к возрождению велоцирапторов, но и к недавнему взрыву популярности инструментов на основе ИИ.

На самом деле, современная ситуация с ИИ может быть даже более угрожающей, чем “Парк юрского периода”. По крайней мере, в фильме возвращение динозавров ограничилось одним островом и управлялось одной корпорацией. В нашей же реальности динозавры вырвались на свободу и с ними может поиграть любой желающий.

Спустя шесть месяцев после публичного релиза ChatGPT появилось множество браузерных расширений на основе ИИ. Их уже сотни — поищите по запросу «AI» в Chrome web store, и вы утомитесь скроллить, ещё не добравшись до конца списка.

Привет, Хабр! Жара наступает, но далеко не всегда есть реальная возможность установить стационарный кондиционер. На этот случай как раз создавались мобильные модели. В этом посте я расскажу о наиболее продвинутых “мобилках”, которые прямо сейчас есть на складе, и которые можно использовать для борьбы с жарой даже если речь идет о съемном помещении, а также о возможных методах их установки и нюансах, которые нужно знать, чтобы мобильный кондиционер все-таки радовал, а не расстраивал пользователя.

Три года я был эстонским пивоваром: придумывал рецепты и сам варил. Когда начал изучать Python, SQL и анализ данных, понял, что между подготовкой данных и подготовкой сусла много общего: оказывается, в цеху я занимался DS, но не подозревал об этом. Меня зовут Алексей Гаврилов, я сеньор дата-аналитик в ретейле. В этой статье расскажу, чем пивоварение и аналитика данных похожи изнутри.

В мае 2023 года «Фланту» исполнилось 15 лет. За это время из небольшого предприятия двух друзей-студентов, которые мечтали поставить GNU/Linux на каждый рабочий стол, мы выросли в команду опытных и уважаемых в индустрии DevOps-инженеров и постепенно трансформируемся в продуктовую компанию с собственной экосистемой продуктов.

В этой статье мы хотели порефлексировать о переходе от сервисной компании к созданию собственных продуктам, рассказать, как эти продукты развивались и что с нами произошло за последние 5 лет.

Сразу обозначим свой «символ веры». Услуга DevOps as a Service (DaaS) была, есть и будет основой нашей продуктовой линейки. Именно благодаря инженерам, которые 24/7 обслуживают сотни клиентских кластеров, мы можем получать максимально быстрый фидбэк по своим продуктам, тестировать новые релизы и собирать кучу новых идей для дорожной карты. То есть в нашем случае услуга, как бы странно для классических продуктовых компаний это ни звучало, является одним из ключевых компонентов продуктовой разработки.

Привет! Меня зовут Васильев Виктор, я DBA в компании UIS и CoMagic. В этой статье на реальных примерах расскажу, как можно сэкономить время разработчика, администратора баз данных и ресурсы сервера(ов), используя утилиту pg_rebuild_table. Сопровождая большие, высоконагруженные системы, с бо’льшей вероятностью каждый сталкивался с кейсами, о которых будет рассказано дальше. Некоторые технические подробности пройду без детализации, чтобы сильно не усложнять и не делать статью очень громоздкой. Лучше отвечу на вопросы в комментариях.

Привет, Хабр! В этой статье мы поговорим о том, что такое валидация компьютеризированных систем и как регулируется использование ПО в фармацевтическом секторе. 

В этой статье я хочу рассказать о своем опыте построения конвейера для прошивки устройств, в которые можно втыкать кабеля с 8-pin коннекторами на концах. Некоторые наблюдения, как мне кажется, могут помочь вам решать подобные кейсы в будущем.

Всем привет, я не блогер и не люблю писать посты и блоги, пока.

Решил найти решение для Terraform и Proxmox. После не долгих поисков нашёл провайдер под названием terraform-provider-proxmox. Так как на русском документации не было ни где, решил перевести документацию о ресурсах на русский язык как мог. Думаю что кому ни будь будет полезно и избавит от дополнительного труда.

Привет! 

Меня зовут Александр Маркачев, я 3,5 года работаю на позиции Data Engineer в билайне и люблю открывать для себя что-то новое и интересное в работе. Так случилось и с темой, которой я сегодня хочу с вами поделиться — со spill-ами.

Под катом мы поговорим о том, что такое Spill-ы в контексте Spark, и почему именно для Spark это не такая уж сильно плохая штука. Рассмотрим, из-за чего Spill-ы в принципе возникают, разберем несколько видов Spill-ов (и даже вызовем их намеренно), а затем будем решать эту проблему.

Что такое spill-ы в Spark

Вообще, Spill — это термин для обозначения процесса перемещения данных из памяти на диск, а затем снова обратно в память. По крайней мере, именно так гласит официальная трактовка. Если проще, то дело вот в чем — когда у Spark не хватает ресурсов для обработки, он перемещает данные на диск.

В процессе обработки существуют разные участки — есть Executor Memory, есть Storage Memory, и когда эти участки оба целиком заполнены, то они начинают переполняться и вызывать утечку данных. Причем в отличие от утечки в C, Java или еще где-то, в Spark это преднамеренное действие для того, чтобы ваша задача не падала. Собственно, именно поэтому при нехватке ресурсов данные и «проливаются».

Можно ещё сильнее упростить аналогию.

Борьба с кибератаками сегодня похожа на сражение с гидрой: отрубаешь одну голову,  на ее месте вырастает две. Как писали «Ведомости», количество кибератак в феврале 2023 года по сравнению с февралем 2022 года увеличилось на 65%. Первыми под удар злоумышленников попадают веб-ресурсы – корпоративные порталы с ценными данными клиентов и сотрудников, сайты e-com.

Какие типы кибератак сегодня преобладают? Какие облачные инструменты защиты веб-ресурсов стоит подключать в первую очередь? Почему защита нужна не только бизнесу, но и его контрагентам? Обо всем этом менеджер по развитию бизнеса КРОК Облачные сервисы Александр Фикс и руководитель отдела системного администрирования «РДЛ-Телеком» Иван Мельников поговорили на нашем митапе. А также обсудили практический кейс компании «РДЛ-Телеком». 

Ниже –  выжимка с главными тезисами встречи. А посмотреть запись и прочитать полную расшифровку можно почитать здесь.

Мечтал ли я когда-либо ворочать миллиардами? Честно признаюсь, да. И нельзя сказать, что Вселенная меня не услышала. Вот только я никак не имел в виду миллиарды записей в базе данных...

Ранее я уже писал о нашем опыте использования ScyllaDB в качестве архивного хранилища. Разумеется, исследования и открытия, связанные с новой базой данных, для нас на этом не закончились... Создавая архив для данных, вероятность обращения к которым близка к нулю, мы, конечно, допускали, что время от времени клиенты будут просить вернуть данные обратно в оперативное хранилище. Но запрос на извлечение из архива сразу всех записей стал для нас неожиданностью. Хорошо ещё, что клиента интересовал только ключ записи, а не вся запись целиком. Тем не менее достать 10 млрд. ключей из ScyllaDB за приемлемое время звучало как челлендж. Ну надо так надо.

Привет! Меня зовут Лиза Шеленговская, я разработчик в подразделении Yandex Cloud Security. Задача нашей команды — создавать сервисы безопасности в облаке, а также следить за безопасностью самого облака. Конечно, мы занимаемся и вопросами управления уязвимостями. Одна из самых частых угроз в облаке и в on-premise — утёкшие статические секреты. В этой статье я расскажу о проблеме утечек чувствительных данных в публичные репозитории кода и о сервисе Secret Scanner, который мы создали, чтобы обезопасить пользователей. С его помощью мы ищем секреты, оказавшиеся в открытом доступе.