Конфигурационные файлы Linux
![image](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/webt/5u/xf/gc/5uxfgcqaxewrq-qbbgsmjghyxoy.png)
1. Краткое содержание
Мощность ОС Linux кроется в возможности гибко настраивать систему под наши потребности. Большинство дистрибутивов содержат продвинутые пользовательские интерфейсы для конфигурации системы, однако, по сути, они лишь редактируют текстовые файлы в различных системных папках. Понимая, как работают конфигурационные файлы, мы можем отказаться от этих интерфейсов и повысить свой уровень владения Linux.
Из этого руководства вы узнаете, где файлы конфигурации расположены и каковы их функции. Благодаря стандарту иерархии файловой системы (Filesystem Hierarchy Standard) папки и файлы, которые мы рассмотрим, сохраняют своё расположение даже в разных дистрибутивах.
Пять способов управлять секретами в serverless стиле
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/685/ab4/400/685ab44004f01644aed9ee9cd9e8e86d.png)
В работе бессерверных приложений, которые еще ассоциируют с «лямбдами» или «функциями», часто требуется аутентификация на сервисе или в API вышестоящего уровня. При этом могут использоваться учетные данные, передаваемые в БД, или API-ключ, если требуется запрос во внешнюю систему.
Зачастую возникает вопрос: «Как надежно и безопасно внедрять секреты в бессерверные приложения?»
Представляем Windows Terminal Preview 1.13
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/7cb/ca4/c72/7cbca4c72a83cb0a4e4d2b85acfb5061.png)
Добро пожаловать в первый релиз Windows Terminal 2022 года! Как всегда, вы можете установить Windows Terminal и Windows Terminal Preview из Магазина Microsoft или из репозитория GitHub. Ну а подробности о релизе под катом.
Установка ubuntu 20.04 с корнем на шифрованном ZFS зеркале и UEFI загрузкой
На моей домашней машине вот уже 7 лет работает пара дисков, объединенная в soft raid1. И вот на днях один диск в зеркале наконец начал сыпаться. Появился повод переустановить систему с нуля и начать использовать шифрование, которое 7 лет назад не было задействовано. В процессе гугления о состоянии дел в конфигурации LUKS поверх mdadm я вышел на статью сравнивающей производительность zfs vs mdadm/ext4. А потом нашел другую статью с тестированием производительности зашифрованных дисков использующих LUKS и zfs. Согласно обеим статьям zfs демонстрирует весьма неплохую производительность и я решил попробовать ее в деле.
Мал золотник, да дорог: ученые из НИТУ «МИСиС» предлагают создать облачный супер-ПК из миллионов смартфонов
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/webt/la/ud/fn/laudfn0pgodyntp0b2ecjdpaqum.jpeg)
В идее распределенных вычислительных систем нет ничего нового. Идея реализована уже давно, плюс примеров таких реализаций множество, включая SETI, Folding@Home и другие. Идея в том, что специальное программное обеспечение использует незадействованные ресурсы локальных систем — например, ноутбуков и ПК, направляя их на выполнение полезных задач. Ну да, это может быть поиск сигналов внеземного происхождения или разных форм белка.
Но обычно такие системы и составляются из ноутбуков или десктопных ПК. А что, если задействовать ресурсы смартфонов или планшетов? Эта идея тоже не новая, но сейчас ее реализацией занялись российские ученые — специалисты из МИСиС.
Единый семантический слой BI и что он дает на примере платформы Microstrategy
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/ce7/0d0/e33/ce70d0e3327f02cad88b3258332a9d7e.png)
Ежедневно я общаюсь с большим количеством крупных компаний. Нередко они выражают желание построить data-driven компанию в течение следующих нескольких лет. Их ключевая стратегия заключается в создании DWH/Big data и подключении к ней пользователей, которые сами будут строить отчеты, визуализации и дашборды, используя self-service инструменты - Tableau, Power BI или Qlik.
Одна из основных проблем Tableau, Power BI или Qlik - у них нет единого семантического слоя, единой логической модели, единого определения всех атрибутов, фактов и показателей для всей бизнес-аналитики компании. Именно поэтому они растут в компании без контроля и governance, порождая множество версий правды в отчетности и аналитике в компании. Через какое-то время компании сталкиваются с тем, что уже не могут разобраться какому отчету доверять - данные не сходятся не только в разных системах Tableau, Power BI или Qlik, но и между отчетами в одной системе. Получается, что компании вкладывают огромные средства в построение единой версии правды на уровне хранилищ данных, а в конечном счете получают невероятное количество отдельных и ungoverned отчетов, визуализаций, дашбордов, которым они не могут доверять.
Tableau, Power BI и Qlik - отличные инструменты, если вы хотите, чтобы бизнес-пользователь мог выполнять локальную аналитику self-services для нужд своего отдела. Тем не менее, чтобы построить data-driven компанию на уровне всего предприятия, вам потребуется инструмент, который позволит упорядочить, структурировать и стандартизовать всю вашу бизнес-аналитику.
Решение головоломки Wordle в командной строке
Моя проблема в том, что я постоянно забываю слова. Даже между тем моментом, когда начинаю предложение, и тем, когда добираюсь до того его места, где я собирался использовать какое-то слово. Я знаю слова, и не могу сказать, что не понимаю их, когда их мне говорят. Но иногда я не могу их вспомнить, и ничего особо не улучшается даже тогда, когда у меня есть несколько букв, входящих в их состав. А вид перемешанных букв, похоже, только всё ухудшает. Неудивительно то, что любые игры, нацеленные на выдумывание слов, мне безразличны.
Мои первые три попытки решить головоломку Wordle провалились. На четвёртой попытке я застрял, так как не мог придумать ни одного слова, которое соответствовало бы подсказкам. Поэтому я сжульничал и обнаружил, что передо мной было одно слово, которое в точности подходило. Это слово выглядело абсолютно очевидным после того, как я понял, что могу использовать одну и ту же букву дважды. Но, как известно, любой вопрос — это ерунда, когда знаешь ответ.
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/webt/d1/yq/tr/d1yqtrnxkq0cs9cvn2vrdca4ize.png)
Как бы там ни было, если вы в чём-то похожи на меня, и при этом у вас под рукой имеются вполне обычные инструменты командной строки Unix, возможно, вам будет интересно узнать о том, как и вы можете играть в Wordle. Даже если вы совсем не дружите со словами.
Приложения для заметок с хостингом на своём сервере (замена Evernote)
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/post_images/a5c/154/ec3/a5c154ec3851c2d15bc73f4ede3c4481.jpg)
В принципе, сам по себе Evernote меня более-менее устраивает — работает, информацию я ещё не терял, просто сильно не нравится, куда он идёт. После выхода «new evernote» приложение резко потолстело как внешне, так и в плане потребления ресурсов, отбросило часть функций, приделало какие-то новые, лично мне не особо нужные, люди жалуются на пропадание данных, проблемы с оффлайн-режимом на телефонах, безопасность под вопросом, да и вообще — денег хочет.
Впрочем, заплатить за удобный сервис разумные деньги я не против, но если можно не платить — то предпочту не платить. Потому, когда собрал новый домашний сервер и начал перетаскивать какие-то сервисы от «дяди» к себе, задумался и о заметках. Как история показывает, этот тип приложений — один из самых подверженных различным облачным болезням, типа пропадания доступа, закрытия сервиса или смене тарифов.
Как защитить базы с персональными данными, рассказываем на примере крупного ритейлера
Недавно одна обширная торговая сеть запустила программу лояльности. Команда Бастион участвовала в этом проекте в качестве консультантов по информационной безопасности, и это отличный повод поговорить о защите баз с персональными данными.
В этом посте расскажем, как работает database activity monitoring, какие мощности нужны, чтобы анализировать гигабиты трафика на лету, и в чем внешний мониторинг превосходит встроенный.
Шард всемогущий: как масштабировать СУБД для highload системы
Весной 2021 года во французском Страсбурге случилось яркое событие: полностью сгорел дата-центр одного из крупнейших европейских хостинг-провайдеров (OVH). Всего за несколько часов пожар отрубил доступ к миллиону популярных сайтов и онлайн-сервисов во всём мире. Одна из вероятных причин — человеческий фактор. В результате под угрозой существования оказался не только сам ЦОД, но и весь бизнес провайдера. К слову, и в России ЦОДы тоже горят. К сожалению, пожар — не единственная проблема больших данных. Не менее опасно — highload системы. Это когда, например, приложение перестаёт справляться с моментальной нагрузкой, а вся инфраструктура работает на пределе возможностей, и запаса для роста у неё нет. Забегая вперед, скажу, что решение есть у каждой из перечисленных проблем. Но, обо всём по порядку.
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/webt/nl/3p/i1/nl3pi1ghxibs7n9gznmy9jgm-lo.jpeg)
Как Газпромбанк тестирует концепцию «робот для каждого»
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/d0b/753/e83/d0b753e836548de2ae087d93665462df.jpg)
Елизавета Поваляева, начальник Центра роботизации процессов
Алексей Голубинцев, заместитель начальника Департамента банковских процессов
Среды запуска контейнеров (container runtime) часть 3: Высокоуровневые среды запуска
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/437/129/138/43712913825d5b6f4e1a4d303d6ad82d.png)
Это перевод статьи ссылка
Автор оригинальной статьи: Ian Lewis.
Сылка на прошлую часть
Это третья часть из моего цикла статей о средах запуска. Много времени прошло с первой части, в ней я рассказал о средах запуска и о разнице между низкоуровневыми и высокоуровневыми средами. Во второй части мы погрузились в детали низкоуровневых сред и собрали простейший runtime.
Высокоуровневые среды являются наивысшим звеном. Low-level среды отвечают за запуск контейнеров, высокоуровневые же отвечают за транспорт и менеджмент образов контейнеров, распаковку и передачу контейнера низкоуровневым средам для запуска. Обычно high-level runtimes состоят из демона и API, которое позволяет приложениям запускать контейнеры и мониторить их, они передают необходимые команды низкоуровневым или другим высокоуровневым средам.
High-level runtimes поддерживают функции низкоуровневых сред, но для этого они используют отдельный контейнер. Например, одной из таких функций является управление сетью, и разрешение использовать контейнером сеть другого немспейса.
Вот концептуальная диаграмма для понимания того, как компоненты взаимодействуют между собой:
Проброс видеокарты в виртуальную машину
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/8c5/45d/0ef/8c545d0ef34821dd5ab39f7522703f4e.png)
Две разные системы (win + linux) на одной аппаратной базе - реальность. В этом нет ничего нового или инновационного (на данный момент времени), но если требуется максимальная производительность гостевой системы, то не обойтись без проброса реальных устройств в виртуальную машину. Проброс сетевых карт, usb-контроллеров (etc) экстраординарных особенностей не несёт, а вот попытка "шаринга" ресурсов видеокарты и процессора вполне может принести некоторое количество проблем.
Итак, а для чего, собственного говоря, городить системы с полнофункциональным использованием ресурсов GPU и CPU? Самый простой и очевидный ответ - игры (широко известный факт - если не большинство, то очень многие, написаны под ОС Windows). Другой вариант - полноценное рабочее место с возможностью запуска требовательных приложений (например, CAD-софта), быстрым бэкапом (скопировать файл ВМ куда проще, чем создавать полную копию HDD/SSD) и опцией полного контроля сетевого трафика гостевой системы.
Простор для данных
Зачем вообще нужны витрины и тем более Система для их построения?
Если коротко, то витрины (витрина от англ. data mart) – это набор структурированных данных. Обычно это данные по определенной теме или задаче в компании. Например, витрина с данными о заказчиках для отдела маркетинга может содержать подробные данные по договорам, истории заказов и поставок, оплатах, звонках и адресах доставки. Ничего лишнего, только нужные и актуальные очищенные данные, полученные из других ИС предприятия. Таких витрин даже на одном предприятии может быть множество.
Just-in-Time Kubernetes: Руководство начинающим для понимания основных концепций Kubernetes
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/d1b/b6e/453/d1bb6e453ff54bc17e107418abdb7682.png)
Итак, вы хотите освоить Kubernetes. Это такой технологический хайп, о котором, кажется, говорят все. Я затрудняюсь сказать, сколько рекрутеров обращались ко мне с предложением поработать с Kubernetes. Kubernetes — это определенно круто!
Дайджест интересных событий в сфере сетевых технологий: модульные дата-центры, крупные сделки и уязвимости iLO
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/webt/kp/3v/c5/kp3vc5fe9tbdr19n4kwh1fwlsl4.jpeg)
В мире сетевых технологий буквально каждый день происходит много чего интересного. Каждый раз писать новость или статью по этой теме — не хватит никаких ресурсов, поэтому мы решили время от времени выпускать дайджесты интересных событий. Сюда входят сделки между крупными компаниями, статистика рынков, новости технологий, создание новых объектов вроде дата-центров под водой, над водой, на земле и т.п.
В общем, надеемся, что такие дайджесты будут интересны Хабру. Поэтому начинаем. Кстати, если вдруг у вас есть предложения для добавления в дайджест — кидайте в комментариях, в следующем материале все учтем.
Разделяй и властвуй или как спасти оперативку
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/webt/da/kt/oo/daktoovkuysjbc4homa4pooagai.jpeg)
Вероятно, многие встречались с такой проблемой как нехватка оперативной памяти для решения той или иной задачи. Но порой данную проблему можно обойти, руководствуясь простому, но верному принципу: Разделяй и властвуй. Данный подход может помочь не только в ML задачах, но и других проектах.
Как обрабатывать объекты Avro с помощью датасетов Spark 3.2 & Scala 2.12
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/213/22f/103/21322f1038260476ec0ca13f7218df2c.png)
Привет!
В этом посте разберем, как обрабатывать объекты JVM, сгенерированные из схем Avro, в датасетах Spark. Вместе с этим рассмотрим, как организовать код при помощи шаблона функционального программирования "класс типов" (type class) на языке Scala.
Домашний веб-сервер для чайников
![](https://webcf.waybackmachine.org/web/20220317185951im_/https://habrastorage.org/getpro/habr/upload_files/a01/cdb/42e/a01cdb42e1ff65fb0784db2042d15afc.jpg)
Привет, Хабр! Относительно недавно после пары лет перерыва в айти, потраченных на изучение японского языка, мне пришлось срочно обновлять свои знания на работе. Ну знаете, искать возможности исполнить все хотелки начальника, как и положено эникею. Меня ждало много увлекательных открытий, но при этом, как водится, и немало боли и борьбы с непонятками. Docker, контейнеры, реверс DNS и реверс прокси, получение TLS сертификатов. В какой-то момент я наконец дошёл до удобного решения, которым я теперь хочу поделиться.
В своё время домашний сервер очень облегчил бы мне понимание Docker’а, да и удобство работы с ним неслабо бы повысил. Поэтому возникла идея написать эту статью, после прочтения которой любой человек даже с поверхностными знаниями в информационных технологиях сможет поставить себе постоянно доступный домашний сервер на базе Docker Swarm с удобной веб-мордой, простым получением TLS-сертификатов и Heroku-подобным функционалом (для чего будем использовать PaaS CapRover).
Статья, в общем-то, рассчитана на новичков, обладающих какими-то техническими знаниями — школьников старших классов, студентов и просто любителей — а потому вряд ли будет интересна серьёзным профессионалам.