Кунг-фу стиля Linux: наблюдение за файловой системой
- Перевод
Вы отправляете кому-то анонимный подарок на НГ, а кто-то отправляет вам. Круговорот счастья!
Хо-хо-хо, я в деле!Предлагаю ознакомиться с ранее размещенными материалами по проекту Starlink (SL):
Часть 1. Рождение проекта ‣ Часть 2. Сеть SL ‣ Часть 3. Наземный комплекс ‣ Часть 4. Абонентский терминал ‣ Часть 5. Состояние группировки SL и закрытое бета-тестирование ‣ Часть 6. Бета-тестирование и сервис для абонентов ‣ Часть 7. Пропускная способность сети SL и программа RDOF ‣ Часть 8. Монтаж и включение абонентского терминала ‣ Часть 9. Сервис на рынках вне США ‣ Часть 10. SL и Пентагон ‣ Часть 11. SL и астрономы ‣ Часть 12. Проблемы космического мусора ‣ Часть 13. Спутниковая задержка в сети и доступ к радиочастотному спектру ‣ Часть 14. Межспутниковые каналы связи ‣ Часть 15. Правила предоставления услуг ‣ Часть 16. SL и погода ‣ Часть 17. Второе поколение SL
Первый этап в определении оптимальной конфигурации исполнителей (executor) - это выяснить, сколько фактических ЦП (т.е. не виртуальных ЦП) доступно на узлах (node) в вашем кластер. Для этого вам необходимо выяснить, какой тип инстанса EC2 использует ваш кластер. В этой статье мы будем использовать r5.4xlarge, который, согласно прейскуранту на инстансы AWS EC2, насчитывает 16 процессоров.
Когда мы запускаем наши задачи (job), нам нужно зарезервировать один процессор для операционной системы и системы управления кластерами (Cluster Manager). Поэтому мы не хотели бы задействовать под задачу сразу все 16 ЦП. Таким образом, когда Spark производит вычисления, на каждом узле у нас остается только 15 доступных для аллоцирования ЦП.
Soft skills крайне важны для DevOps-специалиста, потому что развитие DevOps в компании затрагивает не только используемые инструменты и технологии, но и взаимодействие сотрудников компании.
Антон Вайс, основатель Otomato Software, сравнил внедрение DevOps со строением мифов разных культур. Звучит фантастично, не правда ли? Но эта схема, как оказалось, отлично ложится на картину того, с чем сталкиваются многие DevOps-специалисты.
Далее текст будет вестись от лица Антона, а вы усаживайтесь удобнее, и добро пожаловать под кат.
На днях завершил курс специализации на платформе онлайн образования Coursera. Всегда хотел пройти не просто курс, а именно специализацию. Специализация отличается от курса тем, что в специализацию входит набор тематических связанных курсов. В начале, было ожидание, что в специализации, курсы логически взаимосвязаны между собой. Но это не так. Что он из себя представляет, какие знания можно получить, опишу в данном обзоре.
В специализацию входят следующие курсы:
Да, последний курс посвящен к защите сертификации от Google. Сертификация стоит 200 долларов, больше информации можно найти здесь.
В последние несколько лет большую популярность обретают системы, в основе которых лежит так называемый блокчейн, привлекающий пользователей рядом своих преимуществ: децентрализацией, неизменяемостью данных, прозрачностью, а также отсутствием доверенного центра, то есть посредника. Предоставление таких преимуществ возможно благодаря двум “китам” блокчейна: асимметричному шифрованию и использованию хэш-функций. Однако в связи с развитием квантовых вычислений безопасность этих примитивов стала под угрозой, поэтому возникает необходимость нахождения новых подходов к построению блокчейна, который будет устойчив к атакам с помощью квантового компьютера — так называемого постквантового блокчейна. В данной статье освещается, какие части блокчейна являются наиболее уязвимыми для атак с помощью квантового компьютера, насколько реальны эти угрозы, какие существуют подходы к построению постквантового блокчейна, устойчивого к ним, и насколько применимыми оказываются эти подходы.
awk
— это нечто вроде швейцарского ножа для обработки текстовых файлов. Но некоторые ограничения awk
порой доставляют неудобства тем, кто этой утилитой пользуется. Я, для того чтобы упростить работу с awk
, создал несколько функций. Но сразу хочу сказать о том, что для работы этих функций нужны возможности GNU-версии awk
. Поэтому для того чтобы воспроизвести то, о чём я буду рассказывать, вам совершенно необходимо использовать gawk
и ничего другого. Возможно, в вашей системе настроено сопоставление /usr/bin/awk
с чем-то, и это «что-то» может представлять собой gawk
. Но это может быть и mawk
, и какая-то другая разновидность awk
. Если вы используете дистрибутив Linux, основанный на Debian, то знайте, что команда update-alternatives
— это ваш хороший друг. В данном материале я буду исходить из предположения о том, что его читатель использует gawk
.awk
. А именно, речь идёт о разделении строки на поля даже в условиях, когда не существует единого символа, используемого для разделения полей. Кроме того, вы сможете обращаться к полям, используя выбранные вами имена. Например, вам не придётся помнить о том, что $2
— это поле, содержащее сведения о времени. Вместо этого можно будет просто воспользоваться конструкцией наподобие Fields_fields[«time»]
.Последние пару лет рынок систем мониторинга будоражила аббревиатура AIOps. Все вендоры начали гнаться за использованием искусственного интеллекта в своих сложных и дорогих системах. Термины “root cause analysis”, “correlation”, “ML-tools”, “anomaly detection”, “incident prediction”, “noise reduction” основательно и, наверное, уже навсегда поселились на маркетинговых материалах и сайтах различных систем мониторинга.
Как мы знаем, рекламные буклеты одно, а инженерные будни другое. Наверное, многие сталкивались с ситуацией, когда обещания продавцов тех или иных технологических новинок сталкивались, как Титаник с айсбергом, с практикой внедрения, особенно в сложном ИТ-окружении больших компаний. Поэтому я изначально смотрел с большим скепсисом и не разделял ажиотажа вокруг этой темы. Тем более, когда есть такие железобетонные решения как Zabbix, Prometheus и Elastic. Но хайп хайпом, скепсис скепсисом, а мы все-таки инженеры и должны все проверять и изучать на практике, а не задаваться вопросом верить/ не верить в “magic button” от именитых вендоров и многообещающих стартапов. И вот, после очередной презентации от интегратора и обещаний за немаленькие деньги “рая на нашей грешной земле инженеров эксплуатации” нас собралась небольшая инициативная группа, которая решила “пощупать”, что все-таки из себя представляет эта магия искусственного интеллекта и машинного обучения в нашей практике. Таким образом, родились материалы и даже небольшой pet-проект, которыми я бы хотел поделиться с вами.