Администрирование

Хочу поделится опытом / наблюдениями.
Не редко SSD как SATA так и NVMe выходят из строя.

Во всех таких случаях Windows либо не загружается (висит на лого или заходит в UEFI Setup), либо глючит, зависает, не может установить обновления или корректно завершить работу.

Те из них что хоть как то определяются - препарирую в Linux
И видно что ведут они себя немного по разному.

Я позволю себе разделить их по симптомам на четыре класса:

1. Чтение всего объема ok / Запись проходит как бы успешно, но при пере-монтировании видно что никакие файлы не записались.

2. Чтение всего объема ok / Отваливается при попытке записи в любой сектор.

3. Чтение в основном ok, но некоторые сектора UNC.

4. Чтение в основном ok, но после некоторых или каждого UNC требуется пере-подключить.

Применяю к ним GNU ddrescue в окружении Debian на рабочем десктопе.
SATA подключаю напрямую / NVMe через USB докстанцию.

Статей про ПО ddrescue написано много. Хотелось бы отметить ключи запуска которые (по моим наблюдениям) позволяют прервать процесс копирования в случае если SSD совсем перестал возвращать данные после очередной ошибки.

-O, --reopen-on-error reopen input file after every read error
-J, --verify-on-error reread latest good sector after every error

-d, --idirect

Первый -O указывает после каждой ошибки заново открывать файл устройства.
Второй -J проверяет что SSD еще может выдавать данные, перечитывая последний не сбойный сектор. Опционален, иногда приводит к проблемам.

И обязательный -d использовать DirectIO для доступа.

Представлен релиз библиотеки OpenSSL 3.2.0 с реализацией протоколов SSL/TLS и различных алгоритмов шифрования. Поддержка OpenSSL 3.2 будет осуществляться до 23 ноября 2025 года. Поддержка прошлых веток OpenSSL 3.1 и 3.0 LTS продлится до марта 2025 года и сентября 2026 года соответственно. Поддержка ветки 1.1.1 прекращена в сентябре этого года. Код проекта распространяется под лицензией Apache 2.0.

В OpenSSL 3.2.0:

• добавлена клиентская поддержка протокола QUIC (RFC 9000), используемого в качестве транспорта в протоколе HTTP/3. Реализация включает среди прочего возможность передачи нескольких потоков через один канал связи. Компоненты для использования QUIC на серверах будут включены в выпуск OpenSSL 3.3, который планируют опубликовать не позднее 30 апреля 2024 года. QUIC представляет собой надстройку над протоколом UDP, поддерживающую мультиплексирование нескольких соединений и обеспечивающую методы шифрования, эквивалентные TLS/SSL.

• в TLS появилась поддержка подключаемых схем цифровых подписей, позволяющих использовать сторонние реализации алгоритмов.

• в TLS реализована поддержка расширения для сжатия сертификатов на этапе согласования соединений (RFC 8879), позволяющего ускорить установку соединения так как на передачу данных сертификатов приходится львиная доля трафика на этапе согласования соединения. Поддерживается сжатие с использованием библиотек zlib, zstd и Brotli.

Источник: OpenNET.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_10

🔠Вопрос_10: Что такок Tarantool и как он устроен ? (Часть_3)

1. Транзакции: В более новых версиях Tarantool была добавлена поддержка механизма транзакций. Транзакции позволяют группировать несколько операций в единую атомарную операцию, что обеспечивает целостность данных.

2. Разрешение конфликтов: Tarantool предоставляет механизм разрешения конфликтов при работе с репликацией и шардингом. Возможности разрешения конфликтов включают автоматическое разрешение конфликтов на основе временных меток и возможность управления конфликтами пользовательским кодом.

t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

t.me/DenoseLABChat (Если вы хотите задать вопрос и получить на него ответ по анализу даных подключайтесь в наш чат);

https://boosty.to/denoise_lab (Если вы хотите поддержать проект, или получить более модные фишки по коду и продвижению подписывайтесь).

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_10

🔠Вопрос_10: Что такок Tarantool и как он устроен ? (Часть_2)

1. Replication: Tarantool предлагает механизм репликации, который позволяет создавать реплики базы данных для обеспечения отказоустойчивости и масштабируемости. Репликация Tarantool основана на механизме репликации мастер-слейв (master-slave) и поддерживает асинхронное и синхронное реплицирование.

2. Sharding: Tarantool поддерживает горизонтальное масштабирование с помощью шардинга данных. Шардинг позволяет распределить данные по нескольким узлам-серверам, что позволяет обрабатывать большие объемы данных и повышает производительность.

3. Индексы: Tarantool предоставляет различные типы индексов для оптимизации запросов и обеспечения быстрого доступа к данным. Включая хеш-индексы, деревья и индексы, основанные на отсортированных списках.

   t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

   t.me/DenoseLABChat (Если вы хотите задать вопрос и получить на него ответ по анализу даных подключайтесь в наш чат);

   https://boosty.to/denoise_lab (Если вы хотите поддержать проект, или получить более модные фишки по коду и продвижению подписывайтесь).

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_10

🔠Вопрос_10: Что такок Tarantool и как он устроен ? (Часть_1)

✔️Ответ: Tarantool — это база данных с открытым исходным кодом и высокой производительностью, которая сочетает в себе функциональность базы данных и сервера приложений. Tarantool состоит из:

1. In-Memory и Disk Storage: Tarantool предлагает возможность хранения данных как в оперативной памяти (In-Memory), так и на диске (Disk Storage). Это позволяет обеспечить высокую скорость доступа к данным и сохранить данные на долгосрочное хранение.

2. Lua: Tarantool использует язык программирования Lua для создания хранимых процедур (stored procedures), триггеров и бизнес-логики. Lua обеспечивает гибкость и простоту внедрения пользовательского кода в базу данных.

3. NoSQL и Lua Spaces: Tarantool поддерживает гибкую модель данных, известную как Lua Spaces. Lua Spaces предоставляет простой способ хранения и извлечения данных, а также мощные возможности индексирования и поиска.

    t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

   t.me/DenoseLABChat (Если вы хотите задать вопрос и получить на него ответ по анализу даных подключайтесь в наш чат);

   https://boosty.to/denoise_lab (Если вы хотите поддержать проект, или получить более модные фишки по коду и продвижению подписывайтесь).

28 ноября состоится RSHB Meetup, посвященный теме построения и использования облаков внутри компаний. Участие в митапе бесплатное, регистрация на мероприятие уже открыта на сайте РСХБ в цифре.

Первым на митапе выступит Максим Чернухин, исполнительный директор СберСтрахование жизни. В рамках доклада «Есть ли разница в облаках и что стоит использовать?» Максим разберет, как в современном мире разрабатывать так, чтобы проект не устарел в ближайшие 5 лет, плюсы и минусы публичных облаков, как их использовать и что важно не забывать. Отдельное внимание будет уделено требованиям к облачным проектам, безопасности и наблюдаемости облачных сервисов.

Офлайн часть митапа пройдет в офисе РСХБ‑Интех в Москве по адресу: Москва, Профсоюзная улица, дом 125а. Места на офлайн ограничены, успейте зарегистрироваться!

TeamViewer для Linux-юзеров - sshx

На днях наткнулся на классный сервис. Бесконечная доска, на которой можно наплодить кучу терминалов какого-то устройства. Вводишь одну команду, получаешь ссылку, делишься ей с друзьями - теперь вы вместе можете работать с одной машинкой. Удобно, когда, например, надо кому-то что-то объяснить или вместе сделать что-то не очень крупное

Написано, кстати, на Расте.

Как регулярный бэкап позволил сэкономить 120 млн. ₽

Сегодня расскажу, как регулярный бэкап данных может спасти деньги заказчика.

Это произошло у моих коллег по цеху: достаточно крупное предприятие, которое обслуживает большого государственного заказчика.

Их девопс, суперпрофессионал в этой области, уничтожил на продакшене всё содержимое докер-контейнера и его volume. После разбора инцидента стало понятно, что это человеческий фактор. Он сделал это не со зла, такое бывает.

В этой компании есть правило — производить регулярные бэкапы, особенно перед выполнением каких-то критических ситуаций.

Эти резервные копии помогли оперативно поднять сервис и вернуть все данные, так что заказчик ничего не заметил. А об инциденте знают только коллеги, да я.

Сумма потенциального ущерба — 120 млн рублей.

В Kotelov мы делаем бэкап и бэкапа на этот бэкап, чтобы 100% сохранить данные клиенты. Никто не защищен от человеческого фактора — ошибаются любые профи.

Но к ошибкам можно подготовиться, а не разбираться потом кто виноват в том, что стерли разработку на 120 млн. рублей.

Рассказывайте, были ли у вас тупые ошибки, которые если бы не бэкап — принесли бы чудовищные последствия.

Unix Time сегодня достиг значения 1700000000 

Счетчик обратного отсчёта есть по ссылке:
https://www.epochconverter.com/countdown?q=1700000000

Давайте уже готовиться к следующему крупному гету: проблеме Y2.038K. Как думаете, это полная ерунда, или что-нибудь серьезно выйдет из строя?

Российский производитель GAGAR>N и разработчик средств серверной виртуализации и хранения данных «Росплатформа» заключили партнёрское соглашение. В рамках сотрудничества компании будут предлагать клиентам комплексные программно‑аппаратные решения на базе отечественных разработок.

Аппаратная часть решений строится на базе решений GAGAR>N: серверного оборудования и дополнительных дисковых полок с твердотельными накопителями, разработанных с использованием стандартов OCP. Решения рассчитаны на применение в динамически расширяемых инфраструктурах с высокой нагрузкой и входят в реестр радиоэлектронной и промышленной продукции Минпромторга.

Программная часть состоит из цифровых решений компании «Росплатформа»: платформы виртуализации серверов с централизованным управлением «Р‑Виртуализация» и системы распределённого хранения данных «Р‑Хранилище». Эти решения включены в Единый реестр российского ПО.

Разработчики подтвердили полноценную и бесперебойную работу среды виртуализации на базе продуктов «Р‑Виртуализация» и «Р‑Хранилище» на серверном оборудовании GAGAR>N. По результатам проведённых всесторонних испытаний, производители гарантировать надёжность и производительность совместных решений для нагрузок корпоративного уровня.

VK заявила, что VK Cloud в Республике Казахстан (РК) начал поддерживать оплату сервисов облачной платформы с помощью банковских карт из некоторых стран СНГ: Армении, Азербайджана, Республики Беларусь, Кыргызстана, Узбекистана и Таджикистана. Об этом информационной службе Хабра рассказали в пресс‑службе облачного провайдера.

По словам VK Cloud, облачная платформа развёрнута в дата‑центре компании‑партнёра QazCloud на территории РК, она соответствует требованиям законодательства республики и адаптирована под потребности бизнеса.

Оплачивать облачные сервисы можно в тенге по модели pay‑as‑you‑go (за фактически использованные мощности и инструменты). Для оплаты используется сертификат безопасности PCI DSS, обеспечивающий защиту транзакций и безопасность платежей. Облачная платформа включает 20 преднастроенных инфраструктурных и платформенных сервисов — IaaS и PaaS.

Сегодня в 16:00 — прямой эфир «Kubernetes Workshop: как развернуть сайт c помощью Terraform»

Включайте уведомление на YouTube, чтобы не пропустить начало.

Программа

• Создание в Terraform кластера Kubernetes и реестра для хранения образов контейнеров.

• Настройка интеграции между Managed Kubernetes и Container Registry.

• Добавление домена в DNS-хостинг Selectel.

• Создание сертификата в менеджере секретов.

• Добавление сертификата в Load Balancer.

• Публикация сайта в Kubernetes.

• Разбор кейсов по работе с Kubernetes и ответы на вопросы.

Canonical объявила о выпуске инструментария MicroCloud, позволяющего быстро развёртывать на своём оборудовании вычислительные кластеры и облачные системы с общим распределённым хранилищем данных и защищённой виртуальной сетью.

Инструментарий MicroCloud оформлен в виде snap-пакета, включающего компоненты, необходимые для управления работой узлов кластера. Коммерческая техническая поддержка решений на базе MicroCloud предоставляется в рамках сервиса Ubuntu Pro, но те, кто может обойтись без поддержки, вольны использовать инструментарий без ограничений. Наработки проекта написаны на языке Go и распространяются под лицензией AGPL 3.0.

MicroCloud по умолчанию применяет средства для обеспечения отказоустойчивости, поэтому позволяет создавать кластеры, насчитывающие не менее трёх узлов (в качестве верхней планки упоминаются кластеры, включающие до 50 узлов). Используемый для управления кластером программный стек основан на использовании системы централизованного управления контейнерами и виртуальными машинами LXD, платформы для построения виртуальных сетей OVN (Open Virtual Network) и распределённого отказоустойчивого хранилища Ceph. MicroClouds предоставляет инструменты для автоматической настройки LXD, Ceph и OVN на всех узлах кластера.

MicroCloud также пригоден для быстрого проведения экспериментов на системах разработчиков, включая симуляцию кластера на ноутбуке разработчика, тестирования развиваемых облачных приложений, экспериментов на инфраструктуре.

Источник: OpenNET.

Запуск модели искусственного интеллекта следующего поколения Gemini от Google задерживается. Теперь ожидается, что её выпустят в начале 2024 года, а не в этом месяце.

В этом году Google объединила две команды ИИ в одну группу, которая работает над новой моделью, способной конкурировать с GPT-4 от OpenAI. Её лидер Демис Хассабис в июле заявлял: «Мы уже чувствуем, что через пару месяцев будут видны преимущества и сильные стороны проекта Gemini, нашей мультимодальной большой модели следующего поколения. Это довольно впечатляюще».

Ранее представители Google пообещали некоторым облачным клиентам и деловым партнёрам, что к ноябрю они получат доступ к новому диалоговому ИИ компании. Но теперь разработка Gemini задерживается. Одновременно замедлились продажи облачных технологий Google, в то время как у конкурента Microsoft они ускоряются.

Недавно к нам обратился клиент, у которого потенциально 2 млн пользователей и ему нужно разработать стриминговый сервис, где 10К-20К пользователей могут смотреть медиа-контент в разрешении 4К онлайн.

Фильм 4К весит 5 гб, если 10К пользователей одновременно его смотрят, то это большая нагрузка на хранилище данных. Сложность в том, чтобы сбалансировать трафик на сервис, чтобы система не перегружалась, а пользователи не испытывали дискомфорта.

Чтобы этого добиться, нужно написать ПО таким образом, чтобы плеер или серверная часть отдала контент порционным пользователям. Так мы распределим нагрузку.

Для хранения контента на 2 млн человек, потребуется от 300-400 ТБ устойчивого хранилища. Нужно построить системы хранения данных.

Нужна защита хранилища, если какой-то жесткий диск выйдет из строя, чтобы не потерять лицензионный контент.

Когда 10 тыс. человек запрашивают одно видео или хотя бы два-три видео, это легко решается кешированием. А если эти 10 тыс. смотрит разный контент, то стандартная СХД не справится. Скорость не позволит находить это на жестких дисках.

В реализации нужно:

— Построить архитектуру хранения и обслуживания клиентов СХД с высоким уровнем IOPS — количество запросов, которые приходят к системе хранения данных за секунду. Чем ровнее запросы из разных секторов жестких дисков, тем сложнее и дольше приходится обрабатывать их сервера.

— Построить балансировщики, которые обрабатывают большое количество разного контента на обычных HDD дисках и отказоустойчивых хранилищах.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_7

🔠Вопрос_7: Какие есть разновидности Adam optimization и в чем их разница ?

✔️Ответ:

1. AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;

2. Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;

3. AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;

4. AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;

5. RAdam (Rectified Adam) вводит коррекцию для оценки первого момента градиентов, чтобы устранить проблему смещения оценки первого момента на начальных итерациях обучения. RAdam также включает в себя масштабирование скорости обучения на начальных итерациях для стабилизации процесса обучения.

   https://t.me/DenoiseLAB

«Алиса» научилась понимать казахский и говорить на нём. Пообщаться с виртуальным ассистентом Яндекса на национальном языке Казахстана уже можно в мобильном «Яндекс Браузере». «Алиса» поможет найти ответ на интересующий вопрос, подскажет погоду или поддержит простую беседу. Поговорить с ней на казахском может любой пользователь — нужно обновить «Яндекс Браузер» до последней версии, нажать на иконку «Алиса» и воспользоваться кнопкой «Изменить язык».

Чтобы «Алиса» могла понимать запросы и давать качественные ответы на казахском, её обучили на большом объёме данных, в том числе на тысячах вручную переведённых диалогов и сотнях часов аудиозаписей. Они были подготовлены с помощью носителей языка и редакторов.

Виртуальный помощник на национальном языке доступен на территории Казахстана. Казахоязычная «Алиса» работает на технологиях, предоставленных Центром разработки виртуальных ассистентов и робототехники «Алисы».

Для создания голоса «Алиса» на казахском используется технология синтеза речи, созданная в «Яндексе» на основе образцов голоса профессионального казахстанского диктора.

«Мы адаптируем наши ключевые технологии под международные рынки. Алиса на казахском — важный шаг для развития виртуального помощника в Казахстане. Это позволит улучшить пользовательский опыт в регионе. Мы продолжим развивать виртуального ассистента на казахском, чтобы местным жителям было удобнее им пользоваться», — пояснил руководитель «Алисы» и умных устройств «Яндекса» Сергей Мельник.

На Всемирный день шопинга 11 ноября и с 24 по 26 ноября, когда онлайн‑площадки устраивают масштабные распродажи, «МегаФон» предоставит абонентам бесплатный мобильный интернет для покупок. Оператор обнулит стоимость трафика на десять торговых платформ: Ozon, Wildberries, Lamoda, «Яндекс.Маркет», «СберМаркет», «Авито», «Юла», Taobao, AliExpress, KazanExpress.

В распродажах участвуют тысячи офлайн- и онлайн-магазинов по всей стране. В это время мобильный трафик на сетях оператора возрастает на 62% в сравнении со средним уровнем с января по октябрь. А в день распродаж 11.11 абоненты «МегаФона» расходуют почти в два раза больше трафика, чем в среднем в ноябре.

В период ноябрьских распродаж абоненты смогут совершать покупки на любимых сайтах, не думая о потраченных гигабайтах интернета. Обнуление стоимости трафика произойдёт автоматически у всех клиентов с положительным балансом счёта.

В собственном интернет‑магазине «МегаФона» распродажи стартовали 7 ноября и продлятся до 3 декабря. Скидки до 50% действуют на 980 товаров: смартфоны, ноутбуки, умные часы, фитнес‑браслеты, колонки, гарнитуры и т. д.

Gmail тестирует новый пользовательский интерфейс для быстрых ответов на электронные письма, напоминающий UI почтовых приложений в стиле чата на Android. Он позволяет просматривать цепочки бесед. 

Таким образом Gmail избавится от кнопок «Ответить», «Ответить всем» и «Переслать полученное электронное письмо», а окно ответа постоянно отображается внизу экрана, чтобы не прокручивать сообщение электронной почты вниз. 

Также можно использовать раскрывающийся список слева в окне сообщения, чтобы изменить параметр «Ответить всем» или отредактировать список получателей. Справа появится кнопка, которая откроет полноэкранное окно создания сообщения. За пределами текстового поля справа также будет кнопка со смайликом для быстрых реакций. Если не разворачивать текстовое поле, то оно автоматически перемещается ближе к середине экрана.

С начала 2023 года почтовые серверы IT-инфраструктуры сервиса «Яндекс 360» обработали свыше 78 млрд входящих писем. Из них около 22% (17 млрд) как потенциально опасные были отправлены в спам и заблокированы благодаря технологии «Спамооборона». А с помощью обновления механизма пользовательских жалоб скорость распознавания спама увеличилась в 30 раз и достигла всего нескольких секунд.

В «Яндекс 360» сообщили, что каждые сутки с помощью «Спамообороны» отправляется в папку «Спам» или блокируется чуть более 56 млн входящих писем. Самым «популярными» темами от спамеров с начала года были рассылки с онлайн-казино, розыгрыши призов, а также денежные выплаты от якобы банков и крупных корпораций. При этом в первом полугодии 2023 года мошенники слали рассылки про возврат налогов, компенсации затрат и письма с PDF-вложениями с вредоносной ссылкой.

В «Яндекс 360» добавили, что в последнее время участились спуффинг-атаки, которые также может предотвратить «Спамооборона». Подобные письма замаскированы под известные магазины или компании. Мошенники используют телефонные номера, электронную почту и даже IP‑адреса, чтобы попытаться обойти систему и выдать себя за уважаемую организацию или известную личность.

За фильтрацию спама в электронной почте «Яндекс 360» отвечают сложные алгоритмы и машинное обучение. Алгоритмы анализируют адрес отправителя, текст письма, вложения и ссылки — всего несколько тысяч факторов. Для обнаружения сходства текста используется модель на основе нейронных сетей.