В этой статье моей целью будет быстро и понятно внести памятку о легитимных процессах Windows. Немного расскажу, какой процесс за что отвечает, какие нормальные свойства имеют процессы, и приправлю это все небольшим количеством краткой, но полезной информации.
Администрирование
NumPy: оттачивайте навыки Data Science на практике
В этой статье мы рассмотрим ряд различных упражнений, используя библиотеку NumPy (и сравним с тем, как мы бы реализовали их без неё). В самом конце статьи я приведу ряд упражнений.
t.me/ai_machinelearning_big_data - моем телеграм канале я публикую актуальные проекты курсы, уроки и примеры с кодом по машинному обучению.
Для этой статьи рекомендуется, чтобы читатель имел средний уровень знаний Python, NumPy, numpy.dtype
, numpy.ndarray.strides
, и numpy.ndarray.itemsize
. Краткое введение в массивы и NumPy см. в разделе 💡 Немного предыстории ниже.
Рекомендуемые бесплатные курсы и гайды:
Как установить NCALayer на Linux
Всем привет, меня зовут Абай.
В последнее время часто замечаю, что у пользователей Linux в Казахстане постоянно проблемы с установкой NCALayer, поэтому решил написать гайд, который простым языком объяснит, как установить его через терминал...
Большой тест GPT4, GPT3.5, YandexGPT, GigaChat, Saiga в RAG-задаче. Часть 2/2
В первой части статьи я рассказывал о создании цифрового юриста, способного отвечать на вопросы на основе 200-страничного регламента. Цель — работа такого юриста в закрытом контуре организации, без использования облачных технологий.
Особенностью эксперимента является в том, что оценку ответов делают обычные люди. Юристы.
Во второй части мы рассмотрим как и зачем делать локальные токензайзеры и попробуем запустить всё полностью на локальной машине с видеокартой 4090.
В конце будет приведена полная сравнительная таблица разных моделей и токензайзеров.
Изучаем SQL в 2024 году
SQL — декларативный язык программирования, применяемый для создания, модификации и управления данными в реляционной базе данных, управляемой соответствующей системой управления базами данных.
OpenWire — смотрим на атаку с платформы Cyberdefenders
Во время вашей смены в качестве аналитика второй линии SOC вы получаете информацию с первой линии относительно общедоступного сервера. Этот сервер был помечен как установивший подключения к нескольким подозрительным IP-адресам. В ответ вы запускаете стандартный протокол реагирования на инциденты, который создает изоляцию сервера от сети для предотвращения потенциального горизонтального перемещения или утечки данных и получение перехваченного пакета от утилиты NSM для анализа. Ваша задача — проанализировать PCAP
и проверить наличие признаков вредоносной активности.
Тесты с проходным баллом: разработка и анализ результатов
В этой статье мы погрузимся в мир разработки и анализа результатов таких тестов, обсудим их значимость и поделимся секретами создания эффективных тестовых заданий.
Эта статья будет особенно интересна специалистам в области HR, образования, тренинга и развития, а также всем, кто задействован в процессе создания и анализа тестов и опросов. Если вы стремитесь повысить эффективность обучения и оценки в вашей организации или учебном заведении, эта статья предоставит вам ценные знания и практические советы.
Три наблюдения о командной строке и путях в файловой системе
Иногда опыт работы оказывается не полезным, а совсем наоборот. Мышление привыкает к шаблонам и впадает в оцепенение, когда реальность перестаёт в эти шаблоны укладываться. Не зря в таких случаях говорят о "разрыве шаблона".
Несмотря на то, что режимы командной строки Windows и Linux в чём-то похожи, нельзя переносить опыт работы в одной из этих систем на другую. О некоторых аспектах указания путей к файлам и каталогам в командной строке Linux и их интерпретации SH-совместимой командной оболочкой пойдёт речь в этой статье.
Один день из будущего
Он проснулся от звонка будильника на часах. Взгляд на часы одним глазом, отключение будильника и погружение обратно в сон. Ему всегда не хватало совсем чуть-чуть, чтобы выспаться. Так же, как вечером еще чуть-чуть, чтобы досмотреть очередную серию бесконечного сериала.
Полчаса безуспешных попыток вернуть прерванный сон, и он встал с кровати, обреченно побрел в ванную. Сегодня был решающий день. Ему нужно было довести дело до конца. Он не хотел торопиться, ко всему относился с ленцой. Считал, что лучше всё тщательнее продумать и сделать, чем двигаться по недоконченному плану, но время поджимало. Сейчас его проект был почти идеален, не хватало самой малости, которая никак не давала ему покоя.
Заварив чашку ароматного Турецкого чая и разжарив пару яиц на сале, он удобно расположился за кухонным столом. Снял часы, поставил на зарядку, затем открыл ноутбук и увидел список новостей из различных источников. Лента была единой и собрана из новостей RSS, сообщений банков, писем из налоговой, а также сообщения от Виктора: “Серёга, срочно посмотри — пока не удалили” и ссылка на страницу с видео. Сообщение было отправлено уже ночью, вероятность, что видео уже удалено, была очевидной.
Сергей ткнул на сообщение, оно открылось на весь экран. Удивительно, но видео проигрывалось даже без загрузки. В ролике был очередной обзор о проблемах на Новой Марсианкой Колонии. И хоть новость с видео действительно уже удалили со всех серверов федерации, видео было доступным. Разгадка была простой, он был одним из немногих, кто своевременно осознал ценность данных. Одним из первых, кто смог отказаться от вендорских экосистем и подходов изоляции данных. Данные должны быть свободны! Разработка этой концепции заняла долгое время, а ещё больше — разработка первого сервиса и доведения концепции до ума. Сейчас, когда эта концепция уже работала, это помогало ему постоянно.
Как я поднял свой сервер без возможности выставить для него статический IP адрес
Родился я в одном городе, позже переехал жить в другой. В родном городе остался ПК, который стоит без дела. В один прекрасный день решил я из него сделать многофункциональную удаленную машину: чтобы и кодить, и файлы хранить, и сайты/ботов хостить. Идея мне понравилась, я накатил на машину линукс, поставил все валявшиеся без дела диски и начал все это проверять. Но тут оказалось, что в родительском доме интернет тариф не поддерживает возможность установки статического IP адреса по умолчанию - адрес выдается провайдером в случайные моменты времени. Это означало, что я не мог, например, хостить какой-нибудь сервер на этой машине. Более того, я даже банально не мог к ней по SSH подключиться после смены ее адреса.
Попытки найти решение моей проблемы на просторах интернета закончились неудачей. Я не видел иного способа, кроме как поменять тариф, но это тоже представлялось невозможным.
Кодирование числа в Micro QR Code версии М2 (по ГОСТ)
Задание: необходимо создать кодовое слово, состоящее из 8 цифр (на примере – 01234567) на основе алгоритма, приведенного в ГОСТ Р ИСО/МЭК 18004-2015 (п. 7.4.3, пример 2). Затем создать для полученного кода Micro QR Code вер. М2. Данный режим невозможно прочитать стандартными ресурсами мобильных устройств, производимых GAFAM (как оказалось, свободно распространяемые библиотеки просто страшно глючат, поэтому Ассоциация отказалась от этого режима)
Почему с каждой новой версией Windows от нее усиливается усталость
Привет! Меня зовут Васьен и я пользуюсь Windows уже 24 года. Большие боссы из Майкрософт молодцы и соображают, что делают. Тут и удачные инвестиции, развитие самых различных направлений и стремление захватить как можно больше рынка (хотя куда уж больше?). Но мне, простому смертному пользователю, искренне не понятно, что же в последнее время делает Майкрософт со своим главным продуктом – операционной системой, которой я как раз и пользуюсь более двадцати лет. И поймал себя на мысли, что все больше новостей вокруг новых версий ОС вызывает раздражение, а от новых версий ОС возникает какая-то усталость и мне стало интересно разобраться, с чем же это связано?
Распределенное управление конкурентностью
Управление конкурентным доступом является очень важной концепцией в Системе Управления Базами Данных. Оно гарантирует, что одновременное выполнение запросов несколькими процессами или пользователями оставит данные в согласованном состоянии. Особое место занимает доступ к Базе Данных в распределенной системе с множеством конкурирующих за ресурс узлов.
Ближайшие события
Как работает протокол X11 на самом нижнем уровне
X11 это тот механизм на чем работает весь графический интерфейс Unix подобных ОС.
Но мало кто знает как он работает на самом деле. Потому что с годами он оброс слоями и слоями библиотек, которые стремятся скрыть саму сущность протокола.
А протокол в своей сути прекрасен. Он лаконичен и почти совершенен.
В Интернете есть полная документация по протоколу. Но дело в том, что эта документация большая, написана не совсем ясным языком и по сути представляет просто спецификация. Важные моменты никак не обозначены, а как использовать тоже оставлено на фантазии читателя.
А все книги и статьи по использованию X11 описывают это через библиотеки прокладки типа XLib и XCB, и даже, что хуже, GTK или Qt.
Так что документацию приходится читать всю и самому выделять что важно, а что не очень. Придумывать сценарии использования и писать хотя бы короткие программы чтобы испробовать как все работает на самом деле.
Как бы то ни было, если кому-то интересно как все работает на самом деле, пожалуйста под кат.
Туристический микродомик
Я занимаюсь разработкой и производством диктофонов для безопасности Edic-mini, но в голову часто приходят мысли о других полезных устройствах, которые мне были бы интересны, но их нет (или я не нашел) на рынке. Я решил оформлять мысли о таких устройствах в виде статей на Хабре, чтобы получить обратную связь от умных людей и, возможно, найти заинтересованных партнеров в их разработке и производстве. Идеи должны работать, а не пылиться в голове.
Итак, очередная идея: туристический микродомик.
нулевая идея: Гирокарт за 1000р
первая идея: Камерофон-кирпич ,
вторая идея: Простое устройство для облегчения запуска двигателя автомобиля на морозе.
третья идея: Туристический электросамокат
Jenkins: оптимизируя динамический пайплайн → распределённая сборка компонентов ОС
В процессе улучшения подходов к менеджменту зависимостей компонентов нашей Операционной Системы появилась необходимость перейти от монолитной статической сборочной системы на основе CI/CD инструментов к динамическому распределённому подходу с порождением сотен и тысяч автономных задач. Как выяснилось в процессе, это не самый радужный сценарий использования систем автоматизации, но вполне достижимый.
В результате был спроектирован и внедрён динамический сборочный конвейер на базе Jenkins, масштабируемый как горизонтально, так и вертикально. В статье расскажем как он устроен, решение каких проблем потребовало адресной оптимизации по скорости выполнения, и какие подводные камни повсплывали.
Также частично раскроем информацию о том, как мы выполняем распределённую сборку дистрибутивов.
Ожидается много текста и примеров кода.
Zigbee датчик температуры для бассейна
Awakari: от чат-бота к PWA
Пару месяцев назад в публичном доступе появился телеграм-бот Awakari. Он позволял управлять подписками и источниками, получать и отправлять сообщения в систему. После успешной интеграции с Telegram естественным образом возник вопрос - почему бы не интегрировать Awakari также с WhatsApp, WeChat и так далее? Однако дублировать одни и те же функции интерфейса в разных чат-ботах желания не нашлось. В итоге, было решено остановиться на web UI для функций управления подписками и источниками. Мессенджеры должны эксплуатироваться по своему прямому назначению - для отправки и доставки сообщений. В этой статье я расскажу о том, что из этого вышло.
Рассчитываем рейтинг товара на основе оценок пользователей с KafkaStreams и OpenSearch
Всем привет! Меня зовут Александр. Последний год тружусь фрилансером на проекте по созданию очередного маркетплейса. Мои задачи включают разработку скоринговой системы продуктов, которая бы позволяла формировать выборку товаров по популярности на основе нескольких показателей. Одним из показателей являются оценки пользователей по шкале от 1 до 5. Думаю, что не станет открытием Америки то, что расчет рейтинга товара по среднему арифметическому всех оценок приводит к насовсем корректным результатам выборки. Например, при таком подходе товар "А" с одной оценкой 5 в рейтинге будет выше товара "Б", у которого сотня оценок 5 и одна оценка 4. Решение данной проблемы давно найдено - для расчета следует применить доверительный интервал биномиального распределения по методу Уилсона (Wilson Score Confidence Interval).
Измерение и оценка характеристик волоконно-оптической трассы
При организации каналов связи с пропускной способностью более 10Гбит/с или при запуске сwdm-, dwdm-систем по старым оптическим кабельным линиям, на портах активного оборудования часто возникают crc-ошибки. Устранить эти ошибки заменой sfp-модулей, портов получается не всегда. Приходится идти в историю улучшения характеристик кабельных участков.
В своей деятельности часто сталкивался с тем, что снятые для анализа рефлектограммы неинформативны и серьёзных проблем на старых волоконно-оптический кабельных трассах не фиксируют. Некоторое время не мог понять, почему так, пока не обнаружил, что неинформативные рефлектограммы сняты с нарушениями, влияющими на итоговую картину.
Так как «правильно» снять рефлектограмму и оценить качество трассы?