Рассмотрим основные понятия для обработки данных на Spark, разберем функционал его компонентов и сформируем RDD разными способами.
Как стать автором
Создание простого чата на Golang с использованием Websockets
Websockets предоставляют удобный способ установления постоянного соединения между клиентом и сервером, что делает их отличным выбором для реализации чата. В этой статье я покажу, как создать простой чат на языке программирования Golang, используя пакет gorilla/websocket.
«Начало разрушения нервной системы» или введение в C++
История языка программирования C++ берет свое начало в начале 1980-х годов. Создателем языка считается Джим Уолкер, который в 1979 году начал разработку новой версии языка C, известной как "C with Classes" (C с классами). Этот язык предоставлял новые концепции, такие как классы и объекты, что открывало путь к объектно-ориентированному программированию (ООП).
В 1983 году Бьёрн Страуструп, работая в Белл Лабораториз, присоединился к проекту "C with Classes". Он продолжил разработку и расширение языка, добавляя новые возможности и функциональности. В 1985 году язык был переименован в C++ (C плюс плюс), подчеркивая его эволюцию от языка C.
C++ стал широко используемым языком благодаря своей эффективности и мощности, а также возможности объединения процедурного и объектно-ориентированного программирования. В 1998 году был выпущен стандарт C++98, который включал в себя множество новых функций и улучшений. Последующие стандарты, такие как C++11, C++14 и C++17, добавляли еще больше возможностей, улучшений и современных подходов к программированию.
C++ стал одним из наиболее влиятельных и широко используемых языков программирования в мире. Он применяется в различных областях, включая разработку операционных систем, прикладное программирование, игровую индустрию, встроенные системы и многое другое.
Прошивка I2C адреса TOF10120
В первую очередь, возможно не очевидно, но перепрошивать I2C адрес устройства нужно для того, чтобы имея даже 2 одинаковых устройства, можно было общаться с обоими, а не только с одним. В этой статье я постараюсь объяснить на двух пальцах как перепрошить I2C адрес датчиков, которые это поддерживают.
Развиваем скорость печати
Почему нужно развивать скорость печати?
Во-первых, это повышает производительность работы. Если вы быстро печатаете, то можете справляться с большим объемом работы за меньшее количество времени. Это особенно полезно для тех, кто работает с текстовыми документами или проводит много времени за компьютером...
Как алгоритмы влияют на наше мышление и поведение в интернете
Алгоритмы интернет-платформ играют всё более важную роль в нашей жизни, особенно когда речь идёт о социальных сетях и онлайн-поведении. Они используются для того, чтобы помогать нам находить нужную информацию, рекомендовать товары и услуги, а также формировать наше мышление и поведение в интернете. В этой статье мы рассмотрим несколько примеров положительного и отрицательного влияния алгоритмов.
Существует множество различных алгоритмов, которые применяются в социальных сетях, поисковых системах и других интернет-сервисах. Одни предназначены для обмена информацией, другие – для анализа поведения аудитории, третьи – для ранжирования материалов.
Несмотря на то что алгоритмы могут быть полезными, их применение может иметь и негативные последствия. Например, некоторые алгоритмы могут способствовать формированию у аудитории «клипового мышления», под их влиянием пользователи привыкают к коротким, легко усваиваемым фрагментам информации и теряют способность к глубокому анализу.
Косячная установка VMware Workstation 17 PRO на RedOS
Пришлось на работе переходить на Российские операционки, а именно перешёл на RedOS, так как до этого работал на CentOS 9, пришлось искать аналог и он был выбран.
Установка не заняла особо много времени, все шло хорошо до одного момента - установки VMware Workstation 17 PRO для работы со своими серваками. После установки и обновления системы до актуальной версии, начал устанавливать сразу это ПО.
Регулярные выражения в PHP: Магия Поиска и Замены
Волшебство регулярных выражений в PHP: Погружаемся в таинственный мир текстового кодирования. Узнайте, как использовать этот магический инструмент для облегчения жизни разработчика!
Распределенное машинное обучение с помощью PySpark
Решил взяться за изучение распределенного машинного обучения и освоившись в основах инструментария MLLib от PySpark, хочу привести конкретный пример применения библиотеки. Заодно рассказать: а зачем вообще идти в эту сторону?
Simple. Fast. Scalable. Unified.
Это все о нем. Спарк – это мультиязычный движок для решения задач дата инжиниринга, а также машинного обучения на кластере. Спарк включают обычно в экосистему Hadoop, он действует поверх MapReduce и предоставляет высокоуровневые API для работы с большими данными.
Впрочем его можно установить на одной машине локально или в Colab, что мы и сделаем.
Устанавливаем pyspark.
Вредные советы веб-дизайнеру
Все вокруг вдруг стали веб-дизайнерами, учат друг друга делать сайты, и я не могу уже смотреть на это всё без нервного тика, желание рассказывать об этом на серьёзных щщах упало на 17:30, так что решила прикола ради написать несколько вредных советов. Погнали!
Как узнать пароль проекта Zelio Soft?
Почему мне пришлось “выяснять” чужой пароль? Я инженер АСУП государственного учреждения. В системе вентиляции объекта работают контроллеры Zelio. Внешние подрядчики их установили в 2015-2017 году, исходники, пароли если и передавали, то до сегодняшнего дня (13.11.2023) они не дожили. Попытки связаться с автором программ оказались безуспешными. Далее картина маслом, месяц назад один из контроллеров залили водой (как выяснилось неоднократно). Его DI вышли из строя, но сам контроллер, во всяком случае его интерфейс связи с компьютером остался исправен. Аналогичный контроллер я нашел, блага на объекте куча неиспользуемых шкафов, а контроллеры везде одинаковые. При попытке считать программу из вышедшего из строя контроллера Zelio Soft запросил пароль.
Вот такой у меня кейс, вот так я пришел к тому, что занялся взломом. Как водится прошерстил форумы и нашел только упоминания о том, что пароль передается при обмене Zelio Soft с контроллером в открытом виде. Достаточно “послушать” СОМ порт. Но как послушать, как разобрать то, что услышал, понять в каком именно месте обмена данными передаются заветные 4 символа, подробностей найти не получилось.
Спустя пару вечеров все-таки удалось найти пароль в логе обмена с Zelio Soft. По свежим следам решил описать по шагам то, что я делал. Как говорится, для чайников, к которым отношу себя в первую очередь. Возможно в будущем, эта статья поможет кому то сберечь пару часов своего драгоценного времени, а ТП получится восстановить быстрей... Мир во всем мире, наконец, наступит. Еще надеюсь на то, что все люди добрые и не станут применять мои инструкции для воровства чужой интеллектуальной собственности.
Agile и Scrum в HR
Мое первое погружение в мир Agile было в 2018 году. Это была легкая дегустация, без глубокого погружения в суть.
Вернулась я к нему уже в 2022 году. Начала изучать Scrum Guide, затем принципы и ценности Agile. Все это переросло в огромное потребление различного материала, связанного так или иначе с философией Agile. В какой-то момент я даже хотела перейти на позицию Scrum Master. Это тоже связано с работой с людьми, что мне нравится, но с другой стороны, более глубокой.
Я даже пошла учиться на Agile Coach и Scrum Master и 8 месяцев погружалась в новые для себя технологии, инструменты и подходы в работе с людьми. Было невероятно интересно, увлекательно и даже захватывающе.
Очень хотела перейти в сферу ИТ, но все мои попытки не увенчались успехом. Из раза в раз я получала отказ, и чаще всего звучали две основные причины отказа: у вас нет опыта работы в ИТ сфере, и у вас очень маленький опыт Agile Coach.
Мне не хватало аргументов в тот момент, чтобы объяснить, что инструменты Agile во многом пересекаются с передовыми методами и технологиями, которые используются в HR сфере уже многие десятилетия. А в HR я уже более 15 лет.
Тогда я решила забыть о поиске работы в ИТ сфере и начала постепенно внедрять шаг за шагом полученные знания и навыки на своем текущем месте работы.
Первое, что я сделала, это обозначила, какие роли есть в структуре моей компании.
Стейкхолдеры и Потребители
Стейкхолдерами в моем случае на первом месте находятся два собственника, на втором месте - руководители подразделений.
Пакет syscall в языке Golang
Частичный разбор пакета syscall в языке Go для использования системных вызовов на основании моего опыта
Если бы теория музыки была точной наукой…
Наука только тогда достигает совершенства, когда начинает пользоваться математикой. К. Маркс
Это – и про теорию музыки тоже.
Если от ноты D построить три квинты вверх и ещё три – вниз, то семь нот этой квинтовой цепочки образуют белоклавишную диатонику.
Такой же результат получится, если сделать три двойных шага на квинту вверх и вниз.
После удлинения квинтовой цепочки до семи нот число ступеней лада не должно расти. Далее удлинение цепочки в обе стороны (двойной шаг) даёт ноты F# и Вb. С этого момента вместо добавления новых нот будем использовать альтерацию (F# вместо F, Bb вместо В).
Статический сайт на AWS с редиректом http→https, www.site→site
Задача
Есть AWS аккаунт, на котором требуется поднять статический сайт (html, js, css, png, jpg) на своём домене example.com.
Ссылки: http://example.com, http://www.example.com, https://www.example.com должны перенаправлять на основной сайт https://example.com.
План действий
Покупка домена.
Выпуск SSL сертификата.
Заливка файлов html, js, css в S3.
Создание двух CloudFront distributions (основного и для редиректа с www).
Привязка CloudFront функции редиректа к CloudFront distribution.
Создание A-записей в DNS.
Инкрементальный способ загрузки файлов Figma, и как его активировать прямо сейчас
На сегодняшний день, когда пользователь открывает дизайн-файл, редактор Figma загружает все страницы документа сразу, что, конечно же, отражается на времени загрузки больших файлов. И, чтобы сократить это время и уменьшить объём передаваемых данных, команда Figma скоро изменит способ загрузки файлов на инкрементальный. Изменения запланированы на 2024 год.
Это значит, что при первичном открытии файла будет загружаться только одна страница, а дальше — по требованию пользователя (например, при переходе на другую страницу или использовании некоторых плагинов или виджетов).
Doom2 god mode in multiplayer
Шёл 1996 год, и мы с отцом проходили Doom 2 в кооперативном режиме. Но на одном из уровней мы застряли и не могли его пройти. В этот момент к моему отцу пришла гениальная мысль - дать нам вечные жизни, как в одиночной игре с помощью кода IDDQD. Но поскольку коды не работают в сетевой игре, нам пришлось вскрыть файл сохраненной игры. Таким образом, мы смогли получить бессмертие, а также все три ключа (синий, красный и желтый), все доступное оружие, патроны и 200 единиц брони.
FastDeploy | Туториал
Fast Deploy - это инструмент от PaddlePaddle, предназначенный для быстрого и легкого развертывания моделей глубокого обучения в производстве. Он обеспечивает высокую производительность для вывода (inference) моделей с удобным API.
Какое направление в тестировании выбрать?
Не так давно я начал самостоятельно обучаться на QA инженера. И после того, как я прошел теорию тестирования, у меня встал вопрос "А какое направление разработки ПО выбрать?" Сначала я решил идти из принципа "А что мне было бы интереснее?" Но в моем случае, он не сработал, так как для меня примерно одинаково интересно изучать веб, мобильные, десктопные или игровые технологии. Вообще, это одна из причин выбора данной профессии - можно работать над разными продуктами: от тестирования сайтов, банкоматов или даже ПО для самоката и до игровых продуктов.
Поэтому я решил пойти из логики, где больший шанс найти свою первую работу. И я ринулся искать информацию в интернете. После нескольких дней поиска информации я понял, что либо она уже потеряла актуальность, либо вообще не о том, что я бы хотел узнать. И тут я понял, что придется самостоятельно собирать подобную информацию. Ну, а в таком случае, почему бы не поделиться ею с вами?
Итак, я решил составить статистику популярности направлений в тестировании, исходя из актуальных вакансий (начало ноября 2023 года). Для этого я выделил 5 основных направлений:
Реклама в Яндекс — Станциях. Не всё потеряно
Ведущие сетевые медиа дружно написали о том уровне хейта, который схватил Яндекс, заставив Алису произносить рекламу - «в порядке эксперимента». Пользователи плевались, ругались, доходило до обещаний навсегда отказаться от использования Яндекс-Станции . Означает ли это, что эксперимент не удался и пользователи не готовы слушать рекламу из колонок ни в каком виде и о таком варианте монетизации стоит забыть как о страшном сне? Я думаю, это не так и сейчас объясню почему.
Вообще-то у Яндекса уже был похожий случай, когда была предпринята первая попытка сделать из недавно приобретенного Кинопоиска онлайн — кинотеатр. Пользователи, которых лишили любимого медиа о кино , резко выступили против и компания пошла на попятную, откатив всё назад. К чести Яндекса можно сказать, что из того факапа они сделали правильные выводы — неправильной была не сама идея монетизации Кинопоиска, а форма перехода от одного состояния сервиса к другому. В итоге мы имеем и прекрасный онлайн-кинотеатр , и медиа о кино, так любимое народом — два в одном.
Так и с рекламой в колонках — сама идея правильная, подкачала форма эксперимента.
Пользователи, приобретая подписку Яндекс-Плюс, получают не только скидки на такси и доставку, но и отсутствие рекламы там, где она могла бы быть — в Яндекс Музыке, например. Существуют ли варианты, при которых пользователи ещё и спасибо скажут ха возможность прослушать рекламу? Записывайте:
1. Надо предложить пользователю выбирать — либо платишь за подписку Яндекс Плюс деньгами, либо пользуешься той же самой подпиской, но периодически прослушиваешь рекламные ролики после содержательных ответов Алисы. Много ли будет согласных на это? Вангую — их будет больше, чем платных пользователей подписки. На сколько больше? А вот есть же вариант пользования Яндекс Музыкой без Плюса, с рекламой — возьмите данные о соотношении количества общих пользователей Яндекс Музыки к количеству оплативших подписку — получите примерную оценку того, насколько увеличится общая аудитория .
Первая трудность будет в том, что некоторые колонкой пользуются не достаточно регулярно — стоит себе колонка на полке, мигает часиками, вы её можете раз в месяц спросить о погоде и всё, не включать же им рекламу проактивно. Решением это проблемы было бы динамическое ценообразование — установив стоимость каждого прослушивания рекламы, можно посчитать, что вы этом месяце наслушали рекламы на 75 рублей, например, а оставшиеся 25 рублей — списали с привязанной карты. Не слушали рекламу вообще — списалась полная сумма. Наслушали на сто рублей — не списывается ничего. А ведь прослушиванием рекламы можно расплачиваться не только за подписку, но и за саму колонку — Яндекс уже сейчас продает их в рассрочку, ничего не мешает и эту рассрочку оплачивать рекламными прослушиваниями!