![](https://webcf.waybackmachine.org/web/20231125154926im_/https://habrastorage.org/r/w1560/getpro/habr/upload_files/15a/191/e1e/15a191e1ed39bf1993a90a8326d2b6b9.png)
Рассмотрим основные понятия для обработки данных на Spark, разберем функционал его компонентов и сформируем RDD разными способами.
Рассмотрим основные понятия для обработки данных на Spark, разберем функционал его компонентов и сформируем RDD разными способами.
Добрый день.
Недавно сделал инструмент для автоматизированного создания карточек для изучения слов - подумал что может быть кому то пригодится и как инструмент, и как техническое решение.
Немного вводной информации: один из способов запоминания иностранных слов это создание карточек. На одной стороне слово пишется на родном языке, а на обратное стороне его перевод на нужный язык (на момент создания было доступно 103 языка).
Иногда для лучшего запоминания карточка содержит изображение слова, и в интернете большое количество готовых наборов карточек. Но, мне был нужен набор слов из учебника, который я использовал - в идеале любой скопированный текст. В принципе карточки можно сделать и руками, и конечно же это полезно для самого процесса изучения, но речь шла про несколько сотен слов с переводом на несколько языков (учусь в интернациональной группе).
Websockets предоставляют удобный способ установления постоянного соединения между клиентом и сервером, что делает их отличным выбором для реализации чата. В этой статье я покажу, как создать простой чат на языке программирования Golang, используя пакет gorilla/websocket.
История языка программирования C++ берет свое начало в начале 1980-х годов. Создателем языка считается Джим Уолкер, который в 1979 году начал разработку новой версии языка C, известной как "C with Classes" (C с классами). Этот язык предоставлял новые концепции, такие как классы и объекты, что открывало путь к объектно-ориентированному программированию (ООП).
В 1983 году Бьёрн Страуструп, работая в Белл Лабораториз, присоединился к проекту "C with Classes". Он продолжил разработку и расширение языка, добавляя новые возможности и функциональности. В 1985 году язык был переименован в C++ (C плюс плюс), подчеркивая его эволюцию от языка C.
C++ стал широко используемым языком благодаря своей эффективности и мощности, а также возможности объединения процедурного и объектно-ориентированного программирования. В 1998 году был выпущен стандарт C++98, который включал в себя множество новых функций и улучшений. Последующие стандарты, такие как C++11, C++14 и C++17, добавляли еще больше возможностей, улучшений и современных подходов к программированию.
C++ стал одним из наиболее влиятельных и широко используемых языков программирования в мире. Он применяется в различных областях, включая разработку операционных систем, прикладное программирование, игровую индустрию, встроенные системы и многое другое.
В первую очередь, возможно не очевидно, но перепрошивать I2C адрес устройства нужно для того, чтобы имея даже 2 одинаковых устройства, можно было общаться с обоими, а не только с одним. В этой статье я постараюсь объяснить на двух пальцах как перепрошить I2C адрес датчиков, которые это поддерживают.
Почему нужно развивать скорость печати?
Во-первых, это повышает производительность работы. Если вы быстро печатаете, то можете справляться с большим объемом работы за меньшее количество времени. Это особенно полезно для тех, кто работает с текстовыми документами или проводит много времени за компьютером...
Алгоритмы интернет-платформ играют всё более важную роль в нашей жизни, особенно когда речь идёт о социальных сетях и онлайн-поведении. Они используются для того, чтобы помогать нам находить нужную информацию, рекомендовать товары и услуги, а также формировать наше мышление и поведение в интернете. В этой статье мы рассмотрим несколько примеров положительного и отрицательного влияния алгоритмов.
Существует множество различных алгоритмов, которые применяются в социальных сетях, поисковых системах и других интернет-сервисах. Одни предназначены для обмена информацией, другие – для анализа поведения аудитории, третьи – для ранжирования материалов.
Несмотря на то что алгоритмы могут быть полезными, их применение может иметь и негативные последствия. Например, некоторые алгоритмы могут способствовать формированию у аудитории «клипового мышления», под их влиянием пользователи привыкают к коротким, легко усваиваемым фрагментам информации и теряют способность к глубокому анализу.
Пришлось на работе переходить на Российские операционки, а именно перешёл на RedOS, так как до этого работал на CentOS 9, пришлось искать аналог и он был выбран.
Установка не заняла особо много времени, все шло хорошо до одного момента - установки VMware Workstation 17 PRO для работы со своими серваками. После установки и обновления системы до актуальной версии, начал устанавливать сразу это ПО.
Волшебство регулярных выражений в PHP: Погружаемся в таинственный мир текстового кодирования. Узнайте, как использовать этот магический инструмент для облегчения жизни разработчика!
Решил взяться за изучение распределенного машинного обучения и освоившись в основах инструментария MLLib от PySpark, хочу привести конкретный пример применения библиотеки. Заодно рассказать: а зачем вообще идти в эту сторону?
Simple. Fast. Scalable. Unified.
Это все о нем. Спарк – это мультиязычный движок для решения задач дата инжиниринга, а также машинного обучения на кластере. Спарк включают обычно в экосистему Hadoop, он действует поверх MapReduce и предоставляет высокоуровневые API для работы с большими данными.
Впрочем его можно установить на одной машине локально или в Colab, что мы и сделаем.
Устанавливаем pyspark.
Все вокруг вдруг стали веб-дизайнерами, учат друг друга делать сайты, и я не могу уже смотреть на это всё без нервного тика, желание рассказывать об этом на серьёзных щщах упало на 17:30, так что решила прикола ради написать несколько вредных советов. Погнали!
Почему мне пришлось “выяснять” чужой пароль? Я инженер АСУП государственного учреждения. В системе вентиляции объекта работают контроллеры Zelio. Внешние подрядчики их установили в 2015-2017 году, исходники, пароли если и передавали, то до сегодняшнего дня (13.11.2023) они не дожили. Попытки связаться с автором программ оказались безуспешными. Далее картина маслом, месяц назад один из контроллеров залили водой (как выяснилось неоднократно). Его DI вышли из строя, но сам контроллер, во всяком случае его интерфейс связи с компьютером остался исправен. Аналогичный контроллер я нашел, блага на объекте куча неиспользуемых шкафов, а контроллеры везде одинаковые. При попытке считать программу из вышедшего из строя контроллера Zelio Soft запросил пароль.
Вот такой у меня кейс, вот так я пришел к тому, что занялся взломом. Как водится прошерстил форумы и нашел только упоминания о том, что пароль передается при обмене Zelio Soft с контроллером в открытом виде. Достаточно “послушать” СОМ порт. Но как послушать, как разобрать то, что услышал, понять в каком именно месте обмена данными передаются заветные 4 символа, подробностей найти не получилось.
Спустя пару вечеров все-таки удалось найти пароль в логе обмена с Zelio Soft. По свежим следам решил описать по шагам то, что я делал. Как говорится, для чайников, к которым отношу себя в первую очередь. Возможно в будущем, эта статья поможет кому то сберечь пару часов своего драгоценного времени, а ТП получится восстановить быстрей... Мир во всем мире, наконец, наступит. Еще надеюсь на то, что все люди добрые и не станут применять мои инструкции для воровства чужой интеллектуальной собственности.
Мое первое погружение в мир Agile было в 2018 году. Это была легкая дегустация, без глубокого погружения в суть.
Вернулась я к нему уже в 2022 году. Начала изучать Scrum Guide, затем принципы и ценности Agile. Все это переросло в огромное потребление различного материала, связанного так или иначе с философией Agile. В какой-то момент я даже хотела перейти на позицию Scrum Master. Это тоже связано с работой с людьми, что мне нравится, но с другой стороны, более глубокой.
Я даже пошла учиться на Agile Coach и Scrum Master и 8 месяцев погружалась в новые для себя технологии, инструменты и подходы в работе с людьми. Было невероятно интересно, увлекательно и даже захватывающе.
Очень хотела перейти в сферу ИТ, но все мои попытки не увенчались успехом. Из раза в раз я получала отказ, и чаще всего звучали две основные причины отказа: у вас нет опыта работы в ИТ сфере, и у вас очень маленький опыт Agile Coach.
Мне не хватало аргументов в тот момент, чтобы объяснить, что инструменты Agile во многом пересекаются с передовыми методами и технологиями, которые используются в HR сфере уже многие десятилетия. А в HR я уже более 15 лет.
Тогда я решила забыть о поиске работы в ИТ сфере и начала постепенно внедрять шаг за шагом полученные знания и навыки на своем текущем месте работы.
Первое, что я сделала, это обозначила, какие роли есть в структуре моей компании.
Стейкхолдеры и Потребители
Стейкхолдерами в моем случае на первом месте находятся два собственника, на втором месте - руководители подразделений.
Частичный разбор пакета syscall в языке Go для использования системных вызовов на основании моего опыта
Наука только тогда достигает совершенства, когда начинает пользоваться математикой. К. Маркс
Это – и про теорию музыки тоже.
Если от ноты D построить три квинты вверх и ещё три – вниз, то семь нот этой квинтовой цепочки образуют белоклавишную диатонику.
Такой же результат получится, если сделать три двойных шага на квинту вверх и вниз.
После удлинения квинтовой цепочки до семи нот число ступеней лада не должно расти. Далее удлинение цепочки в обе стороны (двойной шаг) даёт ноты F# и Вb. С этого момента вместо добавления новых нот будем использовать альтерацию (F# вместо F, Bb вместо В).
Задача
Есть AWS аккаунт, на котором требуется поднять статический сайт (html, js, css, png, jpg) на своём домене example.com.
Ссылки: http://example.com, http://www.example.com, https://www.example.com должны перенаправлять на основной сайт https://example.com.
План действий
Покупка домена.
Выпуск SSL сертификата.
Заливка файлов html, js, css в S3.
Создание двух CloudFront distributions (основного и для редиректа с www).
Привязка CloudFront функции редиректа к CloudFront distribution.
Создание A-записей в DNS.
На сегодняшний день, когда пользователь открывает дизайн-файл, редактор Figma загружает все страницы документа сразу, что, конечно же, отражается на времени загрузки больших файлов. И, чтобы сократить это время и уменьшить объём передаваемых данных, команда Figma скоро изменит способ загрузки файлов на инкрементальный. Изменения запланированы на 2024 год.
Это значит, что при первичном открытии файла будет загружаться только одна страница, а дальше — по требованию пользователя (например, при переходе на другую страницу или использовании некоторых плагинов или виджетов).
Шёл 1996 год, и мы с отцом проходили Doom 2 в кооперативном режиме. Но на одном из уровней мы застряли и не могли его пройти. В этот момент к моему отцу пришла гениальная мысль - дать нам вечные жизни, как в одиночной игре с помощью кода IDDQD. Но поскольку коды не работают в сетевой игре, нам пришлось вскрыть файл сохраненной игры. Таким образом, мы смогли получить бессмертие, а также все три ключа (синий, красный и желтый), все доступное оружие, патроны и 200 единиц брони.
Fast Deploy - это инструмент от PaddlePaddle, предназначенный для быстрого и легкого развертывания моделей глубокого обучения в производстве. Он обеспечивает высокую производительность для вывода (inference) моделей с удобным API.
Не так давно я начал самостоятельно обучаться на QA инженера. И после того, как я прошел теорию тестирования, у меня встал вопрос "А какое направление разработки ПО выбрать?" Сначала я решил идти из принципа "А что мне было бы интереснее?" Но в моем случае, он не сработал, так как для меня примерно одинаково интересно изучать веб, мобильные, десктопные или игровые технологии. Вообще, это одна из причин выбора данной профессии - можно работать над разными продуктами: от тестирования сайтов, банкоматов или даже ПО для самоката и до игровых продуктов.
Поэтому я решил пойти из логики, где больший шанс найти свою первую работу. И я ринулся искать информацию в интернете. После нескольких дней поиска информации я понял, что либо она уже потеряла актуальность, либо вообще не о том, что я бы хотел узнать. И тут я понял, что придется самостоятельно собирать подобную информацию. Ну, а в таком случае, почему бы не поделиться ею с вами?
Итак, я решил составить статистику популярности направлений в тестировании, исходя из актуальных вакансий (начало ноября 2023 года). Для этого я выделил 5 основных направлений:
Ваш аккаунт