Как стать автором
Обновить

Разработка

Сначала показывать
Порог рейтинга
Уровень сложности

Массовое вытаскивание урлов из нескольких xml карт сайта

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров3

Периодически приходится решать достаточно интересные задачи, а иногда достаточно нудные и скучные, когда надо просто механически повторять один и тот же порядок действий, и длиться это может достаточно долго. что отнимает ресурс в виде времени.

Ну а зачем тратить час на ручную работу, если можно потратить 2 часа на то, чтобы это автоматизировать, правда? Сказал бы я вот так и потратил бы на это часа три, а то и четыре. Но слава нейросетям, помогают сократить это время до минимума.

Суть задачи - надо вытащить урлы из xml карты сайта, но карта разбита на несколько мелких карт по 1000 урлов, соответсвенно это осложняет процесс загрузки этих урлов.

Резонный вопрос, а на кой ляд тебе понадобились эти урлы? Для того, чтобы отправить их на индексацию через Google Indexing API, как я это называю - принудительная отправка на индексацию большого массива.

Можно пойти простым путем, открывать каждый урл руками, сохранять его как xml на своем компьютере, далее собрать их все в одну папку и открыть принудительно все скопом через Power Query (кто не знает. что есть такая офигенная штука у Гугл таблиц - с добрым утром, рекомендую погуглить).

Но открыть 100 ссылок руками - ну такое, правда? Поэтому, за 1 минуту был сгенерирован скрипт на Питоне, которые решил задачу за 1,5 минуты. Мне не понадобилось много времени, скрипт заработал со второго раза, поэтому я делюсь им с вами, может кому будет полезен.

Читать далее
Рейтинг0
Комментарии0

Новости

Стоит ли игра свеч? Кратко о Single SPA (часть 1)

Уровень сложностиСложный
Время на прочтение12 мин
Количество просмотров36

О проектировании микросервисной архитектуры с использованием фреймворка Single SPA и технологиях, связанных с его использованием.

Читать далее...
Рейтинг0
Комментарии0

Фрагмент множества Мандельброта с анимация

Уровень сложностиСложный
Время на прочтение4 мин
Количество просмотров255
Впервые я прочитал о фракталах больше 40 лет назад, классе в пятом-шестом, в журнале «Техника — молодежи». Помню, там была изображена снежинка Коха. Слово «фрактал» происходит от латинского «дробный», так как у этих математических фигур дробная размерность.
«Облака — не сферы, горы — не конусы, береговые линии — не окружности, древесная кора не гладкая, молния распространяется не по прямой» — писал Бенуа Мандельброт — первооткрыватель самого известного фрактала, названного в его честь — множества Мандельброта.


Фрагмент множества Мандельброта для примера
Читать дальше →
Рейтинг0
Комментарии0

Оптимизируем A/B-тесты: единый шаблон и DIY-инструментарий для аналитиков

Уровень сложностиПростой
Время на прочтение16 мин
Количество просмотров70

Представьте ситуацию. Приходит Product Owner и говорит: «Давайте сделаем новый дизайн страницы сайта». Аналитик берётся за задачу — проводит A/B-тест. Такая же задача случается в соседней команде, в сопоставимом по сложности продукте, — но если в первом случае тест занимал пару часов, то во втором ждать приходится несколько дней. Чем больше команд и аналитиков, тем выше риск разрозненности. 

Унификация процессов помогает минимизировать этот риск, только как к ней лучше подступиться? Подготовить чеклисты, шаблоны, документацию, скрипты..? В нашем случае понадобилось всё это, плюс самодельный инструмент, который автоматизирует статистический анализ результатов A/B-тестов

Под катом пошагово описываем, как мы унифицировали процессы в нашем A/B-тестировании, и что получили на выходе.

Читать далее
Всего голосов 7: ↑7 и ↓0+7
Комментарии0

Истории

Vivaldi 6.8 для Android —  Новые опции персонализации и улучшенный блокировщик

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров76

Мы следуем трём критериям браузера -  мощный, персональный, приватный. В новой версии Vivaldi 6.8 для Android представлены новые мощные функции и возможности, которые позволят вам сделать ваш браузер ещё более персонализированным.

Вот основные улучшения Vivaldi 6.8 для Android:

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии1

Vivaldi 6.8 для iOS — Контроль неактивных вкладок и новые опции персонализации

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров36

Мы следуем трём критериям браузера -  мощный, персональный, приватный. В новой версии Vivaldi 6.8 для iOS представлены новые мощные функции и возможности, которые позволят вам сделать ваш браузер ещё более персонализированным. Вот основные улучшения Vivaldi 6.8 для iOS:

Читать далее
Рейтинг0
Комментарии0

Краткий дайджест обновлений Deckhouse Kubernetes Platform 1.48-1.60

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров137

В этой статье мы рассмотрим самые важные обновления Deckhouse Kubernetes Platform версий 1.48–1.60, произошедшие почти за год — именно столько времени прошло с момента выхода нашего последнего обзора новых фичей.

Читать далее
Всего голосов 4: ↑4 и ↓0+7
Комментарии0

Playwright и Allure как хорошая практика для разработки веб-приложения

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров233

Разработчики вечно ищут баланс: как выпускать фичи быстро, качественно и желательно небольшой командой. Наш рабочий рецепт – это фронты + e2e-тесты. Рассказываю, как мы используем автотесты и визуализируем их результаты.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

Как обеспечить юридическую безопасность при запуске личного кабинета клиента?

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров91

Команда разработки Ареал и юридическая компания ASB Consulting Group рассказывают, какие юридические документы необходимо подготовить перед запуском личного кабинета (ЛК), и какие вопросы проработать внутри компании.

Читать далее
Рейтинг0
Комментарии0

ИИ в гейминге

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров218

Компьютерные игры давно превратились из несерьёзного развлечения в процветающую индустрию, приносящую миллионные доходы. Этот сектор также способствует развитию технологий искусственного интеллекта и виртуальной реальности. Разработка компьютерных игр объединяет художественные и научные элементы с такими дисциплинами, как психология, антропология, культурология и социология. В результате геймеры с невероятной скоростью оттачивают как социальные, так и технические навыки.

Читать далее
Всего голосов 3: ↑1 и ↓2-1
Комментарии0

Оркестрация конфигурациями с помощью SaltStack

Время на прочтение5 мин
Количество просмотров104

SaltStack — это целая экосистема, предназначенная для автоматизации сложных процессов и оркестрации множества систем. Сегодня мы рассмотрим, как SaltStack помогает решить задачи оркестрации.

Читать далее
Рейтинг0
Комментарии0

Улучшение зрения роботов: саккады

Время на прочтение15 мин
Количество просмотров277


Современный мир пока сложно назвать эпохой робототехники. Да, есть много роботизированных устройств, помогающих как в быту, так и на производстве, множество разработок и идей, но для полноценной реализации роботов в стиле Айзека Азимова предстоит преодолеть немало сложностей. Одной из таких является зрение. Современные камеры, хоть и обладают невероятными возможностями, все же несравнимы с человеческим глазом. Наши глаза совершают мелкие непроизвольные движения (саккады), дабы поддерживать четкое и стабильное изображение с течением времени. Ученые из Мэрилендского университета (Колледж-Парк, США) разработали камеры, имитирующие саккады, что разительным образом улучшает их способность отслеживать передвигаемые объекты. Из чего сделаны новые камеры, как именно они работают, и насколько они эффективны? Ответы на эти вопросы мы найдем в докладе ученых.
Читать дальше →
Всего голосов 2: ↑2 и ↓0+4
Комментарии0

Создание цифровой модели рельефа (DEM) по открытым данным

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров309

Построение цифровой модели рельефа (DEM) с использованием открытого программного обеспечения PyGMTSAR (Python InSAR) является ярким примером технология, которая выглядит настоящей магией. Действительно, для создания спутникового DEM требуется всего один клик. Указанный пример и многие другие интерактивные примеры InSAR с 3D визуализацией доступны на Google Colab, в Docker образах и даже на GitHub Actions на https://InSAR.dev

Читать далее
Всего голосов 4: ↑4 и ↓0+5
Комментарии0

Ближайшие события

12 – 13 июля
Геймтон DatsDefense
Онлайн

Google Colab вместо Jupyter Notebook: плюсы и особенности работы для новичков

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров365

Привет! Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных» в Яндекс Практикуме. С Jupyter Notebook я впервые столкнулась шесть лет назад, когда начала изучать Python и анализ данных. И именно установка Jupyter Notebook стала самым сложным этапом моей учёбы — ни чистка данных, ни градиентный бустинг, ни бутстрэп не доставляли мне столько трудностей.

Если установка программного обеспечения даётся вам так же трудно, то эта статья для вас. В ней я рассказываю о не требующем установки сервисе Google Colab, сравниваю его с Jupyter Notebook и даю советы для лёгкого старта.

Читать далее
Рейтинг0
Комментарии1

Угрозы инфраструктуры с Linux. Разбираем попытки атак

Время на прочтение6 мин
Количество просмотров1K

Небо голубое, вода мокрая, а Linux — самая защищенная операционная система. С этим не поспоришь. Однако утверждать, что защита здесь работает на 100%, нельзя. Как минимум никто не застрахован от проблем с обновлением системы и ошибками конфигураций.  

Какие злоумышленники и для чего используют Linux? И что можно узнать, если отслеживать такие попытки атак в NGFW? Ответы и технические подробности — в этой статье.

Читать далее
Всего голосов 8: ↑6 и ↓2+4
Комментарии4

История о том, как Graphviz и бор взломали шифр от Sony

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров3.7K

Мою первую статью я желаю посвятить истории о том, как я решил заняться исследованием часто встречающихся в модулях PlayStation Portable непонятных байтовых строк. Никакой документации в Homebrew коммьюнити найти не удалось, так что я взялся за дело сам.

Как это было
Всего голосов 46: ↑46 и ↓0+65
Комментарии4

Пробы на роль Архитектора: наступление

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.4K

В прошлой серии: вход в суровый мир энтерпрайз архитектуры лежит через панель. То, что мертво, умереть не может, а поэтому как задание меня попросили отрефлексировать над диаграммой легаси и предложить перерождение. Но чтоб было веселей – минимум информации и всего четыре часа времени.

Некая недосказанность всегда присутствует на первых свиданиях. Жаль, что она в плоскости тех.задания.  Когда времени мало – проще танцевать от требований и ограничений, а не заниматься подтверждением  парадокса выбора. Поэтому будем сразу говорить об архитектуре. На собеседованиях только и разговоров, что об архитектуре и о дизайне. Там говорят о том, как чертовски здорово наблюдать за огромным монолитным легаси, как он тает в волнах.

Приступим.
Всего голосов 3: ↑3 и ↓0+7
Комментарии5

Проект: погодная станция (метеостанция) своими руками. Часть первая

Время на прочтение2 мин
Количество просмотров1.3K

Вы когда ни будь хотели сделать что-то сами, Вас посещали крутые идеи, но Ваших знаний было недостаточно что бы их воплотить в жизнь?
Предлагаю попробовать интерактивный проект: погодная станция (метеостанция) своими руками. Пока стационарная, но позже будет походная, чтобы можно было взять её с собой на отдых и заранее знать, что скоро будет дождь или ураган.
Что бы не начинать проект с нуля, в качестве фундамента я реализовал три начальные функции:

Читать далее
Всего голосов 4: ↑4 и ↓0+9
Комментарии8

Аппаратный DIY аудиомикшер

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров2.2K

Меня это задолбало - управлять громкостью, если источников звука больше одного, особенно больно, когда это надо сделать быстро, за пару секунд. Если играете в динамичные игры с дискордом, да ещё и музыку фоном включаете, думаю вы прекрасно знаете эти неудобства. И вот, в один прекрасный день я наткнулся на deej...

Читать далее
Всего голосов 37: ↑37 и ↓0+45
Комментарии16

История возникновения и развития Python

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.3K

Python отпраздновал своё 33-летие в 2024 году. За это время он успел вырасти из пет-проекта в один из самых популярных языков программирования в мире. Однако, если вы не интересовались историей его возникновения и развития, возможно стоит начать сейчас.

Читать далее
Всего голосов 10: ↑6 и ↓4+4
Комментарии3
1
23 ...