Как стать автором
Обновить

Моя лента

Тип публикации
Порог рейтинга
Уровень сложности
Предупреждение
Войдите или зарегистрируйтесь, чтобы настроить фильтры
Статья

Массовое вытаскивание урлов из нескольких xml карт сайта

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров0

Периодически приходится решать достаточно интересные задачи, а иногда достаточно нудные и скучные, когда надо просто механически повторять один и тот же порядок действий, и длиться это может достаточно долго. что отнимает ресурс в виде времени.

Ну а зачем тратить час на ручную работу, если можно потратить 2 часа на то, чтобы это автоматизировать, правда? Сказал бы я вот так и потратил бы на это часа три, а то и четыре. Но слава нейросетям, помогают сократить это время до минимума.

Суть задачи - надо вытащить урлы из xml карты сайта, но карта разбита на несколько мелких карт по 1000 урлов, соответсвенно это осложняет процесс загрузки этих урлов.

Резонный вопрос, а на кой ляд тебе понадобились эти урлы? Для того, чтобы отправить их на индексацию через Google Indexing API, как я это называю - принудительная отправка на индексацию большого массива.

Можно пойти простым путем, открывать каждый урл руками, сохранять его как xml на своем компьютере, далее собрать их все в одну папку и открыть принудительно все скопом через Power Query (кто не знает. что есть такая офигенная штука у Гугл таблиц - с добрым утром, рекомендую погуглить).

Но открыть 100 ссылок руками - ну такое, правда? Поэтому, за 1 минуту был сгенерирован скрипт на Питоне, которые решил задачу за 1,5 минуты. Мне не понадобилось много времени, скрипт заработал со второго раза, поэтому я делюсь им с вами, может кому будет полезен.

Читать далее
Рейтинг0
Комментарии0

Новости

Пост

СМИ выяснили, что ИИ-инструмент для автоматического формирования информации об участниках Уимблдонского турнира под названием Catch Me Up допускает фактические ошибки.

Разработчик Catch Me Up является IBM (давний партнёр и информационный спонсор теннисных турниров Большого шлема).

Ранее организаторами Уимблдона было решено использовать Catch Me Up для публикации справок об игроках до и после проведения матчей (с учётом их результатов). В первый же день соревнований инструмент стал путать положение игроков в рейтинге, а также причислял к перспективным игрокам уже состоявшихся спортсменов. В статистике от Catch Me Up отображалось неверное количество сыгранных матчей и прочие нестыковки.

Кроме того, по заверению организаторов, нейросеть Catch Me Up обучали на материалах с использованием британского варианта английского языка. Однако в первый же день инструмент выдал несколько сообщений, где использовались слова с написанием, характерным для американского варианта английского.

В 2023 году IBM и Всеанглийский клуб лаун-тенниса (AELTC), организатор теннисного турнира «Большого шлема», объявили о применении сервиса генеративного ИИ для комментирования матчей Уимблдонского турнира.

Теги:
0
Комментарии0
Статья

Продуктовый подход против человеческих слабостей: 7 базовых принципов

Время на прочтение9 мин
Количество просмотров16

Человек несовершенен, но тщательно старается об этом забыть. Даже в таких рациональных делах, как строительство, ведение бизнеса и создание электронных устройств. Продуктовый подход — это способ мышления, который учитывает эти несовершенства при разработке продуктов и таким образом увеличивает вероятность успеха. Меня зовут Дмитрий Латыпов, Product Manager в Napoleon IT, и сегодня я расскажу, какие слабости нивелирует продуктовый подход и на каких основных принципах он строится.

Ожидание и реальность

Как правило, при планировании крупных проектов существует большая вероятность ошибиться с прогнозом о сроках их завершения. Например, международный аэропорт Денвера в США планировали построить за четыре с половиной года, а закончили только через шесть лет и превысили бюджет на два миллиарда долларов. Сиднейский оперный театр в Австралии планировали реализовать за восемь лет, в итоге строили 14 лет, то есть опоздали на шесть лет, и превысили бюджет в 15 раз, потратив 102 миллиона долларов вместо семи. 

Читать далее
Рейтинг0
Комментарии0
Новость

Учёные предлагают искать инопланетян по парниковым газам, выделяющимся при терраформировании планет

Время на прочтение2 мин
Количество просмотров25

Если бы инопланетяне окутывали свои планеты плотным слоем парниковых газов, как это делаем мы, мы бы смогли это обнаружить. Так утверждается в недавнем мысленном эксперименте, в ходе которого учёные определили пять "искусственных" парниковых газов, которые, если их будет достаточно много, можно будет обнаружить в атмосферах некоторых экзопланет с помощью существующих технологий – таких, как «Уэбб».

Эти газы, включая фторированные версии метана, этан и пропан, на Земле известны как одни из самых мощных и устойчивых теплоулавливающих газов, выделяемых человеком в ходе различных промышленных процессов, например, при производстве полупроводников. Поскольку эти вещества не образуются в природе в больших количествах — по крайней мере, если исходить из земной химии, — обнаружение их в воздухе экзопланеты будет свидетельствовать о присутствии технологически развитых видов, говорят учёные.

Читать далее
Рейтинг0
Комментарии0

Истории

Статья

Стоит ли игра свеч? Кратко о Single SPA (часть 1)

Уровень сложностиСложный
Время на прочтение12 мин
Количество просмотров32

О проектировании микросервисной архитектуры с использованием фреймворка Single SPA и технологиях, связанных с его использованием.

Читать далее...
Рейтинг0
Комментарии0
Пост

ElevenLabs представила Voice Isolator — ИИ-инструмент, который хирургически вырезает весь ненужный фон и звуковые помехи, оставляя только кристально чистый голос, будто записанный в студии.

Проект справляется даже с громким потомком воздуха, направленным на исполнителя.

Теги:
0
Комментарии0
Статья

Регистрация компании в Португалии

Время на прочтение22 мин
Количество просмотров24

Регистрация компании в Португалии является привлекательной перспективой для предпринимателей, желающих развернуть свою деятельность на европейском рынке. Это государство, благодаря своей устойчивой экономике и привлекательным инвестиционным условиям, предоставляет уникальные возможности для зарубежных инвесторов, заинтересованных в создании предприятий на своей территории. За последние пару лет Португалия сделала значительные шаги для упрощения процесса создания компаний, что делает ее одним из самых желанных мест для начала бизнеса.

В этой статье мы разберем все важные моменты, которые необходимо учесть при регистрации предприятия в Португалии. Мы осветим основные юридические формы, которые доступны для новых компаний, обсудим нормативно-правовую базу и процедуры, связанные с запуском бизнеса. От требований к документам и лицензированию, до налоговых обязательств и стратегий финансового планирования – наш обзор предоставит комплексное понимание всех существенных шагов.

Читать далее
Рейтинг0
Комментарии0
Новость

Сбой компьютера на бирже привёл к росту цен на электроэнергию на 3000% в Германии

Время на прочтение2 мин
Количество просмотров257

Стоимость электроэнергии в Германии рано утром 25 июня резко выросла после сбоя компьютера на главной бирже. Из-за этого цены на оптовом рынке резко выросли с 50 до 2325 евро. 

Читать далее
Всего голосов 1: ↑1 и ↓0+3
Комментарии1
Статья

Фрагмент множества Мандельброта с анимация

Уровень сложностиСложный
Время на прочтение4 мин
Количество просмотров249
Впервые я прочитал о фракталах больше 40 лет назад, классе в пятом-шестом, в журнале «Техника — молодежи». Помню, там была изображена снежинка Коха. Слово «фрактал» происходит от латинского «дробный», так как у этих математических фигур дробная размерность.
«Облака — не сферы, горы — не конусы, береговые линии — не окружности, древесная кора не гладкая, молния распространяется не по прямой» — писал Бенуа Мандельброт — первооткрыватель самого известного фрактала, названного в его честь — множества Мандельброта.


Фрагмент множества Мандельброта для примера
Читать дальше →
Рейтинг0
Комментарии0
Статья

Оптимизируем A/B-тесты: единый шаблон и DIY-инструментарий для аналитиков

Уровень сложностиПростой
Время на прочтение16 мин
Количество просмотров66

Представьте ситуацию. Приходит Product Owner и говорит: «Давайте сделаем новый дизайн страницы сайта». Аналитик берётся за задачу — проводит A/B-тест. Такая же задача случается в соседней команде, в сопоставимом по сложности продукте, — но если в первом случае тест занимал пару часов, то во втором ждать приходится несколько дней. Чем больше команд и аналитиков, тем выше риск разрозненности. 

Унификация процессов помогает минимизировать этот риск, только как к ней лучше подступиться? Подготовить чеклисты, шаблоны, документацию, скрипты..? В нашем случае понадобилось всё это, плюс самодельный инструмент, который автоматизирует статистический анализ результатов A/B-тестов

Под катом пошагово описываем, как мы унифицировали процессы в нашем A/B-тестировании, и что получили на выходе.

Читать далее
Всего голосов 7: ↑7 и ↓0+7
Комментарии0
Статья

Vivaldi 6.8 для Android —  Новые опции персонализации и улучшенный блокировщик

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров75

Мы следуем трём критериям браузера -  мощный, персональный, приватный. В новой версии Vivaldi 6.8 для Android представлены новые мощные функции и возможности, которые позволят вам сделать ваш браузер ещё более персонализированным.

Вот основные улучшения Vivaldi 6.8 для Android:

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии1
Пост

В Бюро промышленности и безопасности США (Bureau of Industry and Security, BIS), входящее в Министерство торговли США и ответственное за выдачу и отзыв лицензий экспортных лицензий, заявили СМИ о том, что сотрудники организации с трудом справляются с резко возросшей нагрузкой из-за постоянно вводимых санкций против Китая.

Как уточнили СМИ представители BIS, если в 2018 году в «чёрном списке» (Entity List) США значилось 218 китайских компаний, то в 2023 — уже 787. При этом в бюро используется по большей части неавтоматизированная методика сбора и обработки данных в области лицензирования. Эти алгоритмы давно не обновлялись и были разработаны ещё в 2006 году. В итоге из-за большого количества запретов стало требоваться больше ресурсов и чревато ошибками из-за человеческого фактора.

С начала 2024 года Минторгом США были дополнительно отозваны восемь лицензий, связанных с Huawei, включая продукцию Intel и Qualcomm, сообщает Reuters. Всего BIS выдало лицензии на продажу в Китай товаров общей суммой $335 млрд, ведомством были заблокированы сделки на $545 млрд.

Теги:
0
Комментарии0
Статья

Vivaldi 6.8 для iOS — Контроль неактивных вкладок и новые опции персонализации

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров35

Мы следуем трём критериям браузера -  мощный, персональный, приватный. В новой версии Vivaldi 6.8 для iOS представлены новые мощные функции и возможности, которые позволят вам сделать ваш браузер ещё более персонализированным. Вот основные улучшения Vivaldi 6.8 для iOS:

Читать далее
Рейтинг0
Комментарии0

Ближайшие события

12 – 13 июля
Геймтон DatsDefense
Онлайн
Статья

Краткий дайджест обновлений Deckhouse Kubernetes Platform 1.48-1.60

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров137

В этой статье мы рассмотрим самые важные обновления Deckhouse Kubernetes Platform версий 1.48–1.60, произошедшие почти за год — именно столько времени прошло с момента выхода нашего последнего обзора новых фичей.

Читать далее
Всего голосов 4: ↑4 и ↓0+7
Комментарии0
Новость

LG приобрела 80% акций Athom — компании-разработчика платформы для умного дома Homey

Время на прочтение2 мин
Количество просмотров57

Южнокорейская LG купила 80% ценных бумаг нидерландской компании Athom, которая разработала платформу для умного дома Homey. LG сможет выкупить оставшиеся 20% акций в течение следующих трёх лет.

Читать далее
Всего голосов 1: ↑1 и ↓0+3
Комментарии0
Статья

Playwright и Allure как хорошая практика для разработки веб-приложения

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров227

Разработчики вечно ищут баланс: как выпускать фичи быстро, качественно и желательно небольшой командой. Наш рабочий рецепт – это фронты + e2e-тесты. Рассказываю, как мы используем автотесты и визуализируем их результаты.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии0
Статья

Немного мракобесия в медицине: можно ли ставить имплант прямо в кисту

Время на прочтение8 мин
Количество просмотров572
image
Красноватая штука на остатках корня — это киста

Пришла пациентка, я без задней мысли набросал предварительный план с удалением проблемного зуба с кистой на верхушке корня и одновременной постановкой импланта на его место.

Это совершенно рядовая операция, мы так часто делаем. При одномоментных манипуляциях медицинский результат статистически лучше. Из приятного: послеоперационный период у пациента тоже один.

В свою очередь, пациентка сообщила, что сомневается в качестве наших услуг, так как другие врачи ей сказали, что объединить операции невозможно. Да и ей самой это тоже было довольно очевидно, ведь речь же идет про целую страшную кисту.

И вот тут я понял, что для большинства пациентов и нередко для врачей научные исследования имеют меньший вес, чем интуитивные выводы. Поэтому сегодня я буду рассказывать про страшные кисты, об удалении зубов и о том, что с 1975 года мы собрали достаточно данных, чтобы делать пациенту неприятно только один раз вместо двух.
Читать дальше →
Всего голосов 7: ↑6 и ↓1+7
Комментарии1
Статья

Как обеспечить юридическую безопасность при запуске личного кабинета клиента?

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров91

Команда разработки Ареал и юридическая компания ASB Consulting Group рассказывают, какие юридические документы необходимо подготовить перед запуском личного кабинета (ЛК), и какие вопросы проработать внутри компании.

Читать далее
Рейтинг0
Комментарии0
Статья

ИИ в гейминге

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров218

Компьютерные игры давно превратились из несерьёзного развлечения в процветающую индустрию, приносящую миллионные доходы. Этот сектор также способствует развитию технологий искусственного интеллекта и виртуальной реальности. Разработка компьютерных игр объединяет художественные и научные элементы с такими дисциплинами, как психология, антропология, культурология и социология. В результате геймеры с невероятной скоростью оттачивают как социальные, так и технические навыки.

Читать далее
Всего голосов 2: ↑1 и ↓10
Комментарии0
Статья

Оркестрация конфигурациями с помощью SaltStack

Время на прочтение5 мин
Количество просмотров103

SaltStack — это целая экосистема, предназначенная для автоматизации сложных процессов и оркестрации множества систем. Сегодня мы рассмотрим, как SaltStack помогает решить задачи оркестрации.

Читать далее
Рейтинг0
Комментарии0
1
23 ...