Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга

Применение подхода eXtreme Multi-Label Classification для классификация записей материально-технических ресурсов

Блог компании Юнидата Обработка изображений *Хранение данных *Машинное обучение *Хранилища данных *

Данная работа является пересказом статьи Jingzhou Liu, Wei-Cheng Chang, Yuexin Wu, and Yiming Yang. 2017. Deep Learning for Extreme Multi-label Text Classification. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '17). Association for Computing Machinery, New York, NY, USA, 115–124. https://doi.org/10.1145/3077136.3080834

Одно из направлений работ в нашей лаборатории Unidata Labs – классификация записей материально-технических ресурсов (МТР) с применением машинного обучения. В этой статье мы бы хотели кратко разобрать нашу постановку задачи как таковую, и после чего предложить разбор одного из методов, которым эта задача могла бы решаться.

Вкратце, продукт Юнидата МТР работает с данными, относящимися к материально-техническим ресурсам клиентов, которые представлены в Юнидата как реестр — т.е., коллекция записей. Записи МТР, как правило, содержат очень большое количество полей, но нас интересует только одно — полное наименование. Оно может выглядеть примерно так...

 

Читать далее
Рейтинг 0
Просмотры 433
Комментарии 1

Новости

5 принципов, о которых нельзя забывать, когда описываешь инфраструктуру в виде кода

Блог компании Southbridge Системное администрирование *IT-инфраструктура *DevOps *Облачные сервисы

Infrastructure as Code — это подход, который подразумевает описание инфраструктуры в виде коде с его последующим применением для внесения необходимых изменений. Но, как именно писать код, IaC не говорит, только даёт инструменты. Один из таких инструментов — Terraform.

21 мая в Слёрм пройдёт практический интенсив «Terraform Мега». Мы пообщались с его автором Павлом Селиванов, архитектором Yandex.Cloud. Он рассказал, каких принципов нужно придерживаться, когда описываешь инфраструктуру, чтобы на выходе не получить непонятный и плохо поддерживаемый код. 

Читать далее
Всего голосов 12: ↑9 и ↓3 +6
Просмотры 1.6K
Комментарии 0

Кто такой Analytics Engineer – E2E-решение с использованием bash + dbt + Looker

Блог компании OTUS Big Data *Data Engineering *

Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.

Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.

В этой публикации:

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 299
Комментарии 0

«А поговорить?» или делаем звонок для подтверждения заказа в интернет магазине с помощью МТТ VoiceBox

API *Интернет-маркетинг Облачные сервисы Голосовые интерфейсы Визуальное программирование *
Tutorial

Экономическая ситуация нынче нестабильная, лишних денег у людей нет. И вот значится обратились ко мне товарищи со словами: "Ты же когда-то там сайты делал, помоги разобраться". После такой просьбы пришлось мне сдувать пыль вековую с постаревших связей нейронных, да бубен шаманский доставать.

Но не переживайте, эта статья не о том, как я спустя 12 лет снова сел ковырять сайты на PHP. Всё это банально и писать об этом на Хабр я бы не стал.

А вот, что мне действительно было интересно, так это поковыряться в настройках голосового бота. Никогда раньше с таким не сталкивался и настолько меня это увлекло, что по горячим следам начал писать статью.

Вы готовы загибать пальцы?

Итак, сегодня мы с вами:

- Настроим сценарий голосового бота для подтверждения интернет заказа.

- Одним глазом взглянем на API для управления ботом и отправим пару запросов через Postman.

- Добавим пару кастомных действий в WooCommerce, чтобы робот вместо оператора разными голосами подтверждал заказ.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 828
Комментарии 11

Команда awk – примеры использования в Linux и Unix

Блог компании RUVDS.com Настройка Linux *Системное администрирование **nix *
Перевод
Tutorial

В этом базовом руководстве вы узнаете самые основы команды awk, а также увидите некоторые способы её использования при работе с текстом, включая вывод содержимого файла, а также его конкретных столбцов, строк и слов по указанным критериям. Приступим!
Читать дальше →
Всего голосов 30: ↑27 и ↓3 +24
Просмотры 3.1K
Комментарии 6

4k @ 144Hz: DP, HDMI, USB-C Alt-Mode & cables…

Настройка Linux *Видеокарты Мониторы и ТВ Настольные компьютеры Ноутбуки

Я недавно сделал себе небольшой апгрейд и у меня появился монитор 4k@144Hz. Разумеется, на 144Hz он не заработал. Потому что нюансы. Мне пришлось в это нырнуть глубже, чем хотелось бы...

Спойлеры: DP, USB-C Alt-mode, Thunderbolt, USB4 3x2, 40Gbps, HDMI.
Оглавление: кабели, протоколы, режимы.

Лыдыбр: Моя старая видеокарта на компьютере сумела завести его на 4k @ 60Hz с помощью Display Port. (Либо 2k @ 144Hz). Это её техническое ограничение, больше она не может. Дальше я попытался воткнуть в монитор ноутбук (все 5 шт, какие нашлись у меня и знакомых) и обнаружил, что всё настолько сложно, что мне потребовалось несколько заходов чтения спецификации, пока я "это завёл". Выписываю свои наблюдения и эксперименты. Актуальность - первая половина 2022 года. Монитор under study - Gigabyte M32U, хотя, в принципе, это не существенно для обсуждаемого вопроса. У монитора разъёмы HDMI, DP, USB-C.

Разбирать проблему я буду слоями. Начём с физики.

Читать далее
Всего голосов 80: ↑80 и ↓0 +80
Просмотры 8.9K
Комментарии 65

Как защититься от dos/ddos, или Как я начал вновь высыпаться по ночам

Блог компании Nixys Системное администрирование *IT-инфраструктура *Nginx *

Приветствую тебя, дорогой читатель. Скорее всего, если ты это читаешь, то уже очень устал получать кучу алертов о том, что твоя площадка загибается от регулярных набегов печенегов ботов или других нежелательных посетителей контента. Я надеюсь, что эта статья поможет тебе спать спокойно и оградит тебя от недугов, а также внесет больше ясности в твое понимание теории и практики защиты от dos и ddos. Приятного чтения!

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 2.7K
Комментарии 15

Бесплатные книги, полезные для IT-специалистов и DevOps

Блог компании Cloud4Y Профессиональная литература Читальный зал DevOps *Облачные сервисы

Перед вами подборка бесплатных книг, которые помогут разобраться в DevOps-практиках и стать сильнее как специалист. Вся литература — на английском языке, если не указано другого.

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 4.2K
Комментарии 0

Электронный документооборот с сотрудниками: ожидания и реальность

Блог компании Московский кредитный банк IT-инфраструктура *ECM/СЭД *

Про пользу электронного документооборота для бизнеса сказано уже много: это и удобство, и скорость, и помощь в работе с партнерами и контрагентами, клиентами и сотрудниками, и многое другое.

Меня зовут Лебедев Владимир. Сегодня я хотел бы рассмотреть плюсы ЭДО и организацию процесса на примере работы с сотрудниками компании. Если вы тоже задумываетесь об этом (а в условиях массовой удалёнки странно не задумываться), возможно, вам пригодится наш опыт.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 3K
Комментарии 11

Решение проблем производительности информационных систем при помощи инструментов бережливого производства

Блог компании ОТР Высокая производительность *IT-инфраструктура *Серверная оптимизация *

Привет, меня зовут Владимир Кононенко и я – руководитель управления внедрения в Группе компаний ОТР. Всем, кто работает с информационными системами (ИС), знакома такая история: на определенном этапе жизненного цикла ИС возникают ситуации, когда заказчик, использующий ИС, высказывает недовольство, что все тормозит, пользователи не могут работать, софт не выдерживает нагрузку, и так далее. В данной статье я бы хотел пошагово рассказать, как я решаю проблемы с производительностью и стабильностью ИС, созданных нашей компанией.

Я буду опираться на личный опыт и практику в недавних проектах ОТР – у нас много крутых специалистов с высоким уровнем экспертизы, есть центр компетенций PostgreSQL – а также на собственные знания: в свое время я окончил с отличием Ростовский государственный университет по специальности «Математические методы и исследование операций в экономике», а также получил сертифицированный черный пояс по программе «Шесть сигм» Государственного университета штата Аризона, США. На примерах из моей практики вы увидите, какие я выбираю инструменты и как они работают на каждом этапе.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 1K
Комментарии 7

Прилег, полежал, встал, побежал

Блог компании М.Видео-Эльдорадо Хостинг Работа с видео *Администрирование баз данных *Читальный зал

Намедни наш Rutube немного прилег. Не сам, конечно, говорят хакеры помогли, но тем не менее. И со всех сторон зазвучали критические мантры о левых руках, растущих чуть ниже спины у тамошних разрабов и ИБ-шников. Тем интереснее было посмотреть по сторонам. Наверняка же были не менее эпичные фейлы, факапы и прочие отгулы по болезни у популярных сервисов? Go!

Читать далее
Всего голосов 46: ↑33 и ↓13 +20
Просмотры 7.7K
Комментарии 15

Две задачи при работе с объектным хранилищем: как правильно создать кастомную ссылку одноразовой загрузки и не ошибиться

Блог компании Selectel IT-инфраструктура *Хранение данных *Хранилища данных *Облачные сервисы

Каждый день сотрудники техподдержки Selectel решают задачи клиентов. Что-то не подключается, что-то вдруг удалилось или потерялось. Для ответа на часть тикетов достаточно скинуть инструкцию из базы знаний, но некоторые становятся настоящими техническими квестами.

Сегодня мы решили разобрать несколько из них. В этой подборке все они связаны с работой облачного объектного хранилища. Сейчас в Selectel миграционные каникулы — можно 30 дней не платить за запросы и хранение данных.

Ответы на одну из задач убрали в «спойлеры» — проверьте себя, сможете ли вы сами найти решение на основе «дано». Если вам понравится такой формат текстов, пишите в комментах или голосуйте в опросе, — сделаем еще. А пока — смотрите под кат.
Читать дальше →
Всего голосов 30: ↑30 и ↓0 +30
Просмотры 1.4K
Комментарии 0

Жил на свете добрый Jooq – как подружиться с хранимками в Oracle

Блог компании Sportmaster Lab Oracle *Программирование *Java *Администрирование баз данных *
Tutorial

Приветствую!

Меня зовут Артём, я back-end разработчик на продукте WFM (Workforce Management). В компании наш продукт помогает в развитии процессов розничной сети, одна из основных наших задач — это построение рабочего графика для персонала розничного магазина.

В данной статье я хотел бы познакомить вас (в очередной раз, так как на хабре уже есть несколько статей, посвященных этой библиотеке) с Jooq и показать, как можно легко работать с хранимыми процедурами Oracle. Будет немного вводной части, а затем посмотрим примеры.

Почти в каждом продукте, скорее всего, есть база данных. В нашем случае это РСУБД Oracle, большая часть логики содержится внутри в виде хранимых процедур. Удобство взаимодействия с базой всегда было достаточно важной и щепетильной задачей для любого бэкендера, особенно, если речь идет о взаимодействии с хранимками, которые выдают и принимают "сложные" plsql-типы. Конвертация plsql-типа в java-тип — задачка не самая приятная, мягко говоря, и удобных инструментов в этом деле не так уж много.

Давайте кратко вспомним некоторые популярные подходы к взаимодействию с РСУБД, какими достоинствами и недостатками они обладают.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 1K
Комментарии 0

Пишем деплой в Openshift с помощью Jenkins

Блог компании OTUS DevOps *

Меня зовут Рустем и я занимаю должность Senior DevOps Engineer в компании IBM, город Краков. Сегодня я хотел бы Вам показать и рассказать, как можно подружить Openshift и Jenkins и использовать их связку в CI-процессе.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 935
Комментарии 0

Тернистый путь от Backend-разработчика в DevOps инженеры

Карьера в IT-индустрии Читальный зал DevOps *IT-компании
Из песочницы

Сегодня речь пойдет не о списке инструментов, которые необходимо изучить. Не о сетевых моделях взаимодействия, и даже не о протоколах. Сегодня я, DevOps Automation Engineer в компании Altenar, расскажу вам, почему DevOps - это целая философия, и, по сути, каждый IT-шник в своей мере DevOps.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 4.6K
Комментарии 4

Обзор Harvester — гиперконвергентного Open Source-решения на базе Kubernetes

Блог компании Флант Open source *Виртуализация *DevOps *Kubernetes *

Немецкая компания SUSE известна в Open Source-сообществе своими дистрибутивами Linux. Но этим ее деятельность не ограничивается. В конце прошлого года SUSE представила новый проект с открытым кодом — гиперконвергентное решение Harvester. Как говорит компания, Harvester — это альтернатива существующим гиперконвергентным платформам enterprise-уровня типа VMware vSAN и Nutanix HCI, адаптированная к cloud native-среде, к тому же полностью бесплатная.

В статье сделаем небольшой обзор Harvester: посмотрим на компоненты, возможности, сильные и слабые стороны.

Читать далее
Всего голосов 29: ↑29 и ↓0 +29
Просмотры 2.7K
Комментарии 6

Тестируем китайские rack-серверы Gooxi

Блог компании Инфосистемы Джет IT-инфраструктура *Серверное администрирование *

В последнее время мы начали намного активнее смотреть по сторонам в поиске альтернатив железу. К нам на знакомство попали малоизвестные серверы с китайским лейблом Gooxi. Расскажем о проблемах, решаемых даунгрейдом BIOS, логах на китайском языке и как сделать так, чтобы заработало.

Хм, интересно
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 4.1K
Комментарии 16

Как и для чего мы построили ML Space

Блог компании SberCloud IT-инфраструктура *Облачные вычисления *Машинное обучение *Суперкомпьютеры

Речь пойдет о платформе для ML-разработки полного цикла. Работа над ней стартовала с запуска одной из наиболее производительных вычислительных систем в России — суперкомпьютера Christofari. Расскажем, как мы строили ML Space и что предлагает платформа.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 617
Комментарии 0

Тестируем импорт данных в Neo4j

Блог компании Bimeister NoSQL *Хранилища данных *

Neo4j без преувеличения является самой распространенной графовой базой данных. Подход «schema free», гибкий язык запросов «cypher» — познакомиться с ней стоит хотя бы для расширения кругозора. Мы в компании Bimeister с целью повышения производительности провели серию экспериментов по переезду на Neo4j. Под катом я рассмотрю одну из сторон возможного апгрейда — импорт данных в графовую БД, проведу оценку ее преимуществ и недостатков и оценю время загрузки каждым из способов.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 982
Комментарии 4

ИБП в России: ситуация на рынке высокой и низкой мощности

Блог компании Группа компаний X-Com Системное администрирование *Энергия и элементы питания

Привет, Хабр! Сегодня мы хотим поднять тему доступности источников бесперебойного питания в России. Не секрет, что сегодня вся техника и ее поставки под вопросом и связаны с определенными сложностями, но именно в сегменте ИБП сложилась достаточно интересная ситуация. В этом посте мы поговорим о (бывших) лидерах рынка, о структуре их поставок, и о том, кто же остается в России и продолжает поставлять свои решения.

Читать далее
Всего голосов 19: ↑19 и ↓0 +19
Просмотры 5.9K
Комментарии 8