Как стать автором
Обновить

Все потоки

Сначала показывать
  • Новые
  • Лучшие
Порог рейтинга
  • Все
  • ≥0
  • ≥10
  • ≥25
  • ≥50
  • ≥100

Поднимаем кластер Hadoop с помощью Ansible

Блог компании OTUSPython*Hadoop*
Перевод

Мы используем Ansible для автоматизации облачного провизионирования, управления конфигурациями, развертывания и других IT операций, просто составляя плейбуки (playbook). Это инструмент с открытым исходным кодом, который увеличивает нашу продуктивность в больших масштабах, экономя нам много времени и сил, когда, например, нужно выполнить корректировку конфигураций на нескольких узлах.

В этой статье мы автоматизируем настройку кластера Hadoop с помощью Ansible. Чтобы немного упростить пример, наш кластер будет состоять из одной виртуальной машины, берущей на себя роль узла управления для Ansible, и двух виртуальных машин в качестве управляемых узлов, которые будут служить NameNode и DataNode в кластере Hadoop.

Читать далее
Рейтинг0
Просмотры4
Комментарии 0

Новости

Показать еще

SQL на стероидах – 5 кейсов использования dbt + Jinja

Блог компании OTUSBig Data*Data Engineering*

SQL – это не скучно. С современными инструментами возможности языка кратно возросли. Мультитул для моделирования данных dbt, современные колоночные аналитические СУБД позволяют буквально творить с данными чудеса.

Меня зовут Артемий и я Analytics Engineer в компании Wheely. И сегодня я подготовил небольшой экскурс в реальные и интересные сценарии использования гибридного SQL

– Операции Pivot и Unpivot для табличных данных

– Генерирование суррогатного ключа и ключа конкатенации

– Гибкая фильтрация записей из таблиц-источников

– Автоматизация экспорта данных из Хранилища в S3

– Валютные курсы, Continuous Integration, Data Quality

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Просмотры25
Комментарии 0

6 рекомендаций по определению метода __init__

Блог компании OTUSPython*Программирование*
Перевод

Основным краеугольным камнем Python как объектно-ориентированного языка программирования является определение связанных классов для управления и обработки данных. Когда мы создаем класс, первым методом, который определяем является метод инициализации __init__. Если вы примените следующие рекомендации, то тот, кто будет читать ваш код, лучше поймет механику работы всех объектов экземпляра класса. В этой статье я хочу рассказать вам о рекомендациях по определению метода __init__.

1.Располагайте его в верхней части класса

Для большинства из нас эта рекомендация прозвучит очевидно, но я видел, как люди прячут его глубоко в теле класса вместе с другими атрибутами. Важно поместить его в самом начале, перед любыми другими методами. Именно здесь те, кто будут читать код, должны искать  __init__. Если у вас есть атрибуты, то метод __init__ следует поместить поле них. Следовать этому правилу нужно для всех классов, которые вы пишете в своем проекте, чтобы читающие не путались.

2. Называйте первый параметр self

Прежде всего, вы должны понимать, за что отвечает первый параметр. Он относится к объекту экземпляра, который вызывает метод __init__. Возможно, вы слышали термин «инстанцирование», однако метод __init__ сам по себе не эквивалентен ему. Как следует из названия, __init__ означает инициализацию, которая отвечает за процесс установки начального состояния созданного экземпляра класса. Есть соглашение, согласно которому первый параметр должен называться self, хотя это и не обязательно. Отмечу, что self – это не ключевое слово в Python, в отличие от многих других языков, где используется this, self или it. Они являются зарезервированными ключевыми словами для ссылки на текущий вызываемый экземпляр.

Читать далее
Всего голосов 1: ↑0 и ↓1-1
Просмотры73
Комментарии 0

Ассоциативная самозамкнутая сеть. Что нужно для создания сильного ИИ

Программирование*C++*Искусственный интеллект
Из песочницы

Свойственное поведение — искажение результатов работы системы, обусловленное её строением. Как уменьшить влияние данной проблемы и организовать логическую связь между неограниченным множеством объектов для дальнейшего использования их в качестве не только знаний, но и описаний действий.

Читать далее
Всего голосов 1: ↑0 и ↓1-1
Просмотры60
Комментарии 2

Метакласс — школа от KTS

Блог компании KTS

Привет!

В KTS мы уделяем особое внимание наставничеству и росту разработчиков. С самого создания компании старшие разработчики преподавали в ВУЗах — МГТУ им. Баумана, Московский политех — и в 2018 году мы решили сделать собственную школу разработки: https://metaclass.kts.studio.

В этой статье мы хотели бы рассказать о новом потоке бесплатной школы на примере курса «Начинающий React-разработчик» и поделиться интервью со студентом — а теперь и нашим разработчиком — который аж два раза учился в школе.

Читать далее
Рейтинг0
Просмотры48
Комментарии 0

Интерполяция — мать анимации — Твинеры в Unity

Программирование*Разработка игр*Unity*Компьютерная анимация*

Одним из неотъемлемых элементов игровых приложений, обеспечивающих красочный пользовательский опыт, является анимация. Основным компонентом Unity для анимации является "Mecanim", имеющий более привычное название "Аниматор". Это очень мощный инструмент, позволяющий управлять сложнейшими системами объектов, совместимый со скелетными анимациями, экспортируемыми из 3D-пакетов, с инструментами для работы с IK, смешивания анимаций или частичного их проигрывания. И как только ты уверишься в том, что пробовал в аниматоре все, будь уверен - на следующий день ты найдешь новую функцию, с которой не сталкивался ранее. И это будет та самая функция, которой тебе так не хватало. Но не всегда...

Читать далее
Рейтинг0
Просмотры81
Комментарии 0

Allure. В поисках почти идеальной TMS

Тестирование IT-систем*PHP*Тестирование веб-сервисов*DevOps*

Приветствую тебя, мой виртуальный друг! Если ты читаешь эту статью, скорее всего тебе интересен Allure, или ты хочешь разобраться с тем, что это за зверь и как он интегрируется в тестирование без многонедельных плясок с бубном.

Читать далее
Всего голосов 7: ↑7 и ↓0+7
Просмотры181
Комментарии 1

Использование SET STATISTICS TIME ON в SQL Server

Блог компании OTUSSQL*Microsoft SQL Server*
Перевод

Инструкция SET STATISTICS TIME ON позволяет нам легко получить информацию о времени выполнения запроса. В этой статье посмотрим подробнее, какую именно, и что она означает.

Читать далее
Всего голосов 1: ↑0 и ↓1-1
Просмотры94
Комментарии 0

Понять кубик Рубика

МозгЛогические игры

Легко отличить автора гениальной идеи от того, кто её понял и всего лишь пересказал, ведь истинный автор знает предысторию, может показать все предшествующие этапы понимания, чувствует границы применимости и особенности.

То же самое со сборкой этой головоломки: миллионы людей умеют делать это по формулам, но сколько из них понимают, что они делают? А ведь начать чувствовать кубик Рубика не так сложно!

Но сперва давайте договоримся, зачем нам такая головоломка нужна и чем полезна. Вы же уже слышали шутки про то, что кубик Эрно Рубика – штука многогранная? А видите параллели между кубиком Рубика, шахматами и, например, пианино или гитарой?

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Просмотры1.3K
Комментарии 0

Blitz Excel UI

SQL*Microsoft SQL Server*Visual Basic for Applications*

Всем привет. "Не возвращаясь" к нашим баранам из предыдущей статьи "И снова про MS Excel", хочу показать, что же все-таки у меня получилось для работы со скриптами First Response Kit (sp_Blitz) от Brent Ozar и компании. Нравится данный набор и для анализа загруженности SQL Server-а и оптимизации запросов на оном. Причем сам Brent предлагает нечто подобное за денюжку. Для тех кто пользовался, пользуется или думает пользоваться - предлагаю взглянуть на то что у меня получилось

Едем дальше
Рейтинг0
Просмотры189
Комментарии 0

CХД для видеонаблюдения: будь проще, и деньги потянутся

Блог компании RAIDIXТестирование IT-систем*Работа с видео*Серверное администрирование*Хранение данных*

Внедрить СХД для видеонаблюдения довольно легко. 

Сложнее понять, какой функционал действительно необходим, а какой приводит лишь к удорожанию системы и увеличению рабочей нагрузки.

Читать далее
Рейтинг0
Просмотры637
Комментарии 2

Взрывной элемент Agile

Agile*

Корпоративная (пред)история

Руководство одной  крупной полугосударственной компании, предоставляющей услуги населению, столкнулось с постоянным снижением доходов по нескольким направлениям из-за высокой конкуренции со стороны небольших частных компаний и низкой продуктивности собственного персонала. Генеральный директор принял решение о необходимости глубокой трансформации компании. В качестве пилотного участка был выбран один из филиалов компании, а в качестве методологии трансформации – Agile.

Консультанты и  команда проекта получили полный карт-бланш от самого генерального, и уже на первом заседании управляющего комитета проекта рассказали о значимых достижениях, а ещё через шесть месяцев были представлены результаты в 10 (!) раз превышающие целевые.

Высшее руководство лично посетило филиал и пообщалось с сотрудниками. За шесть месяцев количество принятых и внедрённых предложений и идей по улучшению в данном филиале превысило количество таких предложений по всей компании за последние три года. Выросла выручка, сократились затраты и время подготовки и доставки услуг клиентам. Но больше всего в успехе директора убедил невиданный им ранее у своих сотрудников энтузиазм. Сотрудники говорили о новых подходах в работе с восторгом.

Было принято решение расширять и тиражировать проект, но, учитывая многообещающие результаты и повысившуюся важность данной инициативы, руководство проекта теперь было отдано в руки топ-менеджеров компании.

Ещё через полгода количество поданных и реализованных идей снизу упало до обычной нормы, а проект был закрыт из-за резкого снижения показателей и неоправдавшихся надежд.

Читать далее
Всего голосов 3: ↑2 и ↓1+1
Просмотры670
Комментарии 3

Лазер на службе порядка: новые пылесосы Dyson

ГаджетыЛазеры
Компания Dyson представила сразу несколько новинок в своём пылесосном арсенале: 5 циклонных моделей, которые уже появились в продаже. И хоть Хабр не про пылесосы, обойти вниманием эти шедевры инженерной мысли нельзя — всё ж не у каждого стартапа на счету более 10 тысяч патентов. Да и современные пылесосы это скорее гаджеты и компьютеры, чем скучный раздел «бытовая техника».

Читать дальше →
Всего голосов 19: ↑15 и ↓4+11
Просмотры1.9K
Комментарии 17

Карьера программиста не заканчивается в 35

Блог компании SkillFactoryУчебный процесс в ITУправление персоналом*Карьера в IT-индустрии
Перевод

Несколько дней назад мы опубликовали перевод опроса StackOverflow 2021, а сегодня к старту курса по Fullstack-разработке на Python предлагаем вашему вниманию размышления о том, что меняется в жизни программистов, которые начали карьеру в 20–25 лет после 35, почему с 2011 года по 2020 самой многочисленной группой разработчиков на StackOverflow остаются люди 25–29 лет.

Читать далее
Всего голосов 9: ↑6 и ↓3+3
Просмотры2K
Комментарии 4

Как мы автоматизировали процесс генерации Release Notes

Блог компании МТСAPI*Управление разработкой*DevOps*Подготовка технической документации*

Всем привет! Меня зовут Семен. Я Java-разработчик и руководитель группы Java-разработки в Центре Big Data компании MTS Digital. В этом посте я хочу поговорить о Release Notes. Что это такое, почему не стоит писать их вручную и какие есть способы автоматизации. Покажу и реальный пример того, как организована  работа с Release Notes в нашем проекте.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Просмотры568
Комментарии 2

WireGuard для подключения к домашней Raspberry pi и использование домашнего интернета удалённо

Информационная безопасность*Сетевые технологии*
Tutorial

Wireguard удобный инструмент (хотя и легко определяеться на DPI, но мы сейчас не об этом) сегодня я хочу рассказать как с его помощью можно:


1. Подключаться к компьютерам за NAT (используя другой сервер с публичным IP) 

2. Использовать интернет провайдера за NAT'ом (домашнего провайдера)
При этом - подключаясь - к одному серверу, а выходить в интернет через совершенно другой

Читать далее
Всего голосов 3: ↑2 и ↓1+1
Просмотры768
Комментарии 0

Хьюстон, что-то опять пошло не так?

Блог компании RUVDS.comПроизводство и разработка электроники*Научно-популярноеКосмонавтикаБудущее здесь
Возвращение человека на Луну перенесено на 2025 год. Не успел начаться август, а, кажется, в космической индустрии посыпалось все, что могло. Без фатальных событий, к счастью, но явно спокойный период прошел: отметились и NASA в Лунной программе, и Boeing с Blue Origin в своих космических проектах, а началось все с «Науки». Космическая отрасль в системном кризисе?

Иллюстрация: Petra Ramešová

Луна-2024 — недостижима

Одна из ближайших целей Лунной программы NASA «Артемида» — это возвращение человека на Луну в 2024 году. Но теперь точно не ранее апреля 2025 года. Почему?
Читать дальше →
Всего голосов 23: ↑22 и ↓1+21
Просмотры1.9K
Комментарии 13

ІТ термины на примере процесса выращивания картошки. Часть вторая

Программирование*Терминология ITРазвитие стартапа

Два года назад я написал статью ІТ термины на примере процесса выращивания картошки, собравшая огромное количество позитивных комментариев и просмотров. С тех пор появился отдельный персонаж - Картофанчик, который продолжает рассказывать просто об ИТ. Проект оригинально ведется на украинском языке.

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Просмотры968
Комментарии 1

Возможна ли анонимная оплата в Apple Pay?

Блог компании PostufИнформационная безопасность*

Конечно, нельзя называть Apple Pay анонимным в принципе, хотя бы потому что к ней привязана наша банковская карта. Однако, в момент оплаты что о нас узнаёт продавец? Какие наши персональные данные получает продавец от Apple Pay? Можно ли избежать передачи данных и, тем самым, сделать оплату анонимной в глазах продавца?

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Просмотры709
Комментарии 0

Production Ready: 4 вопроса, которые важно задать перед созданием чек-листа

Блог компании OTUSDevOps*
Tutorial

Мы просыпаемся, умываемся, чистим зубы, делаем зарядку, завтракаем и начинаем готовиться к полёту. Мы просыпаемся не потому, что прозвенел будильник, а потому, что прилетел алерт и сегодня ваша очередь дежурства. Выясняется, что в новом приложении задеплоенном в продакшн не были выставлены лимиты на выделение ресурсов в pod’е kubernetes и при росте нагрузки приложение изволило скушать всю память, как следствие к нему пришел ООМ, ну дальше вы знаете. 

Но как же так случилось, ведь в предыдущих проектах эти настройки везде были выставлены и казалось бы это очевидная вещь.

Читать далее
Всего голосов 8: ↑8 и ↓0+8
Просмотры256
Комментарии 1