Обновить

Администрирование

Сначала показывать
Порог рейтинга

Биоинформатика — это наука или всё же метод?

Блог компании RUVDS.com IT-инфраструктура *Алгоритмы *Научно-популярное Биология

Про биоинформатику слышали многие. Кто-то знает больше, кто-то меньше. Мы постарались раскрыть вопрос этой, относительно новой, науки. Так сказать, дать общие представления читателю об основных вехах развития, методах и проблемах: решённых и существующих на нынешнее время.
Читать дальше →
Всего голосов 52: ↑47 и ↓5 +42
Просмотры 3.8K
Комментарии 36

Новости

Конфигурационные файлы Linux

Блог компании FirstVDS Настройка Linux *Системное администрирование *
Перевод
image

1. Краткое содержание


Мощность ОС Linux кроется в возможности гибко настраивать систему под наши потребности. Большинство дистрибутивов содержат продвинутые пользовательские интерфейсы для конфигурации системы, однако, по сути, они лишь редактируют текстовые файлы в различных системных папках. Понимая, как работают конфигурационные файлы, мы можем отказаться от этих интерфейсов и повысить свой уровень владения Linux.

Из этого руководства вы узнаете, где файлы конфигурации расположены и каковы их функции. Благодаря стандарту иерархии файловой системы (Filesystem Hierarchy Standard) папки и файлы, которые мы рассмотрим, сохраняют своё расположение даже в разных дистрибутивах.
Читать дальше →
Всего голосов 37: ↑33 и ↓4 +29
Просмотры 15K
Комментарии 31

Пять способов управлять секретами в serverless стиле

Serverless *
Перевод

В работе бессерверных приложений, которые еще ассоциируют с «лямбдами» или «функциями», часто требуется аутентификация на сервисе или в API вышестоящего уровня. При этом могут использоваться учетные данные, передаваемые в БД, или API-ключ, если требуется запрос во внешнюю систему.

Зачастую возникает вопрос: «Как надежно и безопасно внедрять секреты в бессерверные приложения?»

Читать перевод далее
Всего голосов 18: ↑17 и ↓1 +16
Просмотры 1.8K
Комментарии 1

Представляем Windows Terminal Preview 1.13

Блог компании Microsoft Настройка Linux *Open source *Разработка под Linux *Разработка под Windows *

Добро пожаловать в первый релиз Windows Terminal 2022 года! Как всегда, вы можете установить Windows Terminal и Windows Terminal Preview из Магазина Microsoft или из репозитория GitHub. Ну а подробности о релизе под катом.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 6.4K
Комментарии 12

Минуточку внимания

Установка ubuntu 20.04 с корнем на шифрованном ZFS зеркале и UEFI загрузкой

*nix *

На моей домашней машине вот уже 7 лет работает пара дисков, объединенная в soft raid1. И вот на днях один диск в зеркале наконец начал сыпаться. Появился повод переустановить систему с нуля и начать использовать шифрование, которое 7 лет назад не было задействовано. В процессе гугления о состоянии дел в конфигурации LUKS поверх mdadm я вышел на статью сравнивающей производительность zfs vs mdadm/ext4. А потом нашел другую статью с тестированием производительности зашифрованных дисков использующих LUKS и zfs. Согласно обеим статьям zfs демонстрирует весьма неплохую производительность и я решил попробовать ее в деле.

Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 4.7K
Комментарии 10

Мал золотник, да дорог: ученые из НИТУ «МИСиС» предлагают создать облачный супер-ПК из миллионов смартфонов

Блог компании Selectel Высокая производительность *IT-инфраструктура *Облачные вычисления *Гаджеты

В идее распределенных вычислительных систем нет ничего нового. Идея реализована уже давно, плюс примеров таких реализаций множество, включая SETI, Folding@Home и другие. Идея в том, что специальное программное обеспечение использует незадействованные ресурсы локальных систем — например, ноутбуков и ПК, направляя их на выполнение полезных задач. Ну да, это может быть поиск сигналов внеземного происхождения или разных форм белка.

Но обычно такие системы и составляются из ноутбуков или десктопных ПК. А что, если задействовать ресурсы смартфонов или планшетов? Эта идея тоже не новая, но сейчас ее реализацией занялись российские ученые — специалисты из МИСиС.
Читать дальше →
Всего голосов 39: ↑36 и ↓3 +33
Просмотры 4.9K
Комментарии 51

Единый семантический слой BI и что он дает на примере платформы Microstrategy

Анализ и проектирование систем *Big Data *Визуализация данных Хранилища данных *Бизнес-модели
Из песочницы

Ежедневно я общаюсь с большим количеством крупных компаний. Нередко они выражают желание построить data-driven компанию в течение следующих нескольких лет. Их ключевая стратегия заключается в создании DWH/Big data и подключении к ней пользователей, которые сами будут строить отчеты, визуализации и дашборды, используя self-service инструменты - Tableau, Power BI или Qlik.

Одна из основных проблем Tableau, Power BI или Qlik - у них нет единого семантического слоя, единой логической модели, единого определения всех атрибутов, фактов и показателей для всей бизнес-аналитики компании. Именно поэтому они растут в компании без контроля и governance, порождая множество версий правды в отчетности и аналитике в компании. Через какое-то время компании сталкиваются с тем, что уже не могут разобраться какому отчету доверять - данные не сходятся не только в разных системах Tableau, Power BI или Qlik, но и между отчетами в одной системе. Получается, что компании вкладывают огромные средства в построение единой версии правды на уровне хранилищ данных, а в конечном счете получают невероятное количество отдельных и ungoverned отчетов, визуализаций, дашбордов, которым они не могут доверять.

Tableau, Power BI и Qlik - отличные инструменты, если вы хотите, чтобы бизнес-пользователь мог выполнять локальную аналитику self-services для нужд своего отдела. Тем не менее, чтобы построить data-driven компанию на уровне всего предприятия, вам потребуется инструмент, который позволит упорядочить, структурировать и стандартизовать всю вашу бизнес-аналитику. 

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 2.3K
Комментарии 11

Решение головоломки Wordle в командной строке

Блог компании RUVDS.com Занимательные задачки *nix *Логические игры
Перевод
Я терпеть не мог, когда родственники заставляли меня играть в Scrabble. Единственное, в чём я был хорош — так это в игре Countdown, в той её части, которая связана с числами. А теперь мне досаждает новая игра со словами Wordle, которая вот уже недели две то и дело выскакивает в моей Twitter-ленте.

Моя проблема в том, что я постоянно забываю слова. Даже между тем моментом, когда начинаю предложение, и тем, когда добираюсь до того его места, где я собирался использовать какое-то слово. Я знаю слова, и не могу сказать, что не понимаю их, когда их мне говорят. Но иногда я не могу их вспомнить, и ничего особо не улучшается даже тогда, когда у меня есть несколько букв, входящих в их состав. А вид перемешанных букв, похоже, только всё ухудшает. Неудивительно то, что любые игры, нацеленные на выдумывание слов, мне безразличны.

Мои первые три попытки решить головоломку Wordle провалились. На четвёртой попытке я застрял, так как не мог придумать ни одного слова, которое соответствовало бы подсказкам. Поэтому я сжульничал и обнаружил, что передо мной было одно слово, которое в точности подходило. Это слово выглядело абсолютно очевидным после того, как я понял, что могу использовать одну и ту же букву дважды. Но, как известно, любой вопрос — это ерунда, когда знаешь ответ.



Как бы там ни было, если вы в чём-то похожи на меня, и при этом у вас под рукой имеются вполне обычные инструменты командной строки Unix, возможно, вам будет интересно узнать о том, как и вы можете играть в Wordle. Даже если вы совсем не дружите со словами.
Читать дальше →
Всего голосов 34: ↑33 и ↓1 +32
Просмотры 4.7K
Комментарии 2

Приложения для заметок с хостингом на своём сервере (замена Evernote)

Облачные сервисы Софт
Я давно уже пользуюсь Evernote (далее местами — EN) для заметок. Мне от него много не надо — вложенность хотя бы в пару уровней, простой WYSIWYG-редактор, возможность прикреплять файлы, автосинхронизация, работа под Windows и Android, оффлайн-режим (включая мобильник), поиск по содержимому, сохранение веб-страничек. Коллективной работы не требуется, OCR приятен, но не критичен, веб тоже, даже self-hosting — при моей любви к таким решениям — приятная фишка, но если чего-то не будет из предыдущего списка, то я уж лучше буду пользоваться дядиным решением, а не терпеть отсутствие функций.


В принципе, сам по себе Evernote меня более-менее устраивает — работает, информацию я ещё не терял, просто сильно не нравится, куда он идёт. После выхода «new evernote» приложение резко потолстело как внешне, так и в плане потребления ресурсов, отбросило часть функций, приделало какие-то новые, лично мне не особо нужные, люди жалуются на пропадание данных, проблемы с оффлайн-режимом на телефонах, безопасность под вопросом, да и вообще — денег хочет.

Впрочем, заплатить за удобный сервис разумные деньги я не против, но если можно не платить — то предпочту не платить. Потому, когда собрал новый домашний сервер и начал перетаскивать какие-то сервисы от «дяди» к себе, задумался и о заметках. Как история показывает, этот тип приложений — один из самых подверженных различным облачным болезням, типа пропадания доступа, закрытия сервиса или смене тарифов.
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 16K
Комментарии 97

Как защитить базы с персональными данными, рассказываем на примере крупного ритейлера

Блог компании Бастион Информационная безопасность *IT-инфраструктура *Администрирование баз данных *Хранение данных *


Недавно одна обширная торговая сеть запустила программу лояльности. Команда Бастион участвовала в этом проекте в качестве консультантов по информационной безопасности, и это отличный повод поговорить о защите баз с персональными данными.


В этом посте расскажем, как работает database activity monitoring, какие мощности нужны, чтобы анализировать гигабиты трафика на лету, и в чем внешний мониторинг превосходит встроенный.

Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 6.4K
Комментарии 11

Шард всемогущий: как масштабировать СУБД для highload системы

Блог компании STM Labs IT-инфраструктура *NoSQL *MongoDB *Хранение данных *
✏️ Технотекст 2021

Весной 2021 года во французском Страсбурге случилось яркое событие: полностью сгорел дата-центр одного из крупнейших европейских хостинг-провайдеров (OVH). Всего за несколько часов пожар отрубил доступ к миллиону популярных сайтов и онлайн-сервисов во всём мире. Одна из вероятных причин — человеческий фактор. В результате под угрозой существования оказался не только сам ЦОД, но и весь бизнес провайдера. К слову, и в России ЦОДы тоже горят. К сожалению, пожар — не единственная проблема больших данных. Не менее опасно — highload системы. Это когда, например, приложение перестаёт справляться с моментальной нагрузкой, а вся инфраструктура работает на пределе возможностей, и запаса для роста у неё нет. Забегая вперед, скажу, что решение есть у каждой из перечисленных проблем. Но, обо всём по порядку.


Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Просмотры 3.5K
Комментарии 2

Как Газпромбанк тестирует концепцию «робот для каждого»

Блог компании UiPath IT-инфраструктура *Учебный процесс в IT Карьера в IT-индустрии Финансы в IT

Елизавета Поваляева, начальник Центра роботизации процессов

Алексей Голубинцев, заместитель начальника Департамента банковских процессов

Читать далее
Всего голосов 11: ↑9 и ↓2 +7
Просмотры 2.1K
Комментарии 3

Среды запуска контейнеров (container runtime) часть 3: Высокоуровневые среды запуска

DevOps *
Перевод

Это перевод статьи ссылка

Автор оригинальной  статьи: Ian Lewis.

Сылка на прошлую часть

Это третья часть из моего цикла статей о средах запуска. Много времени прошло с первой части, в ней я рассказал о средах запуска и о разнице между низкоуровневыми и высокоуровневыми средами. Во второй части мы погрузились в детали низкоуровневых сред и собрали простейший runtime.

Высокоуровневые среды являются наивысшим звеном. Low-level среды отвечают за запуск контейнеров, высокоуровневые же отвечают за транспорт и менеджмент образов контейнеров, распаковку и передачу контейнера низкоуровневым средам для запуска. Обычно high-level runtimes состоят из демона и API, которое позволяет приложениям запускать контейнеры и мониторить их, они передают необходимые команды низкоуровневым или другим высокоуровневым средам.

High-level runtimes поддерживают функции низкоуровневых сред, но для этого они используют отдельный контейнер. Например, одной из таких функций является управление сетью, и разрешение использовать контейнером сеть другого немспейса.

Вот концептуальная диаграмма для понимания того, как компоненты взаимодействуют между собой:

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 1.7K
Комментарии 0

Проброс видеокарты в виртуальную машину

*nix *Виртуализация *Видеокарты
Из песочницы

Две разные системы (win + linux) на одной аппаратной базе - реальность. В этом нет ничего нового или инновационного (на данный момент времени), но если требуется максимальная производительность гостевой системы, то не обойтись без проброса реальных устройств в виртуальную машину. Проброс сетевых карт, usb-контроллеров (etc) экстраординарных особенностей не несёт, а вот попытка "шаринга" ресурсов видеокарты и процессора вполне может принести некоторое количество проблем.

Итак, а для чего, собственного говоря, городить системы с полнофункциональным использованием ресурсов GPU и CPU? Самый простой и очевидный ответ - игры (широко известный факт - если не большинство, то очень многие, написаны под ОС Windows). Другой вариант - полноценное рабочее место с возможностью запуска требовательных приложений (например, CAD-софта), быстрым бэкапом (скопировать файл ВМ куда проще, чем создавать полную копию HDD/SSD) и опцией полного контроля сетевого трафика гостевой системы.

Читать далее
Всего голосов 25: ↑23 и ↓2 +21
Просмотры 14K
Комментарии 20

Простор для данных

Open source *SQL *Data Engineering *
Из песочницы

Зачем вообще нужны витрины и тем более Система для их построения?

Если коротко, то витрины (витрина от англ. data mart) – это набор структурированных данных. Обычно это данные по определенной теме или задаче в компании. Например, витрина с данными о заказчиках для отдела маркетинга может содержать подробные данные по договорам, истории заказов и поставок, оплатах, звонках и адресах доставки. Ничего лишнего, только нужные и актуальные очищенные данные, полученные из других ИС предприятия. Таких витрин даже на одном предприятии может быть множество.

Когда СУБД из коробки бывает недостаточно
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 2.3K
Комментарии 0

Just-in-Time Kubernetes: Руководство начинающим для понимания основных концепций Kubernetes

Блог компании OTUS DevOps *
Перевод

Итак, вы хотите освоить Kubernetes. Это такой технологический хайп, о котором, кажется, говорят все. Я затрудняюсь сказать, сколько рекрутеров обращались ко мне с предложением поработать с Kubernetes. Kubernetes — это определенно круто!

Читать далее
Всего голосов 12: ↑9 и ↓3 +6
Просмотры 15K
Комментарии 18

Дайджест интересных событий в сфере сетевых технологий: модульные дата-центры, крупные сделки и уязвимости iLO

Блог компании Selectel IT-инфраструктура *Сетевые технологии *Сетевое оборудование IT-компании

В мире сетевых технологий буквально каждый день происходит много чего интересного. Каждый раз писать новость или статью по этой теме — не хватит никаких ресурсов, поэтому мы решили время от времени выпускать дайджесты интересных событий. Сюда входят сделки между крупными компаниями, статистика рынков, новости технологий, создание новых объектов вроде дата-центров под водой, над водой, на земле и т.п.

В общем, надеемся, что такие дайджесты будут интересны Хабру. Поэтому начинаем. Кстати, если вдруг у вас есть предложения для добавления в дайджест — кидайте в комментариях, в следующем материале все учтем.
Читать дальше →
Всего голосов 40: ↑39 и ↓1 +38
Просмотры 2.9K
Комментарии 0

Разделяй и властвуй или как спасти оперативку

Python *Data Engineering *
Tutorial

Вероятно, многие встречались с такой проблемой как нехватка оперативной памяти для решения той или иной задачи. Но порой данную проблему можно обойти, руководствуясь простому, но верному принципу: Разделяй и властвуй. Данный подход может помочь не только в ML задачах, но и других проектах.

Поглядим!
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 2.4K
Комментарии 14

Как обрабатывать объекты Avro с помощью датасетов Spark 3.2 & Scala 2.12

Блог компании OTUS Scala *Big Data *Data Engineering *
Tutorial

Привет!

В этом посте разберем, как обрабатывать объекты JVM, сгенерированные из схем Avro, в датасетах Spark. Вместе с этим рассмотрим, как организовать код при помощи шаблона функционального программирования "класс типов" (type class) на языке Scala.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 653
Комментарии 0

Домашний веб-сервер для чайников

Open source *Администрирование доменных имен *IT-инфраструктура *Виртуализация *DevOps *
Tutorial

Привет, Хабр! Относительно недавно после пары лет перерыва в айти, потраченных на изучение японского языка, мне пришлось срочно обновлять свои знания на работе. Ну знаете, искать возможности исполнить все хотелки начальника, как и положено эникею. Меня ждало много увлекательных открытий, но при этом, как водится, и немало боли и борьбы с непонятками. Docker, контейнеры, реверс DNS и реверс прокси, получение TLS сертификатов. В какой-то момент я наконец дошёл до удобного решения, которым я теперь хочу поделиться.

В своё время домашний сервер очень облегчил бы мне понимание Docker’а, да и удобство работы с ним неслабо бы повысил. Поэтому возникла идея написать эту статью, после прочтения которой любой человек даже с поверхностными знаниями в информационных технологиях сможет поставить себе постоянно доступный домашний сервер на базе Docker Swarm с удобной веб-мордой, простым получением TLS-сертификатов и Heroku-подобным функционалом (для чего будем использовать PaaS CapRover). 

Статья, в общем-то, рассчитана на новичков, обладающих какими-то техническими знаниями — школьников старших классов, студентов и просто любителей — а потому вряд ли будет интересна серьёзным профессионалам.

Читать далее
Всего голосов 27: ↑25 и ↓2 +23
Просмотры 33K
Комментарии 26