Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Деплоим Grafana Dashboard через ArgoCD

Время на прочтение5 мин
Количество просмотров477

В современном мире DevOps автоматизация и контроль версий играют ключевую роль в управлении инфраструктурой. Одной из важнейших задач является эффективное развёртывание мониторинговых решений, таких как Grafana.

В этой статье мы рассмотрим, как использовать ArgoCD для автоматизации деплоя дашбордов Grafana.

Читать далее
Всего голосов 2: ↑0 и ↓2-2
Комментарии2

Новости

Как визуальные головоломки помогут выявить AGI

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров576

Крупные языковые модели (LLM) вошли в число самых многообещающих изобретений в области искусственного интеллекта (ИИ). Впечатляющие возможности GPT-4 заставили многих восторженно говорить о появлении сильного искусственного интеллекта (AGI). При этом GPT-4 и другие LLM пока показывают очень слабые результаты на наборе данных ARC, состоящем из визуальных головоломок. Почему тест Тьюринга - плохой инструмент для определения AGI? В чем разница между узким и общим интеллектом? Насколько люди умнее GPT-4 по результатам тестов на ARC? В статье ответы на эти и другие вопросы.

Читать
Всего голосов 5: ↑5 и ↓0+5
Комментарии3

Технологии, с которыми работает VK: Kubernetes и не только

Уровень сложностиСложный
Время на прочтение9 мин
Количество просмотров1K

VK — одна из ведущих ИТ-корпораций России, сервисами которой пользуется около 95% аудитории Рунета. В нашем продуктовом портфеле более 200 проектов, созданием и развитием которых занимается большое количество команд. Для решения продуктовых задач мы используем широкий стек инструментов и технологий, в том числе активно работаем с Kubernetes. Причем наши подходы и паттерны к работе с K8s нередко отличаются от типовых решений.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

Совместимость серверов Тринити с платформами виртуализации: «Росплатформа»

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров260

Не вся виртуализация одинаково полезна, поэтому мы тестируем известные на рынке и появляющиеся решения на совместимость с нашим железом, а затем рассказываем вам о результатах. В прошлой статье из серии о тестировании мы мучили систему виртуализации «Рустэк». Теперь проверили «Росплатформу» на трёх наших серверах. В статье — пошаговое развёртывание ВМ нашим инженером Эриком Игнатовым и всякие ухищрения по ломанию нормального процесса с описанием результатов тестирования.

Читать далее
Всего голосов 2: ↑1 и ↓10
Комментарии2

Истории

Как рост вычислительных мощностей отражается на точности и качестве моделей

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров271
image

ИИ развивается стремительными темпами, но чем сложнее становятся технологии, тем больше усилий требуется для создания подходящей инфраструктуры. По данным TrendForce, объём поставок ИИ-серверов во втором квартале 2024 года увеличился почти на 20% по сравнению с предыдущим кварталом. Аналитики ожидают, что по сравнению с 2023 годом годовой рост может составить 41,5%. Облачные провайдеры перенаправляют бюджеты на закупку ИИ-серверов. Для сравнения, рост поставок обычных серверов составит всего 1,9%.


Один из главных способов получить доступ к передовым чипам — облако. Виртуальные GPU-серверы — эффективное решение для работы с нейронными сетями, большими данными и параллельными вычислениями. Однако необходимость сокращения издержек разработки систем ИИ становится всё более очевидной, а преимущества в решении данной задачи — фактором конкуренции в этой области.


Посмотрим, что происходит в сфере аппаратного и программного обеспечения.

Читать дальше →
Всего голосов 6: ↑6 и ↓0+7
Комментарии0

Выбираем между инструкциями RUN, CMD и ENTRYPOINT

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров1.8K

Для выполнения похожих задач в Docker нередко есть несколько решений. Одна запутанная область касается инструкций RUN, CMD и ENTRYPOINT Dockerfile. В этом переводе обсуждаются различия между этими инструкциями и показываются примеры их использования в форматах shell и exec. 

В чём разница между RUN, CMD и ENTRYPOINT?
Всего голосов 13: ↑11 и ↓2+11
Комментарии0

Приватный Kubernetes за 50 минут

Время на прочтение13 мин
Количество просмотров2.4K

Вынести даже часть инфраструктуры из закрытого контура — это ответственный и сложный шаг для многих компаний. Этот момент особенно чувствителен для сфер промышленности, финансов и государственного сектора.

Привет, Хабр! Меня зовут Саша, я ведущий системный администратор в Selectel. В этой статье на примере гибридной инфраструктуры покажу, как развернуть защищенную приватную инсталляцию в облаке, а заодно разберу некоторые мифы. Добро пожаловать под кат!
Читать дальше →
Всего голосов 14: ↑14 и ↓0+17
Комментарии0

Быстрая обработка данных в data lake с помощью SQL

Время на прочтение15 мин
Количество просмотров355

Кому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Рассмотрим, какие популярные SQL-движки умеют это делать и как им это удаётся.

Меня зовут Владимир Озеров, я руковожу компанией Querify Labs. Мы уже порядка 10 лет занимаемся распределённым SQL, делаем всевозможные SQL-движки, в частности CedrusData — коммерческий движок на основе опенсорс проекта Trino. Сегодня поговорим про то, каким образом устроен ряд SQL-движков, которые обрабатывают данные от data lake.

Читать далее
Всего голосов 3: ↑2 и ↓1+2
Комментарии0

Кворум кроликов или RabbitMQ Quorum

Время на прочтение3 мин
Количество просмотров682

Заводим кворум без фундаментальщины и теории 🤷‍♂️ (думаю, что по этому поводу статей хватает). Разбираем helm bitnami/rabbitmq-cluster-operator (чуть-чуть).

К разбору
Всего голосов 1: ↑1 и ↓0+2
Комментарии0

Как с помощью supervised fine-tuning кастомизировать LLM

Время на прочтение7 мин
Количество просмотров510

В быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка. Однако эти предварительно обученные модели обычно учатся на огромных объёмах текстовых данных при помощи обучения без учителя и могут быть не оптимизированы под узкую задачу.

Fine-tuning позволяет закрыть этот пробел, воспользовавшись преимуществами общего понимания языка, полученными во время предварительного обучения, и адаптировав их к целевой задаче при помощи обучения с учителем. Благодаря fine-tuning предварительно обученной модели на специфичном для задачи датасете разработчики NLP могут достигать впечатляющих результатов с гораздо меньшим объёмом данных обучения и вычислительных ресурсов, чем при обучении модели с нуля. В частности, для LLM fine-tuning крайне важен, так как повторное обучение на всём объёме данных вычислительно слишком затратно.


Сравнение предварительного обучения LLM и fine-tuning

Успех fine-tuning привёл ко множеству передовых результатов в широком спектре задач NLP и сделал его стандартной практикой в разработке высокоточных языковых моделей. Исследователи и практики продолжают исследовать варианты и оптимизации методик fine-tuning, чтобы ещё больше расширить возможности NLP.

В этой статье мы глубже изучим процесс fine-tuning LLM на основе инструкций при помощи библиотеки transformers двумя разными способами: просто с библиотекой transformers и с модулем trl.
Читать дальше →
Рейтинг0
Комментарии0

Диспетчеризация и автоматизация многоквартирного дома на Wiren Board

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров1.4K

В современных многоквартирных домах есть различные инженерные системы — за их бесперебойную работу отвечает управляющая компания. И здесь выручают решения для мониторинга и автоматизации: инженер всегда видит состояние всех систем, а в случае нештатных ситуаций ему приходят оповещения.

После ухода иностранных вендоров ассортимент таких решений существенно сократился. Мы посетили дом от застройщика в Казани, где нам показали систему автоматизации и диспетчеризации многоквартирного дома на контроллере и модулях отечественного производителя.

В статье мы рассмотрим решение и расскажем о его особенностях. Интересно? Ныряйте под кат.

Читать далее
Всего голосов 9: ↑9 и ↓0+11
Комментарии1

Xv6: увеличим размер страниц виртуальной памяти с 4Кб до 2Мб

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.5K

Научим xv6 работать с виртуальными страницами размера 2 Мб, узнаем, как компоновщик создает образ памяти программы и научим файловую систему xv6 справляться с большими файлами.

Пример: Пусть программа занимает 4 Мб памяти. Размер страницы - 4 Кб. Программа займет (1024 * 1024 * 4) / (1024 * 4) = 1024 страницы памяти. ОС избавит процессор от лишней работы, если увеличит размер страницы до 2 Мб - тогда программа займет 2 страницы.

Читать далее
Всего голосов 7: ↑7 и ↓0+9
Комментарии0

От выделенных серверов к хостингу Docker-контейнеров и бессерверным платформам

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров3.5K

Эволюция серверных технологий и технологий хостинга всегда играла ключевую роль в формировании цифрового ландшафта на протяжении многих лет. С первых дней от выделенных серверов до появления виртуализации и облачных вычислений, каждый новый этап приносил значительные улучшения в масштабируемости, гибкости и экономической эффективности. В этой статье мы рассмотрим путь развития технологий хостинга, начиная с хостинга на выделенных серверах и заканчивая передовой эрой бессерверных вычислений. Попутно мы также рассмотрим причины, по которым бессерверные платформы с их событийно ориентированной архитектурой и моделью оплаты за фактически потребленные ресурсы (pay-as-you-go) приобрели огромную популярность в современную эпоху разработки приложений.

Читать далее
Всего голосов 14: ↑3 и ↓11-8
Комментарии6

Ближайшие события

19 сентября
CDI Conf 2024
Москва
24 сентября
Конференция Fin.Bot 2024
МоскваОнлайн

СУБДиариум современного инфраструктурщика

Время на прочтение5 мин
Количество просмотров2.2K

Еще относительно недавно (каких‑то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что‑то серьезное под большую нагрузку — вот вам Oracle, что‑то попроще — MS SQL, а если какое‑то веб‑приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто‑то смотрит на структурирование СУБД по‑своему.

Читать далее
Всего голосов 12: ↑8 и ↓4+12
Комментарии2

Netmiko и автоматизация управления коммутаторами Cisco

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров869

Привет, Хабр.

Здесь уже недавно были статьи про netmiko и автоматизацию управления свитчами Cisco.

Я хочу продолжить эту тему дальше в контексте взаимодействия сетевого отдела и отдела поддержки пользователей. (DSS digital site support как из называют )

Какие обычные вопросы возникают в процессе взаимодействия?

взаимодействия сетевого отдела и поддержки
Всего голосов 4: ↑4 и ↓0+9
Комментарии4

Лунная экспедиция: Триумф науки и технологий, или масштабная мистификация?

Время на прочтение11 мин
Количество просмотров2.1K

20 июля 1969 года человек впервые приземлился на поверхность Луны, и люди во всем мире наблюдали за этим историческим событием по телевизору и радио. В 2024 году мы празднуем 55-летие первого успешного полета человека на Луну.

В статье расскажем о подготовке миссии «Аполлон-11», ее ключевых этапах и значении для развития космических исследований и технологий.

Читать далее
Всего голосов 19: ↑13 и ↓6+12
Комментарии5

Чистим права доступа к файлам и папкам от удалённых пользователей

Уровень сложностиСредний
Время на прочтение1 мин
Количество просмотров1.6K

Многие системные администраторы в своей практике сталкиваются с файлопомойками, на которых их коллеги нерадивые назначали права к файлам и папкам напрямую пользователю, а не группе доступа. А пользователей со временем удаляли из домена. Как итог имеем гору файлов и папок, у которых в разделе безопасность мы видим гору sid ов. Чтобы побороть данную проблему предлагаю небольшой powershell скрипт

Читать далее
Всего голосов 4: ↑4 и ↓0+5
Комментарии5

Инженерные расчёты: кто пасётся на лугу?

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров1.4K

Правильный ответ — конечные элементы, если отгадывает самый маленький инженер-прочнист, или контрольные объёмы, если инженеру ближе механика жидкости и газа. Ну, а если за дело берется менеджер по продажам, то для него там пасутся компании, которые этот софт для расчётов методом конечных элементов или контрольных объёмов разрабатывают и продают. На этот раз предлагаю посмотреть, с замещением каких продуктовых брендов можно столкнуться при внедрении российских САЕ-продуктов, какие у них есть сильные и слабые стороны.

Читать далее
Всего голосов 6: ↑6 и ↓0+8
Комментарии3

Риски искусственного интеллекта в критической инфраструктуре

Время на прочтение7 мин
Количество просмотров760

В апреле этого года американская исследовательская организация RAND опубликовала довольно любопытный отчёт об исследовании1, посвящённом рискам искусственного интеллекта (ИИ) для критически важной инфраструктуры. Авторы исследования опирались на информацию об «умных городах», и при оценке технологий рассматривали такие атрибуты, как доступность, мониторинг и контроль критической инфраструктуры, а также злоумышленное использование ИИ.

Читать далее
Всего голосов 5: ↑5 и ↓0+9
Комментарии1

Уязвимость VSCode и «объективный» взгляд на Git

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров4.4K

Привет, Хабр!

Меня зовут Владислав Кормишкин, я аналитик-исследователь угроз кибербезопасности в компании R-Vision. Сегодня я хотел бы рассказать вам об одном из самых популярных редакторов кода — VSCode, и о том, как злоумышленники могут использовать его в своих целях. На сегодняшний день известно о 229 миллионах установок расширений через встроенный магазин, содержащих вредоносный код. Уязвимости в редакторах кода используются давно, в том числе и APT (Advanced Persistent Threat) с применением социальной инженерии, как это было и с Visual Studio.

В этой статье мы рассмотрим архитектурные особенности VSCode, связанные с безопасностью исполнения кода. Мы также проанализируем уязвимость CVE-2023-46944 и объясним, почему, несмотря на то, что разработчик GitKraken пропатчил её в 2023 году, она всё ещё может быть потенциально опасной из-за особенностей работы с Git. Кроме того, мы расскажем, как именно эта уязвимость была пропатчена, и предложим правило для её обнаружения с использованием языка VRL и плагина R-Object.

exploit it >
Всего голосов 11: ↑10 и ↓1+12
Комментарии1
1
23 ...