Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Быстрый старт: Docker + SMTP + Java/Go

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров400

Не так давно у меня появилась необходимость на нескольких проектах сделать регистрацию с подтверждением email, так же хотелось минимизировать затраты и исключить лишние телодвижения, так сказать методом ctrl+c ctrl+v, без танцев с бубном. Так же нам не нужно принимать почту и прочее, просто отправка, не более

P.s. Для прожженных отцов разработки ничего нового тут не будет

Итак, поехали ;-)

Читать далее
Всего голосов 2: ↑0 и ↓2-2
Комментарии2

Новости

Разработка через Termidesk: утопия или рабочая реальность разработчика

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров388

Для того чтобы лучше понимать продукт, нужно его использовать. Звучит вполне логично. Но бывают ситуации, когда продукт, который вы разрабатываете, определяет ваше взаимодействие с инструментами для разработки. То есть он буквально доставляет ваше рабочее место с удаленной машины на локальный компьютер.

Может ли формат доставки рабочих мест в виде Termidesk VDI быть рабочим решением для разработки? В статье будем разбираться, утопия это или вполне себе приятная реальность.

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии1

Как установить Apache Spark за 10 минут

Уровень сложностиСредний
Время на прочтение2 мин
Количество просмотров385

Установка Apache Spark займет немного времени и позволит изучить этот инструмент еще глубже прямо на своем компьютере!

Читать далее
Всего голосов 6: ↑2 и ↓4-2
Комментарии2

Авито мертв для бизнеса в 2024?

Время на прочтение12 мин
Количество просмотров1.7K

Авито — самая большая доска объявлений в мире. Кто-то продает здесь старый холодильник, кто-то ищет квартиру в Минводах, а кто-то строит целую бизнес-империю.

В статье расскажем, как работает Авито в 2024 году. Поговорим о том, за что на самом деле платят продавцы, какие товары сейчас хорошо продаются, и как сделать объявление, которое привлечет покупателей.

Читать далее
Всего голосов 7: ↑3 и ↓40
Комментарии5

Истории

Красота и изящество таблицы ASCII

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров1.9K
Если вы программист или хотя бы немного связаны с программированием1, то без сомнения сталкивались с таблицей ASCII.

Таблица ASCII полезна. Но знали ли вы, что она ещё красива и изящна?

Сегодня даже не близкие к программированию люди могут знать об ASCII благодаря книгам и фильмам наподобие «Марсианина»2

ASCII по-прежнему с нами; даже если вы передаёте современный Unicode3, то должны знать, что самый популярный формат кодировки UTF-8 специально спроектирован как обратно совместимый с ASCII! Декодировав эту статью как ASCII, вы в целом поймёте её смысл… если закроете глаза на мусорные символы в конце предложений (прим. ред.: имеет смысл только для оригинальной статьи на английском).
Читать дальше →
Всего голосов 19: ↑19 и ↓0+27
Комментарии22

Сила gRPC в облачных окружениях

Время на прочтение7 мин
Количество просмотров440
При разработке исходно облачных (cloud-native) приложений требуется наладить гладкую и эффективную коммуникацию между различными компонентами. Для начала давайте рассмотрим весь спектр инструментов от XML до gRPC, которые обеспечивают и улучшают эти критически важные взаимодействия.

XML (часто с применением SOAP):


<order>
    <bookID>12345</bookID>
    <quantity>2</quantity>
    <user>JohnDoe</user>
</order>

Читать дальше →
Всего голосов 5: ↑2 и ↓3+1
Комментарии2

Data Science в travel-tech. Часть 1. Поиск и бронирование

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров200

Привет! Меня зовут Иван Елфимов, я Developer Advocate в Островке. В прошлом месяце мы опубликовали пост о том, чем занимаются ML-инженеры в Островке. В этот раз рассказываем про Machine Learning (ML) и Data Science (DS) с точки зрения продукта.

Команда Data Science появилась в Островке в 2014 году, задолго до расцвета больших языковых моделей. За это время она успела сделать десятки проектов с computer vision, NLP и сложными классическими моделями.

Ажиотаж вокруг языковых моделей заставил многих из нас забыть, что Data Science — это не только трансформеры (General Pretrained Transformers, GPT). Мы используем картинки, текстовые и табличные данные для построения моделей, которые работают в реальном времени или обрабатывают статистические данные. Они помогают нам подбирать лучшие отели для вашего следующего путешествия.

Хороший DS-продукт не заметен — он просто работает. Давайте сыграем в игру: мы показываем скриншот страницы сайта, а вы пробуете отгадать, сколько на этой странице DS-продуктов. И не забывайте, что DS-продукт — это не только нейронные сети, но и классические модели, а также различные эвристики. Надеюсь, результаты вас удивят!

Читать далее
Всего голосов 5: ↑5 и ↓0+6
Комментарии0

Memex: как мы можем мыслить? Гипертекстовое устройство из 1945 года

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров695

В прошлой статье мы рассказали о проекте гипертекстового интернета, который разработал американский исследователь Тед Нельсон еще в 60-х годах прошлого века. Однако сама идея гипертекста родилась намного раньше — ее озвучил еще в 1945 году Ванневар Буш.
Читать дальше →
Всего голосов 11: ↑11 и ↓0+15
Комментарии5

Введение в Apache Flink: архитектура и основные концепции. Часть 1

Уровень сложностиСложный
Время на прочтение23 мин
Количество просмотров615

Будучи DevOps-инженером и работая с масштабируемыми облачными решениями, мне часто приходится глубоко погружаться в механизмы работы потоковых платформ. Трудно переоценить важность подробного изучения архитектуры и оптимизации обработки данных, когда речь идёт о системах вроде Apache Flink. Эта технология стала неотъемлемой частью моего инструментария благодаря её возможностям по реализации потоковых приложений.

Мы рассмотрим ключевые аспекты функционирования Apache Flink, от распределённой обработки данных до обеспечения надёжности системы в условиях возможных сбоев. Все эти элементы лежат в основе производительности и масштабируемости приложений, работающих с потоками данных.

Ещё мы подробно рассмотрим использование Apache Flink в задачах, где требуется высокая скорость обработки и точность управления данными. Особое внимание уделим изучению архитектурных основ и методов разработки высокоэффективных потоковых систем.

Материал объёмный, и поэтому я разделил его на две части. Запаситесь чаем и печеньками =)

Читать далее
Всего голосов 2: ↑2 и ↓0+3
Комментарии1

Установка LLM на скромном VPS

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.8K

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи. В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем.

Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM.

Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь.
Читать дальше →
Всего голосов 18: ↑16 и ↓2+23
Комментарии5

Работа с TCP IP на IBM Mainframe

Время на прочтение3 мин
Количество просмотров687

Не так давно я проводил корпоративное обучение на тему того, как работать с мейнфреймом IBM. Хочу рассказать об этом в нескольких статьях.

TCP/IP (Transmission Control Protocol/Internet Protocol) представляет собой набор сетевых протоколов, обеспечивающих связь между компьютерами и другими устройствами в сети. Его внедрение в мейнфреймы IBM значительно расширяет возможности этих мощных систем, позволяя им эффективно взаимодействовать в современных сетевых средах, интегрироваться с разнообразными приложениями и системами, а также поддерживать высокие уровни безопасности и производительности.

В этой статье мы рассмотрим основные аспекты работы с TCP/IP на IBM Mainframe.

Читать далее
Всего голосов 1: ↑0 и ↓1-1
Комментарии2

Что такое supervised fine-tuning?

Время на прочтение7 мин
Количество просмотров191
Supervised fine-tuning (SFT) — это методика, применяемая для адаптации предварительно обученных Large Language Model (LLM) под конкретную задачу при помощи размеченных данных.


В процессе SFT предварительно обученные LLM подвергаются fine-tuning на основе размеченного датасета при помощи методик обучения с учителем. Веса модели выравниваются на основании градиентов, полученных из функции потерь конкретной задачи, измеряющей разность между прогнозами LLM и эталонной разметкой.

Этот процесс позволяет модели обучаться паттернам и нюансам конкретной задачи, адаптируя её параметры в соответствии с распределением конкретных данных и требований задачи.

SFT, обычно выполняемый после предварительного обучения модели, применяется для того, чтобы научить модель следовать переданным пользователем инструкциям. Он более вычислительно затратен, чем fine-tuning без учителя, но и имеет больше шансов достичь повышенной точности.

Объём необходимого дообучения зависит от сложности задачи и размера датасета. В случае простого переноса стиля с использованием моделей OpenAI наподобие GPT-3.5 или GPT-4 для получения превосходных результатов обычно достаточно 30-50 высококачественных примеров.

Чтобы преобразовать базовую Large Language Model (LLM) в выполняющую инструкции LLM (например, превратить Mistral в Mistral Instruct), обычно требуется обучение на десятках тысяч примеров.

Дообучение Zephyr 7b выполнялось на 16 GPU Nvidia A100 в течение примерно четырёх часов. Это можно считать примером отправной точки для модели с 7 миллиардами параметров.
Читать дальше →
Рейтинг0
Комментарии0

Почему иногда лучше оценить задачу в размерах майки, чем в часах

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.1K

Привет! Я Игорь, фронтенд-разработчик в Selectel. Когда-то давно я был проектным менеджером в небольшой компании, где было принято работать по модели Waterfall. Все этапы разработки были определены заранее, а на каждый этап отводилось определенное время.

Задачи были оценены строго по часам, ни о каких спринтах мы не знали. Когда что-то не учитывалось — все планы и сроки срывались из-за невозможности адаптировать разработку под изменение среды. В общем, у нас были четкие временные отрезки, немного хаоса и пузырек валерьянки на столе…

Почасовая оценка задач мне всегда казалась неэффективной. Но в то время не было опыта взаимодействия с другими методологиями. Сейчас я счастлив, ведь работаю с относительной оценкой задач в Story Points. 🙂 Добро пожаловать под кат, если тоже хотите добавить в ваш рабочий процесс немного гибкости!
Читать дальше →
Всего голосов 25: ↑24 и ↓1+28
Комментарии14

Ближайшие события

Как реализовать и оптимизировать UPSERT в Greenplum 6

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров439

Привет! Меня зовут Антон Васильев, я работаю инженером технической поддержки компании Arenadata и нередко сталкиваюсь с довольно каверзными задачами и багами. Одной из них была проблема оптимизации механизма UPSERT в Greenplum 6. В этой статье я хочу рассказать, как эта задача может быть решена.

Читать далее
Всего голосов 10: ↑10 и ↓0+10
Комментарии0

Кто такой Data Engineer | Дата Инженер

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров1K

В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии

Читать далее
Всего голосов 3: ↑0 и ↓3-3
Комментарии3

Квантовый искусственный интеллект: пересечение квантовых вычислений и машинного обучения

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров429

Квантовые вычисления и машинное обучение — две из самых передовых и захватывающих областей современной науки и технологий. Квантовые вычисления, основанные на принципах квантовой механики, обещают революционизировать подход к обработке информации, предлагая возможности, недостижимые для классических компьютеров. В то же время машинное обучение уже преобразовало многие сферы деятельности человека, от анализа данных до создания интеллектуальных систем. Пересечение этих двух областей открывает новые горизонты для инноваций и значительных прорывов.

Читать далее
Всего голосов 2: ↑0 и ↓2-2
Комментарии3

Деплоим Grafana Dashboard через ArgoCD

Время на прочтение5 мин
Количество просмотров932

В современном мире DevOps автоматизация и контроль версий играют ключевую роль в управлении инфраструктурой. Одной из важнейших задач является эффективное развёртывание мониторинговых решений, таких как Grafana.

В этой статье мы рассмотрим, как использовать ArgoCD для автоматизации деплоя дашбордов Grafana.

Читать далее
Всего голосов 4: ↑1 и ↓3-2
Комментарии4

Как визуальные головоломки помогут выявить AGI

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров1.1K

Крупные языковые модели (LLM) вошли в число самых многообещающих изобретений в области искусственного интеллекта (ИИ). Впечатляющие возможности GPT-4 заставили многих восторженно говорить о появлении сильного искусственного интеллекта (AGI). При этом GPT-4 и другие LLM пока показывают очень слабые результаты на наборе данных ARC, состоящем из визуальных головоломок. Почему тест Тьюринга - плохой инструмент для определения AGI? В чем разница между узким и общим интеллектом? Насколько люди умнее GPT-4 по результатам тестов на ARC? В статье ответы на эти и другие вопросы.

Читать
Всего голосов 6: ↑6 и ↓0+7
Комментарии9

Технологии, с которыми работает VK: Kubernetes и не только

Уровень сложностиСложный
Время на прочтение9 мин
Количество просмотров2.8K

VK — одна из ведущих ИТ-корпораций России, сервисами которой пользуется около 95% аудитории Рунета. В нашем продуктовом портфеле более 200 проектов, созданием и развитием которых занимается большое количество команд. Для решения продуктовых задач мы используем широкий стек инструментов и технологий, в том числе активно работаем с Kubernetes. Причем наши подходы и паттерны к работе с K8s нередко отличаются от типовых решений.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии2

Совместимость серверов Тринити с платформами виртуализации: «Росплатформа»

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров501

Не вся виртуализация одинаково полезна, поэтому мы тестируем известные на рынке и появляющиеся решения на совместимость с нашим железом, а затем рассказываем вам о результатах. В прошлой статье из серии о тестировании мы мучили систему виртуализации «Рустэк». Теперь проверили «Росплатформу» на трёх наших серверах. В статье — пошаговое развёртывание ВМ нашим инженером Эриком Игнатовым и всякие ухищрения по ломанию нормального процесса с описанием результатов тестирования.

Читать далее
Всего голосов 2: ↑1 и ↓10
Комментарии3
1
23 ...