SkillFactory

Эссе 2004 года

В течение многих лет работающие над своим имиджем умники, такие, как… ну, я, например, бесконечно болтали о юзабилити и о том, как важно сделать программное обеспечение удобным для использования. У Якоба Нильсена есть математическая формула, которую он откроет вам всего за 122 доллара: с помощью неё вы сможете рассчитать значение юзабилити. (Если ожидаемое значение юзабилити больше 122 долларов, наверное, доход у вас есть.)

У меня есть книга, которую вы можете купить гораздо дешевле. В ней рассказывается о некоторых принципах разработки удобного программного обеспечения, но о математике там нет ни слова, и цена может показаться вам сомнительной.

В этой книге на странице 31 я показал пример того, что в то время было самой популярной программой на Земле — Napster. На главном окне Napster находились кнопки для переключения между пятью экранами. В соответствии с принципом юзабилити, который называется «affordance», вместо кнопок у него на самом деле должны были быть вкладки, что я и хотел продемонстрировать этим примером.



И все же Napster было самой популярной программой на Земле.

Картинка отсюда.

• Machine Learning от Stanford University
  
• Machine Learning Foundations: A Case Study Approach от University of Washington
  
• CS188.1x: Artificial Intelligence от University of California, Berkeley
  
• Practical Machine Learning от Johns Hopkins University
  
• Introduction to Artificial Intelligence от Stanford University
  
• Artificial Intelligence for Robotics от Stanford University
  
• Introduction to Machine Learning Course от Stanford University
  

Информационные технологии позволяют получить невероятно крутые образовательные ресурсы в один клик. Бесплатно.

Я сейчас решаю задачу, как из огромной массы жизненно важного контента выбрать тот, который стоит попробовать в первую очередь, как «разметить данные», чтобы нейросеточка у подрастающего поколения обучилась более эффективно. (ontol.org, «Выгорание», «Удаленка», телеграмм-канал).

Предлагаю вам подборку бесплатных онлайн-курсов по Data Science от лучших университетов в мире:

• R Programming от Johns Hopkins University
  
• The Data Scientist’s Toolbox от Johns Hopkins University
  
• The Analytics Edge от Massachusetts Institute of Technology
  
• Getting and Cleaning Data от Johns Hopkins University
  
• Introduction to Data Science in Python от University of Michigan
  
• Python for Data Science от University of California, San Diego
  

Продуктовые датасеты

• Fashion-MNIST: Идеально подходит для продуктовой категоризации. MNIST содержит почти 60 000 обучающих изображений и 10 000 тестовых изображений продуктов фэшн-индустрии в 10 классах.
• Innerwear Data from Victoria’s Secret and Others: Данные с 600 000+ товаров нижнего белья, извлеченного из популярных торговых объектов. Включает в себя описание продукта, цену, категорию, рейтинг и многое другое.
• Electronic Products and Pricing Data: Содержит список из более чем 7000 электронных продуктов.
• Men’s Shoe Prices: Список содержащий 10 000 мужских ботинок и цен.
• Women’s Shoe Prices: Список содержащий 10 000 женских туфель и цены.
• eCommerce Item Data: Подходит для рекомендательных систем. Этот набор данных содержит артикулы и связанные с ними описания продуктов из каталога продукции бренда наружной одежды.
• Fashion Products on Amazon.com: Это pre-crawled набор данных, созданный путем извлечения данных из Amazon. Он состоит примерно из 22 000 фэшн-товаров на Amazon.
• E-commerce Tagging for Clothing: Содержит изображения с сайтов ecommerce с ограничивающими рамками, нарисованными вокруг рубашек, пиджаков, солнцезащитных очков и т. д. Он содержит 907 наименований, из которых 504 наименования были помечены вручную.

Учитесь создавать софт, используя модели машинного обучения

Дисклеймер: статья основана исключительно на моих наблюдениях за командами разработчиков в области машинного обучения и не является результатом научного обзора отрасли. Для справки, я помогаю разрабатывать Cortex — платформу с открытым исходным кодом для запуска моделей в производство.

Если вы разработчик, то, мимолетный интерес к машинному обучению у вас как минимум есть. Концепция алгоритма, которые учатся, чтобы потом делать прогнозы, это ведь просто… круто.

Однако, если вы решили начать изучать ML следуя всем канонам, то велика вероятность, что после двух недель линейной алгебры и многомерного анализа, вы бросите это занятие.

Причина кроется в том, что большинство вводных материалов по ML ориентированы не на разработчиков, а на исследователей — что и является проблемой для разработчиков, которые просто хотят создавать продукты с машинным обучением.

Вы хотите создавать продукты или проводить исследования?

До конца 2000-х годов машинное обучение было практически только исследовательской проблемой. Просто было не так много компаний, которые бы реально использовали машинное обучение в производстве.

Чудаковатые и ломающие мозг правила Usenet, Burning Man и Stack Overflow

Джоел Спольски, апрель 2018

Ходит среди разработчиков популярная байка, что если у тебя не работает код, то надо взять резиновую уточку и рассказать ей — да-да, утке — как этот код должен был работать: объяснить каждую строку, что должно было произойти, что вылезло в итоге и т.п. Разработчики, которые опробовали этот лайфхак на себе, утверждают, что в процессе детального проговаривания проблемы неживому объекту часто получается найти и ее решение.

Это одна из хитростей, которая может помочь самостоятельно разрешить проблему в процессе программирования. Еще один способ — освоить отладку программы (дебаггинг) по принципу “разделяй и властвуй”. Невозможно перерыть тысячу строк кода ради одной ошибки. Зато можно разделить код на две части и посмотреть, что происходит в первой половине, а что происходит во второй. Сделай это пять-шесть раз и дойдешь до той самой строки с ошибкой.

С учетом вышесказанного любопытно почитать чек-лист Джона Скита для написания идеального вопроса. Джон спрашивает: “Прочитали ли вы внимательно вопрос, чтобы оценить его внятность и понятность для человека, который в глаза не видел ту информацию, которой вы обладаете?”. По большому счету, это и есть тест с резиновой уточкой. Другой вариант: “Если в вопрос включен код, вписали ли вы его в полную, но короткую программу?”. Акцент на короткой программе — это, по сути, проверка того, пытались Вы “разделить и властвовать” или нет.

Чек-лист Джона, грубо говоря, предлагает людям сначала попробовать сделать то, что уже пробовали опытные программисты, а потом уже обращаться за помощью к другим.

К сожалению, не каждый слышал об этом чек-листе. А может и слышал, но предпочел проигнорировать. У человека проблема с кодом, он знает, что существует система вопросов и ответов Stack Overflow, которая может ему помочь, и времени читать протокол какого-то ботана о том, как надо задавать вопросы, у него нет.

Четыре инструмента, которые я использовала в обучении, не потратив ни цента.

Я только что сбежала от восьми лет учебы и упорной работы не имея никакого плана. Возможно вам интересно, почему люди идут на такие поступки. Дело в том, что на протяжении долгого времени мой босс отбивал мое желание работать, и я понимала, что пора что-то менять.

Мой молодой человек предложил мне стать data scientist. Моей реакцией, конечно, было «Ты сошел с ума!», ведь я совсем ничего не знала о программировании. Без сомнений он переоценивал мои способности. Вот и синдром самозванца снова напоминает о себе.

Примерно через две недели моя подруга Анна предложила то же самое. Немного поразмыслив, я всерьез начала обдумывать эту идею. А почему бы и нет? Так я решила вновь стать новичком и начать новую жизнь в роли data scientist.

Я хотела учиться в своем темпе, поэтому решила пройти онлайн курсы. Я полагала, что с PhD в нейробиологии я уже получила достаточно формального обучения для работы в data science. Мне просто нужны были практические знания.

Я расскажу о четырех разных курсах, которые я прошла, и о том, как они привели меня к работе с data science в стартапе по здравоохранению в Кремниевой долине.

В то время большинство найденных мной онлайн курсов были бесплатными. Поэтому я бросила себе вызов – получить все необходимые навыки не потратив ни копейки. Что тут скажешь, я – настоящая скряга.

Взаимосвязь технологий. Полная версия результатов опроса тут.

Краткие выводы

• 65 000 разработчиков было опрошено.
• Python спустился с 2 на 3 место среди самых любимых технологий, будучи побитый TypeScript. Rust на первом месте пять лет подряд.
• Инженеры по надежности сайта и специалисты DevOps остаются среди самых высокооплачиваемых. 80% респондентов считают, что DevOps важен, а 44% работают в организациях с хотя бы одним выделенным сотрудником DevOps.
• 52% респондентов думают «Привет, старина», когда ищут в сети решение для кодирования, и обнаруживают, что первая ссылка на результат фиолетового цвета, потому что они уже посетили эту ссылку.
• 90% респондентов ответили, что посещают Stack Overflow, когда сталкиваются с трудностями и застревают в написании кода.
• 0,3% респондентов никогда не посещали Stack Overflow до начала этого опроса.
• Респонденты из Австралии сообщили о самом высоком среднем уровне опыта написания кода (16,9 лет), за ними следуют разработчики из Великобритании и США.
• Респонденты из Соединенных Штатов и Соединенного Королевства показывают самый высокий средний возраст — 33,7 и 33,1 года соответственно.
• Более 40% респондентов сообщили, что они являются членами других сообществ онлайн-разработчиков, помимо Stack Overflow.
• Более 75% разработчиков работают сверхурочно, по крайней мере, время от времени — один-два дня в квартал. 25% работают сверхурочно 1-2 дня в неделю и более.

Некоторые любопытные результаты опросов.

Каким должно быть эссе? Многие сказали бы — убедительным. Так нас учили… Но я думаю, что мы можем стремиться к чему-то более амбициозному: эссе должно быть полезным.

Прежде всего эссе должно быть корректным. Но недостаточно просто быть корректным. Легко сделать утверждение корректным, сделав его расплывчатым. Это распространенный недостаток академического письма. Даже если вы ничего не знаете о предмете, вы не ошибетесь, сказав, что проблема сложная, что есть много факторов, которые следует учитывать, что слишком простой взгляд на неё был бы ошибкой, и так далее.

Такие утверждения, несомненно, корректны, но они ничего не сообщают читателю. Хороший текст содержит в себе сильные высказывания — настолько сильные, что сделать их еще немного сильнее означало бы превратить их в ложь.

Например, полезнее было бы сказать, что Пайкс-Пик находится рядом с центром штата Колорадо, чем просто где-то в Колорадо. Но если я скажу, что это точно в центре Колорадо, окажется, что я преувеличил, так как на самом деле это немного восточнее середины.

Точность и корректность подобны противостоящим силам. Легко удовлетворить одну, игнорируя другую. Поддержание академического стиля — смело, но фальшиво, это риторика и демагогия. Полезное писательство — смело и правдиво.

Здесь также есть 2 других момента: говорить людям что-то важное и то, что, по крайней мере, некоторые из них еще не знают.

Лизе Пиччирильо (Lisa Piccirillo) потребовалось меньше недели, чтобы ответить на давний вопрос о странном узле, обнаруженном более полувека назад легендарным Джоном Конвеем.

Летом 2018 года на конференции по низкоразмерной топологии и геометрии Лиза Пиччирилло услышала о милой маленькой математической задачке. Это было похоже на хорошую испытательную площадку для некоторых методов, которые она разрабатывала, будучи аспиранткой в Техасском университете в Остине.

“Я не позволяла себе работать над этим днем, — сказала она, — потому что не считала это настоящей математикой. Я думала, что это была моя домашняя работа.»

Вопрос заключается в том, является ли узел Конвея — рычаг, открытый более полувека назад легендарным математиком Джоном Хортоном Конвеем, — кусочком узла более высокого измерения. «Срезанность» — это один из первых естественных вопросов, которые теоретики узлов задают об узлах в пространствах с более высокими измерениями, и математики смогли ответить на него для всех тысяч узлов с 12 или менее пересечениями, за исключением одного. Узел Конвея, который имеет 11 пересечений, десятилетиями дразнил математиков.

Разработка программного обеспечения всегда носила асинхронный характер. Это легко заметить, если вы имели опыт работы в традиционном офисе или на удаленке. Но так как сейчас почти все работают удаленно, важно определить понятие асинхронной работы и рассмотреть конкретные советы для тех, кому оно в новинку.

Итак, что же такое асинхронная работа? При работе асинхронно ваша деятельность должна быть распределена таким образом, чтобы она не прерывалась из-за необходимости ждать от кого-то какие-то результаты или разъяснения. Для этого требуются изменения в том, как идет процесс вашей работы. Зачастую нам нравится заниматься только одной задачей за раз до тех пор пока она не будет выполнена, даже если это означает привлечение других людей для немедленного получения необходимой информации. При асинхронной работе это не вариант, поэтому нужно уметь работать над задачей, вычленять, что вам может понадобиться от других, запрашивать эту информацию у нужных людей, а в ожидании ответа переходить к другой задаче.

Но это не значит, что вам не нужно общаться синхронно с выполнением задачи.

Видеоконференции и переписка в чатах являются необходимыми инструментами, но их следует использовать с осторожностью. Джейсон Фрайд (Jason Fried) и Дэвид Хайнемайер Хенссон (DHH) лучше всего об этом выразились в своей книге «Не сходите с ума на работе». Они написали так: «Иногда нужно работать в режиме реального времени, но в большинстве случаев работа должна проходить асинхронно».

Предлагаем вашему вниманию подборку материалов от python.org о том, с чего начать первые шаги в программировании.




Если Вы никогда не занимались программированием раньше, эти материалы для вас. Данные туториалы не предполагают, что у вас есть какой-то опыт. (Если у вас уже есть опыт программирования, посетите Beginners Guide).

Когда у меня просят совет о том как попасть в data science, я советую стать разработчиком программного обеспечения. Это мое мнение. Я бы хотел услышать контраргументы в комментариях.

Все вокруг, даже ваша бабушка, хотят стать data scientist. Может быть data science это самая сексуальная профессия 21 века, но это не значит, что нужно игнорировать отличную, высокооплачиваемую профессию разработчика.

Часто недавние выпускники и люди, меняющие профессию, спрашивают меня как попасть в data science. Я советую им стать разработчиками вместо этого.

Имея опыт в обеих сферах, я попытаюсь убедить вас, что я прав.

Вакансий на должность разработчика больше

Вакансий на должность разработчика на порядок больше, чем вакансий на должность data scientist.

Ниже представлена пара скриншотов с результатами запросов на вакансии “data scientist” и “software engineer”.



google: data scientist usa indeed



google: software engineer usa indeed

7616 вакансий в data science по сравнению с 53893 вакансиями в сфере разработки ПО. Это данные по Америке, но я думаю в других странах будет похожий результат.

Информационные технологии позволяют получить невероятно крутые образовательные ресурсы в один клик. Бесплатно.

Я сейчас решаю задачу, как из огромной массы жизненно важного контента выбрать тот, который стоит попробовать в первую очередь, как «разметить данные», чтобы нейросеточка у подрастающего поколения обучилась более эффективно. (ontol.org, «Выгорание», «Удаленка», телеграмм-канал).

Предлагаю вам подборку бесплатных онлайн-курсов по Data Scienceот одного из лучших университетов в мире:

Statistics and R

Введение в основные концепции статистики и навыки программирования на R, необходимые для анализа данных в науках о жизни.

Популярность: 284 784 регистраций
Длительность: 4 недели (2-4 часа в неделю)
Стоимость: Бесплатно (сертификат за $249)
Уровень: Intermediate

Data Science: R Basics

Освойте основы R и узнайте как обрабатывать, анализировать и визуализировать данные.

Популярность: 449 708 регистраций
Длительность: 8 недели (1-2 часа в неделю)
Стоимость: Бесплатно (сертификат за $49)
Уровень: Introductory

Причина, по которой вам, на полном серьёзе, нужно прекратить записываться на онлайн-курсы, если вы не применяете на практике то, что уже знаете.



Шли выходные. Я только что закончил ещё один онлайн-курс по науке о данных. Я чувствовал, что достиг чего-то. Ещё бы, любой почувствует, что стал настоящим специалистом в области данных, «успешно завершив» 5 разных курсов и получив «сертификаты» за каждый из них. Именно так я и считал.

Но онлайн-курсы – забавная штука. У большинства из них есть красочные описания, длинный список тем, которые они охватывают, обещания сделать из вас эксперта в одной или нескольких сферах, а если повезёт, то и отзывы людей, уже прошедших курс. Обычно в отзывах пишут про то, как этот курс спас кого-нибудь от неминуемой гибели или сделал его/её абсолютным чемпионом в предметной области. Хотя, конечно, большая часть из нас пришла сюда за другим — сертификатом о прохождении курса. Этот яркий цифровой документ, содержащий наше имя – то, что играет решающую роль для большинства участников. А затем, в один прекрасный день, мы сидим в комнате напротив нашего потенциального работодателя и понимаем, что, вопреки нашим ожиданиям, сертификаты мало кого из них впечатлили. Некоторые даже не считают нужным отнестись с уважением к времени, потраченному на получение этих сертификатов. Они сразу переходят к делу и говорят: «Эти сертификаты бесполезны, если вы не работали ни над одним проектом». Естественно, очень неприятно услышать такое. Тем более, если наши надежды на то, что это интервью пройдёт успешно, в первую очередь возлагались на пройденные нами онлайн-курсы. Мы вложили в них наши деньги, время и усилия. Наше главное оружие было разбито ещё до начала конкурсного отбора – такое ослабило бы чью угодно уверенность в себе.

Майк Гандерлой, книга “Coder to Developer”

Знаете, что сводит меня с ума?

«Всё?» — спросите вы. Что ж, некоторые из вас знают меня слишком хорошо.

Но если серьезно, меня просто из себя выводит то, что большинство разработчиков даже не осознают, насколько ничтожно мало они на самом деле знают о разработке программного обеспечения.

Взять, к примеру, меня.

Будучи подростком, как только я закончил читать знаменитое руководство Питера Нортона по языку ассемблер для IBM-PC, я был уверен, что о разработке программного обеспечения я знаю все, что только можно знать. Да я, черт возьми, был готов основать компанию по разработке программного обеспечения и создать текстовый процессор. Я был абсолютно уверен, что меня ждет большой успех. Я даже воображал, как каждый час моя софтверная компания будет устраивать кофе-брейки с бесплатными пончиками. Н-да, в те дни многие мои мечты сводились к пончикам.

После армии я закончил колледж и получил диплом по информатике. Теперь-то я действительно знал всё. Но знал я гораздо больше лишь потому, что изучил кучу компьютерного и научного мусора по линейной алгебре, NP-полной задаче и чертовой лямбде-исчислению. А ведь все это очевидно бесполезно. Я решил, что они, должно быть, исчерпали запас полезных вещей, которым нас надо бы обучить, вот и скребут крошки по сусекам.

Ан нет. На своей первой работе я понял, сколько же вещей кафедра информатики не сочла нужным довести до нашего сведения. Такие вещи как командная работа над программным обеспечением. Практические советы по дизайну пользовательского интерфейса. Профессиональные инструменты вроде управления версиями, баз данных ошибок кода, дебаггеров и профайлеров. Дельные вещи. Кафедры информатики даже самых престижных вузов не будут вас учить тому, что не носит сугубо академический характер; и уж тем более преподавать то, что изучают старшеклассники в местном ПТУ, чтобы потом стать автомехаником, мастером по ремонту кондиционеров или «вонючим разработчиком софта».

Простое копирование кода может быть опасным. Однако так можно сказать про множество других аспектов в разработке программного обеспечения при условии неосторожного с ними обращения. В этом посте я разберу такие вопросы как:

• Что на самом деле обозначает копирование кода в разработке ПО?
• Что значит правильное воровство кода?
• Каковы подводные камни неправильного копирования?

Ни для кого из программистов не секрет, что примерный код, который публикуют в качестве ответов на вопросы здесь, на Stack Overflow, часто оказывается в конечном варианте программ. Может быть вы задали вопрос, и вам в ответе прислали идеальную схему цикла for. Может быть вы нашли отличный ответ, в котором присутствовала часть кода с async await, которая подошла для вашего приложения.

Последняя книга по программированию, которая вам когда-либо понадобится:



Когда я наткнулся на твит, в котором говорилось о преимуществах воровства, я задумался: может ли копирование кода быть выгодным?


Вам на заметку, я не сторонник того, чтобы вы без разбора копировали код из нашего Q&A раздела. Иногда из-за этого у вас могут появиться проблемы. Но, как показала нам наша гостья в подкасте Anna Lytical, этот подход можно использовать для быстрой разработки функционирующих прототипов.

Александр Никс, CEO Cambridge Analytica. Расшифровка презентации 2016 года.

Леди и джентльмены, уважаемые коллеги, для меня честь поговорить с вами сегодня о влиянии больших данных и психографии на избирательный процесс и особенно о том вкладе, который мы внесли в президентскую избирательную кампанию сенатора Круза.

Легко забыть, что всего полтора года назад сенатор Круз являлся одним из менее популярных кандидатов на пост президента. Он же был наиболее критикуемым. Вдобавок к этому его имя было малоизвестно — только 40% избирателей слышали о нем по сравнению с магазином Джеба Буша в середине 80-х годов. И он вел борьбу в одной из самых конкурентных областей республиканской политики. Вдобавок, он искал способ быть услышанным среди в значительной степени гомогенной аудитории.

Тем не менее, в мае 2016 года сенатор Круз уже стал единственным серьезным противником, единственной реальной угрозой феномену Дональда Трампа. Так как он это сделал?

Компания Круза быстро использовала три технологии, три метода, которые и привели их к успеху.

Бихевиоризм

Первой из этих технологий была поведенческая наука (бихевиоризм). Думаю, проще всего будет объяснить на примере. Представьте, у вас теперь есть собственный частный пляж. И вы хотите, чтобы другие люди перестали его использовать.

Введение

SSH-agent является частью OpenSSH. В этом посте я объясню, что такое агент, как его использовать и как он работает, чтобы сохранить ваши ключи в безопасности. Я также опишу переадресацию агента и то, как она работает. Я помогу вам снизить риск при использовании переадресации агента и поделюсь альтернативой переадресации агента, которую вы можете использовать при доступе к своим внутренним хостам через bastion’ы.

Что такое SSH-agent

ssh-agent — это менеджер ключей для SSH. Он хранит ваши ключи и сертификаты в памяти, незашифрованные и готовые к использованию ssh. Это избавляет вас от необходимости вводить пароль каждый раз, когда вы подключаетесь к серверу. Он работает в фоновом режиме в вашей системе, отдельно от ssh, и обычно запускается при первом запуске ssh.

Агент SSH хранит секретные ключи в безопасности из-за того, что он не делает:

• Он не записывает никакой информации о ключах на диск.
• Он не позволяет экспортировать ваши личные ключи.

Секретные ключи, хранящиеся в Агенте, могут использоваться только для одной цели: подписания сообщения.

Но если агент может только подписывать сообщения, как SSH шифрует и расшифровывает трафик?

При первом изучении открытых и закрытых ключей SSH естественно предположить, что SSH использует эти пары ключей для шифрования и дешифрования трафика. Именно так я и думал. Но это не тот случай. Пара ключей SSH используется только для аутентификации во время первоначального соединения.

Какие технические знания становятся наиболее популярными у работодателей, а какие теряют свою популярность.



В своей первоначальной статье 2018-го года я рассматривал спрос на общие навыки – статистику и коммуникацию. Также я рассматривал спрос на Python и язык программирования R. Технологии создания программного обеспечения меняются намного быстрее, чем спрос на общие навыки, поэтому в этот обновленный анализ я включаю только технологии.

Я искал ключевые слова, которые появлялись в списках вакансий на должность «Data Scientist» в США на таких сайтах как SimplyHired, Indeed, Monster и LinkedIn. В этот раз я решил написать код, чтобы изучить все списки вместо того, чтобы искать вручную. Это решение оказалось очень успешным для SimplyHired, Indeed и Monster. Я использовал Requests и Beautiful Soup из библиотеки Python HTTP. Код с анализом вы можете увидеть в моем отчете на GitHub.

Продираться через LinkedIn оказалось в разы сложнее. Необходимо пройти процесс авторизации, чтобы просматривать точное количество списков вакансий. Я решил использовать Selenium для просмотра страниц без графического интерфейса пользователя. В сентябре 2019 года Верховный суд США выиграл дело против LinkedIn, тем самым позволив очистить данные сайта. Тем не менее, я не смог получить доступ к своей учетной записи после нескольких попыток входа. Возможно, эта проблема возникла из-за ограничения скорости. Апдейт: Я все же смог войти, но боюсь, что меня заблокируют при повторной попытке.