Галина – SQL.ua Data Academy https://academy.sql.ua Advanced Data Teaching and Learning Fri, 29 Oct 2021 10:09:11 +0000 uk hourly 1 https://wordpress.org/?v=5.5.14 https://academy.sql.ua/wp-content/uploads/2020/04/cropped-SQLua_Data-Academy_Logo-1-32x32.jpg Галина – SQL.ua Data Academy https://academy.sql.ua 32 32 Переможці та топ-10 кращих проєктів марафону «Introduction to SQL» https://academy.sql.ua/2020/10/30/introduction-to-sql-marathon-projects-and-winners/ Fri, 30 Oct 2020 06:33:00 +0000 https://academy.sql.ua/?p=12175 У фіналі безкоштовного 4-тижневого марафону «Introduction to SQL» відбувся захист проєктів, які команди учасників готували майже протягом 5 тижнів. Вітаємо та дякуємо 10-ти командам, яким вистачило сил довести свої проєкти…

Запис Переможці та топ-10 кращих проєктів марафону «Introduction to SQL» спершу з'явиться на SQL.ua Data Academy.

]]>

У фіналі безкоштовного 4-тижневого марафону «Introduction to SQL» відбувся захист проєктів, які команди учасників готували майже протягом 5 тижнів. Вітаємо та дякуємо 10-ти командам, яким вистачило сил довести свої проєкти до захисту і представити їх публічно перед журі. Вітаємо команду-переможця – Команду #18 «La Comanda» та її ментора – Тарас Озарків! Щиро дякуємо топовим професіоналам галузі ІТ – нашим менторам, спікерам та учасникам журі за Ваш час та досвід!

Команди планують продовжити роботу над проєктами. А ми запрошуємо зацікавлених професіоналів та компанії підтримати команди у розробці та впровадженні їхніх ідей.

ОНЛАЙН-ЗАХИСТ. ЧАСТИНА 1

Переглянути 1-шу частину захисту проєктів можна на нашому YouTubeканалі SQL ua тут (команди: #15, #5, #11, #28, #33). 

РЕЙТИНГ КОМАНД

КРИТЕРІЇ ОЦІНКИ (0-10 балів по кожному) та їх ВАГА у СУМІ БАЛІВ: 

 Презентація (20%)
 Технічна реалізація (30%)
 Новизна / інноваційність (15%)
 Вирішення проблеми / потенціал (20%)
 Може бути “монетизований” (15%)

КОСМІЧНІ КОТЯТА

Команда # 15 – «Космічні котята» (Space Kittens), проєкт «Інформаційна система Mosaik»

Учасники Команди: Тарас, Люба, Аліна, Роман та Марічка. Студенти 2-го та 3-го курсу Національного університету «Львівська політехніка» Інституту підприємництва та перспективних технологій.

Ментор: Тарас Глушко, BI Developer у Skelia Ukraine.

Створили бот, який пропонує користувачу історичну інформацію про мозаїки міста Львова за вказаною адресою. Також можна переглянути детальні координати та розташування історичних пам’яток на мапі і здійснити пошук у радіусі 2 км.

Рішення покликане провести користувача через історичну епоху Львова. Тут в одному боті збережені всі мозаїки – зображення та детальний опис. Також створили дата-сети з історичними віхами мозаїк.

Під час захисту у команді розповіли, що на даний момент у Львові біля 80-ти мозаїк, третина з них датується 15 століттям і внесена до архітектурної спадщини міста. Деякі з мозаїк ми вже не зможемо побачити у всій їх красі. «Давайте врятуємо архітектурну спадщину міста! Давайте збережемо історію для наших дітей та їхніх дітей!», –  закликає нас команда Space Kittens. – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору – Тарас Глушко за Ваш час та досвід!

JUDGEMENT DAY

Команда # 5 – Judgement Day, проєкт аналітичного дашборду про суддів України

Учасники Команди: Андрій (капітан команди, презентував проєкт), відмітимо учасників: Юлія (за ідею), Надія (за тестування), Оля (за бот), Макс (за дашборд).

Ментор: працювали самостійно, без ментора.

Створили дашборд, на якому відображається інформація про суддів України. Показує, наприклад, в яких областях та регіонах працюють судді, які справи позакривали. Також можна подивитися деталі судових справ у розрізі регіонів та ін.

Проєкт вирішує задачу швидкого та зручного отримання достовірної аналітичної інформації.

Judgement Day – Щиро дякуємо за Ваш проєкт та участь у марафоні! Окрема подяка капітану команди – Андрій Батраков за активність під час марафону та підтримку інших учасників у чаті troubleshooting!

ПЕРШЕ ТРАВНЯ!

Команда # 11 – «Перше травня!», проєкт дашборду, де поєднані дані про випускників з даними про відкриті вакансії.

Учасники Команди: Євген, Анастасія, Назар, Євген та Маргарита.

Ментор: Данило Анцибор, Software Engineer у DataRobot.

Чому така тема проєкту? Максимальна кількість інформації, яку можна зібрати з відкритих джерел даних і цікаво їх проаналізувати – це ринок праці. Багато хто вже аналізував цей ринок, але з тієї точки зору, як команда – мало хто.

Уявімо, що Ви студент останнього курсу. І пора задуматися про пошук роботи і, бажано, по спеціальності. Є, до прикладу, сайт work.ua (та інші сайти), де можна піти і «спитати» (у пошуку), в яких компаніях є робота по певних спеціальностях. Але що ми при цьому не будемо бачити, так це – скільки у Вас є конкурентів на те саме місце.

Щоб дізнатися це, нам необхідно мати дані про всіх випускників всіх ВНЗ України. У команді створили дашборд, на якому поєднали дані міносвіти (МОН) про випускників по різних спеціальностях та дані про всі відкриті вакансії з сайту пошуку роботи work.ua.

За допомогою рішення команди, випускник міг би отримати інформацію про актуальні вакансії у бажаному регіоні та приблизну заробітну плату. Тобто, відповідь на своє питання: на що варто розраховувати та яка конкуренція (скільки ще людей може претендувати на цю вакансію серед тих, хто випускається з ВНЗ України по певній спеціальності).

«Перше травня!» – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору – Данило Анцибор за Ваш час та досвід!

TERRA INCOGNITA

Команда # 28 – Terra Incognita, проєкт «Портал нормативно-грошової оцінки  земельної ділянки з урахуванням коефіцієнта індексації» (сайт та Telegram-бот)

Учасники Команди: Олександра, Артем, Любов та Олена.

Ментор: Іван Герасимчук, Independent Software Developer Multi Room Audio Player, Fullstack dev in WhiteTown S.R.O.

Девіз команди – «Дайте нам дані і ми надамо їм життя» (Take DATA and make it alive).

Проєкт покликаний вирішити проблему невідомої вартості землі – одним кліком користувач рішення визначає ринкову вартість земельної ділянки.

Команда навіть встигла створити та запустити сайт свого проєкту: http://terraincognita.herokuapp.com/.

Проєкт може бути корисний у наступних напрямах: як самостійний додаток для приватних землевпорядників; як база клієнтів для рієлторських фірм; як площадка для функціональної реклами (реклама, яка приносить користь).

Terra Incognita – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору та спікеру – Іван Герасимчук за Ваш час та досвід!

NANITO

Команда # 33 – NANITO, проєкт «DiplomDE», оцінка відповідності диплому українського ВНЗ системі освіти у Німеччині

Учасники: подружжя Микола та Наталія.

Ментор: Євген Недашківський, DBA/Developer в AllStars-IT Ukraine.

Мета проєкту – оцінити, наскільки диплом ВНЗ України відповідає системі освіти ФРН (або євростандартам).

Проблематика проєкту: кожен студент несе витрати на навчання (час та кошти). Чи виправдані ці витрати? Чи той документ, який отримає випускник ВНЗ буде затребуваний за кордонами нашої країни? – З допомогою рішення команди можна перевірити свій диплом на «європейськість».

Друга причина, чому команда взялася за вирішення цієї задачі – якщо використовувати для пошуку та співставлення дипломів німецьку базу даних («ANABIN»), то там назви вишів вказані таким чином, що знайти свій ВНЗ дуже складно (як мінімум, потрібно, володіти базовими знаннями німецької мови). Проєкт вирішує цю задачу пошуку.

Команда створила базову вебсторінку свого проєкту: www.arrayblack.org/diplomde.

Потенційна аудиторія – студенти, абітурієнти, дипломовані спеціалісти.

Інтегруємо все! – Девіз команди «NANITO». – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору та спікеру – Євген Недашківський за Ваш час та досвід!

ОНЛАЙН-ЗАХИСТ. ЧАСТИНА 2

У другій частині захисту проєктів перед журі виступили команди: #16, #44, #13, #6 та #18. Переглянути відеозапис можна на YouTube-каналі “SQL ua” за посиланням: https://youtu.be/OPdGxOgTphU.

HIGH FIVE

Команда # 16 – High Five, проєкт «Вишеграм» для допомоги з інформацією про ВНЗ України

Учасники Команди: Кирило, Влад, Юра, Юрко та Богдан – студенти 2-го та 3-го курсу Національного університету «Львівська політехніка» Інституту підприємництва та перспективних технологій.

Ментор: Петро Харчишин, Senior Software Engineer у GlobalLogic.

Мета проєкту – створити зручну платформу для пошуку інформації вишів та допомогти студентам, науковцям і батькам обрати найкращий університет.

High Five – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору – Петро Харчишин за Ваш час та досвід!

SCIENCE SQLBOT

Команда # 44 Science sqlBot, проєкт єдиної платформи для пошуку наукової інформації (telegram-бот та сайт)

Учасники Команди: Анна та Артем.

Ментор: Микола Побийвовк, Tech Lead – Data Engineering в Ciklum, співорганізатор UDCK.

Команда вирішувала проблему пошуку наукової інформації у сучасному світі. «Публікуватися не лише в одному журналі» – проєкт дозволяє здійснювати зручний пошук видань, які можуть бути джерелами для наукових робіт студентів та аспірантів, а також в яких вони зможуть публікувати свої статті.

«Науково-популярні ресурси, що створюються спеціалістами» – в наш час в інтернеті доступно багато інформації і не завжди вона достовірна. Звичайно, є перевірені ресурси, проте вони не надто популярні, бо у науковців не вистачає коштів для розкрутки. Команда хоче з цим допомогти!

Для цього створили прототип Telegram-бот та планують створити сайт, аудиторія яких – студенти, аспіранти, науковці та всі, хто цікавиться наукою.

«Не давайте своїм ідеям припадати пилом на поличках, про них мають знати», –  говорять у команді. Наразі створено прототип бота, в планах – презентація платформи (сайту) для Science Community та нарощування кількості активних користувачів.

«Робимо науку доступною» – девіз команди Science sqlBot. – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору – Микола Побийвовк за Ваш час та досвід!

LUCKY TEAM

Команда # 13 – Lucky Team, проєкт інформаційного вебдодатку про скомпрометованих (звільнених та оштрафованих) суддів України «Compromised judges DATA»

Учасники Команди: Оксана, Юрій, Віталій та Олена. Географія команди: Дніпро – Запоріжжя – Львів – Одеса.  

Ментор: Микола Побийвовк, Tech Lead – Data Engineering в Ciklum, співорганізатор UDCK.

Проблема, яку вирішує сервіс – люди отримують достовірну інформацію про суддів, які будуть виносити вирок по конкретній справі, та дізнаються, яка репутація у конкретного судді.

Цільова аудиторія веб-додатку – адвокат, який веде справу; масс-медіа; громадські активісти; позивачі/підсудні.

Lucky Team – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору – Микола Побийвовк за Ваш час та досвід!

404

Команда # 6 – «404», проєкт додатку для пошуку інформації про викрадені/втрачені/недійсні паспорти громадян України для виїзду за кордон

Учасники Команди: Катя, Валентин, Святослав, Олег та Катерина.

Ментор: Євген Недашківський, DBA/Developer в AllStars-IT Ukraine.

Цілі та місія проєкту – мінімізація та викорінення окремих видів шахрайства з використанням підроблених паспортів. Викрадені закордонні паспорти можуть бути використані у незаконних схемах: прокат/оренда обладнання та інструментів, у взаємовідносинах оренди житла, тощо.

Рішення, яке створює команда, покликане знизити кількість шахрайств через зручний та швидкий пошук інформації.

Команда «404» – Щиро дякуємо за Ваш проєкт та участь у марафоні!

Щиро дякуємо ментору та спікеру – Євген Недашківський за Ваш час та досвід!

ПЕРЕМОЖЦІ: LA COMANDA

Команда # 18 – La Comanda, проєкт сервісу для пошуку ліків по назві (реалізовано через Telegramбот)

Учасники Команди: Олеся, Світлана, Сергій, Лілія та Назар. 

Ментор: Тарас Озарків, Tech Lead, Senior DWBI developer у SoftServe, Leader у Lviv Data Platform User Group, Co-founder у Power BI On AIR.

Ідея проєкту – створити сервіс для користувачів (реалізовано через чат-бот), який за пошуком по назві ліків може самостійно знайти загальну інформацію про ліки: чи діє термін реєстрації препарату, найближчий аналог, тощо, а також переглянути інструкцію.

Сервіс заплановано із потенціалом перерости у більш масштабний проєкт «Домашньої аптечки».

La Comanda – Щиро дякуємо за Ваш проєкт та участь у марафоні! Вітаємо із перемогою!

Щиро дякуємо ментору – Тарас Озарків за Ваш час та досвід!

Переглянути відеозаписи двох частин захисту проєктів:

Онлайн-захист проєктів перед журі. Раунд #1 від 13.10. Команди: #15, #5, #11, #28, #33.

Онлайн-захист проєктів перед журі. Раунд #1 від 21.10. Команди: #15, #5, #11, #28, #33.

Дякуємо Спікерам, Менторам та Учасникам журі:

Тарас Кльоба, СЕО SQL.ua, DataMatrix CTO у EveryMatrix, Засновник SQL.ua Data Academy. Дякуємо!

Павло Голуб, Senior PostgreSQL Expert та Developer в CYBERTEC. Дякуємо!

Тарас Федорук, Senior Project Manager, Ops Lead у wearereasonablepeople. Дякуємо!

Антой Бойко, Microsoft Regional Director, Microsoft Azure MVP, Founder of Ukrainian Azure Community, Solution Architect. Дякуємо!

Євген Недашківський, DBA/Developer в AllStars-IT Ukraine, Microsoft Data Platform MVP. Дякуємо!

Володимир Соколовський, Founder at NFED – Сenter of non-formal education, Communications Specialist at ELEKS, Author of the «TRAINER’s GUIDE» book. Дякуємо!

Микола Побийвовк, Tech Lead – Data Engineering в Ciklum, співорганізатор UDCK. Дякуємо!

Данило Анцибор, Software Engineer у DataRobot. Дякуємо!

Іван Герасимчук, Independent Software Developer Multi Room Audio Player, Fullstack dev in WhiteTown S.R.O. Дякуємо!

Тарас Озарків, Tech Lead, Senior DWBI developer у SoftServe. Leader of Lviv Data Platform User Group, Co-founder at Power BI On AIR. Дякуємо!

Олександра Клусенко, Database Developer у Luxoft. Дякуємо!

Петро Харчишин, Senior Software Engineer у GlobalLogic. Дякуємо!

Олег Алєксєєв, Microsoft Certified Solutions Expert: Data Platform (MS SQL). Дякуємо!

Тарас Глушко, BI Developer у Skelia Ukraine. Дякуємо!

 

Це був чудовий – цікавий, драйвовий, насичений та, сподіваємося, корисний марафон! Щиро дякуємо всім 450 людям, хто взяв участь!

 

#SQLua_DataAcademy

Advanced Data Teaching and Learning!

Запис Переможці та топ-10 кращих проєктів марафону «Introduction to SQL» спершу з'явиться на SQL.ua Data Academy.

]]>
Тарас Кльоба: Захотів бути у команді PostgreSQL, коли зустрів ключових розробників https://academy.sql.ua/2020/08/23/taras-kloba-personal-story-in-it/ Sun, 23 Aug 2020 13:34:40 +0000 https://academy.sql.ua/?p=11364 Завжди запитує у інших як модератор, цього разу – розказав свою власну історію в ІТ! Читайте про Засновника SQL.ua Data Academy – Тараса Кльобу (CEO SQL.ua та Head of Data…

Запис Тарас Кльоба: Захотів бути у команді PostgreSQL, коли зустрів ключових розробників спершу з'явиться на SQL.ua Data Academy.

]]>

Завжди запитує у інших як модератор, цього разу – розказав свою власну історію в ІТ! Читайте про Засновника SQL.ua Data Academy – Тараса Кльобу (CEO SQL.ua та Head of Data Center of Excellence у компанії Intellias). За висновками вебінару Data Talks #8 (відео), присвяченого презентації топ-10 кращих навчальних Data-програм у 2020 році.

Тарас Кльоба: як відбувався introduction до ІТ?

Комп’ютер з’явився вдома, коли Тарасу було 5 років. І це було справжнє дитяче захоплення. Розпочав одразу із навчання. Батьки (коли це помітили – ред.) віддали Тараса на комп’ютерні курси при Дрогобицькому економічному ліцеї (щось типу «як користуватися персональним комп’ютером»). Тарас був у групі самий молодший – неповних 6 років.

 

Роботу із комп’ютером почав із загрузки програми Paint та малювання там картинок. Потім перейшов до офісного пакету – перенабирав тексти книжок із домашньої бібліотеки. Створив документ Excel, в якому вів облік усіх книжок, що були вдома. Додатково фіксував перелік відеокасет, які сім’я або у сім’ї позичили.

 

З «вбивання» інформації у файли та моделювання табличок і почалося знайомство з даними. Звісно, тоді ще не було реляційної структури, були просто окремі вкладки. Але вже в той час у Тараса було уявлення, що можна якось об’єднати різні набори даних з різних дата-сетів.

 

Згодом зацікавився програмуванням. Сестра Тараса принесла додому книжку про Паскаль. І в тій книжці в додатках був роздрукований код. (Тоді ще не було інтернету, і не було звідки взяти цікаві дані по програмуванню, потрібно було навчатися з паперових книжок).

 

Тарас як зараз пам’ятає, що на останніх сторінках було роздруковано код редактору графічних зображень, і можна було в Паскалі його перенабрати і самому запустити аплікацію.

 

Так витратив декілька днів, щоб перенабрати той код, віддебажити, знайти, чому воно не запускається. Але все ж таки в консольній аплікації Тарасу вдалося створити міні-програму, в якій можна було би малювати прямокутники, кружечки…

 

На основі свого захоплення вирішив навчатися у закладі, де можна було отримати освіту, пов’язану з інформатикою. У ВНЗ більше познайомився з веб-програмуванням. Створив сайт цілого інституту (сайт на той момент існував, але не було студентського осередку).

 

Створений Тарасом проєкт мав зародки соціальних мереж. На той час ще не були поширені Facebook, ВКонтакте…, але в інституті вдалося створити форум, де можна було спілкуватися з однокурсниками та студентами інших спеціальностей.

Перші серйозні розробки

В той момент Тараса зауважили хлопці зі старших курсів, які мали ідею запустити власний інтернет-магазин, що тоді було дуже трендовою річчю. Команда хотіла не просто створити інтернет-магазин, а мати власну платформу (подібно до того, що зараз є Prom.ua), щоб розмістити в інтернеті товари усіх ринків, які є на території України. «Ідея була така – дати людям можливість розміщувати всі товари, які вони хочуть, на нашій площадці. Все це вилилося в проект, який спочатку називався Dobro.ua, потім його перейменували в Возик.com, але в якийсь момент команда розпалася», – згадує Спікер.

Перший доменний досвід у банкінгу та fin-tech

Тарас пішов працювати в банки. Спершу в VS Bank, далі – в Idea Bank був керівником розробки всього програмного забезпечення. Там разом із командою створили багато хороших речей, які до сих пір працюють. І з цікавого – Idea Bank зараз видає кредити, використовуючи мережу інших банків. Ви приходите у відділення іншого банку, Вам набирають заявку, і якщо цей банк по якійсь причині не може видати кредит, то інформація потрапляє у Idea Bank.

 

Потім поїхав у Польщу, працював у BNP Paribas Group. Займався міграцією банків, які скуповувала група, для того, щоб їх об’єднати.

 

Більше трьох років тому повернувся разом із сім’єю в Україну і почав працювати в одній із топ-ІТ компаній – Intellias. Зараз Тарас Кльба очолює структуру, яка називається «Data Center of Excellence» і об’єднує всі компетенції по роботі з даними, щоб залучати нові проекти, вести існуючі, проводити апсейли…

 

Має власні проекти, серед яких: SQL.ua – команда віддалених адміністраторів, яка забезпечує підтримку баз даних для enterprise компаній по всьому світі. Одним із важливих для Тараса аспектів є саме навчання – SQL.ua Data Academy, онлайн-платформа, де топ професіонали Data-галузі навчають людей різним аспектам роботи з даними та пов’язаними технологіями (в межах академії і проходять вебінари Data Talks та інші корисні безкоштовні навчальні заходи).

Чому обрав PostgreSQL? Як потрапив у ком’юніті?

З точки зору пошуку власної ніші, ми можемо побачити, що такі ніші спеціалістів як, наприклад, MS SQL або Oracle в Україні вже зайняті. Десь з такої точки зору, Тарас і почав звертати увагу на ніші, які ще в Україні були вільні. І в першу чергу зупинився на базі даних Постгрес, адже вона за рейтингом DB-Engines Ranking (найбільш популярний сайт, який займається оцінкою різних ядер баз даних) входить у топ-4.

 

Технологія PostgreSQL є open-source, у неї є хороше ком’юніті, і є можливість самому глянути й розібратися, як працюють конкретні алгоритми, як була імплементована конкретна фіча, поспілкуватися з іншими розробниками. Для Тараса це стало ключовим – використовувати продукт, до якого можна доторкнутися самому, а не бути лише його користувачем.

 

Якщо Ви працюєте з пропрієтарною базою, то ніколи, до моменту поки не станете працівником цієї компанії, не зможете вплинути на хід її розвитку, розібратися достеменно, в чому є її особливості. З PostgreSQL Ви завжди можете його побачити.

 

Другий ключовий фактор, який вплинув на вибір на користь саме Постгресу – більше 3-х років тому Тарас Кльоба відвідав PGСonf (найбільшу конференцію в Європі, яка організовується навколо Постгресу). Там і познайомився з core командою:

 

«Побачив цих людей особисто, поспілкувався з ними, зрозумів, що хотів би бути частинкою цієї команди, цього дружнього колективу. Зараз, коли я маю складності, то завжди можу звернутися до цих людей, запитати, чому воно є так, а не інакше. Можливо, і дати якусь рекомендацію – я бачу це так. Для мене це дуже близький світ, з хорошими людьми, з якими завжди можна поспілкуватися».

Про власні звички у навчанні

До вивчення нових тем Тарас Кльоба підходить фундаментально. Якщо бачить якусь тему, в якій хоче розібратися, використовує класичний підхід – прочитати 2-3 книги з цієї теми. Досить уважно підходить до вибору книжок, допомагають рекомендації в інтернеті. «Перечитавши 2-3 грубих книжки по напрямку, який Вас цікавить, загалом Ви покриєте для себе величезний пласт інформації», – говорить Тарас.

 

Дуже часто під той напрямок, що є цікавий, Тарас старається підібрати пет-проєкт, який буде реалізовувати. Це робиться, щоб засвоювати нові знання. І тут, як правило, з’являються додаткові потреби. Починаєш робити пет-проект, бачиш, чого не вистачає, і починаєш збирати.

 

Дуже добре для Тараса працює спілкування з іншими людьми, які мають досвід в тій чи іншій сфері. Зажди може знайти людей, у яких можна запитати допомоги, поради, як рухатися в тому напрямку, як вони підходять до розв’язання задач… За власними словами, до спілкування з людьми Тарас прийшов через конференції, публічні виступи, мітапи. Збирати інформацію з різних джерел завжди довше.

 

Про нові напрямки та технології інформацію черпає з конференцій. Українські та зарубіжні, до яких зараз можна безкоштовно приєднатися, побачити тренди, куди рухаються технології, які цікавлять, і отримати хоча би натяки, що буде у майбутньому, що буде цікавити і тоді вже поглибитися в тему далі.

 

«Мені досить часто на прісейлах чи на інших активностях доводиться розбиратися з дуже великою кількістю технологій. Не завжди я копаю дуже сильно в глибину, але якщо мені потрібно дуже скоро отримати якесь overview по якійсь технології або напрямку, для мене ще дуже добре працюють онлайн-курси», – поділився Тарас.

Де брати мотивацію до навчання?

Тарас Кльоба дуже цінує свій час. Якщо підписався на курс, почав проходити, та бачить, що курс є невідповідний, якість матеріалу недостатня, і дуже поверхневі речі розказуються, і вони подвоюються…, закриває курс і не буде його проходити.  

 

Щодо мотивації, добре працює, коли ставиш собі якісь комітменти, наприклад, зробити сертифікацію. Сертифікація має під собою якісь курси, які потрібно пройти… Ще дуже добре працює підготовка до конференцій.

 

«Для мене значними ривками в кар’єрі ставали співбесіди. Була одна дуже неуспішна співбесіда, яку я провалив, але вона стала тригером», – поділився Тарас. Зараз співбесіди проходить рідко, але радить завжди після співбесід робити для себе «ретро» – які питання були, на які Ви не змогли відповісти… І старатися в тому розібратися.

 

Скільки в день виділяти на навчання? – Достатньо в день виділяти до 2-х годин. Але зробити це рутинним процесом. Створити якийсь ранковий ритуал, який буде для Вас тригером, що зараз Ви маєте приділити час навчанню…

Щиро дякуємо Тарасу Кльобі за час та досвід!

#SQLua_DataAcademy

Advanced Data Teaching and Learning! 💎

Запис Тарас Кльоба: Захотів бути у команді PostgreSQL, коли зустрів ключових розробників спершу з'явиться на SQL.ua Data Academy.

]]>
Ihar Rubanau: «Намагався вирватися з Data Science та не вийшло!» https://academy.sql.ua/2020/07/16/ihar-rubanau-on-data-talks-data-science-webinar/ Thu, 16 Jul 2020 11:46:16 +0000 https://academy.sql.ua/?p=10536 Ігор Рубанов (Ihar Rabanau), Singularist, Data Scientist у N-iX – бере участь у цікавих технологічних проєктах, використовує мультидисциплінарний підхід, вірить у симбіоз «Human-Machine» як майбутнє для застосування Data Science. На…

Запис Ihar Rubanau: «Намагався вирватися з Data Science та не вийшло!» спершу з'явиться на SQL.ua Data Academy.

]]>

Ігор Рубанов (Ihar Rabanau), Singularist, Data Scientist у N-iX – бере участь у цікавих технологічних проєктах, використовує мультидисциплінарний підхід, вірить у симбіоз «Human-Machine» як майбутнє для застосування Data Science. На вебінарі Data Talks #6 Ігор поділився досвідом та порадив, куди рухатися, щоб бути актуальними у світі, де всі працюють з даними. Переглянути подію у записі можна тут.

Як Ігор потрапив у Data Science та які проєкти виконував?

На відміну від інших Спікерів (Data Talks #6), не «прийшов у Data Science», а навпаки, за словами самого Ігоря, намагався з неї вирватися. І не вийшло. (Тому нам пощастило сьогодні дізнаватися про цікаві проєкти та неординарні думки – ред.)).

 

Ігор вчився на автоматизовані системи обробки інформації. По суті, це є прототип Data Science. Весь час (15 років в науці про дані та 10+ в ІТ) проєкти були пов’язані із prediction та рекомендаційними системами. Спікер відмітив, що за останні років 5 напрям дата-саєнсу сильно змінився. Професійний профіль Ihar Rubanau.

 

Серед цікавих проєктів – участь у рішенні для dating (індустрія організації побачень). Ігор поділився, що більшість людей, коли приходять на сайт знайомств, не ведуть себе звичайним чином. Всі намагаються знайти кращий варіант. Тому було цікаво моделювати поведінкові ситуації, дізнатися «внутрішню кухню» домену dating. Ігор розповів, що дейтінг мало чим відрізняється від будь-якого іншого еко-місця (як кава-шоп або магазин квітів). В принципі, таку модель можна замовляти як франшизу.

 

Більшість стартапів, які починали в 2000-х, все робили «на колінках», щось писали в Excel. Потім, коли проєкт розростався, і задачі «виходили за рівень калькулятора», то всі вже хотіли (і стало модно) розвивати data science, AI (штучний інтелект)…

 

Сьогодні більша частина проєктів у Data Science – це про побудувати робочу pipeline, щоб дані збиралися, щоб модель працювала, візуалізувалася і до менеджменту доходили результати, і все це разом працювало.

Що потрібно вивчити для кар’єри у Data Science?

Якщо Ви – джуніор, Ігор би рекомендував спочатку вивчити R (хоча інші Спікери того ж вебінару були за Python). Зараз для R з’явилися можливості для початківців спробувати багато речей, простішим способом.

 

В цілому, початок руху у напрямі Data Science буде сильно залежати від того, який у людини бекграунд. Неможливо вивчити все на 100% – ні математику, ні програмування, ні бізнес-процеси.

 

Ігор Рубанов вважає, що у реальному світі треба підходити до всього у «Lego-стилі», намагатися вчити якісь блоки з різних тем (збирати свій потрібний конструктор).

 

«Я не знаю, кому зараз потрібна pure (чиста) Data Science. Всі хочуть, щоб їм вирішили бізнес-проблему. А як це буде зроблено – замовнику все одно, який Ви будете застосовувати алгоритм… Бізнес, за рідким виключенням, це не цікавить».

 

Якщо хочеш себе гарно «продати», то треба показати, що ти smart та готовий/готова вчитися. Що ти розумієш концепт, структуру, як працює весь проєкт – де замовник, де дата-інженери, де дані, тобто весь цикл проєкту. І тоді джуніор може вчитися від мідлів та сіньйорів, вони допоможуть у складних моментах.

 

Тоді можна вибудовувати свою спеціалізацію – що тобі більше подобається: ETL (Extract, Transform, Load – процес, який використовується у базах та сховищах даних), або більше працювати з даними, тримати якийсь лот…, або робити моделі, чи візуалізувати і «витончено» представляти дані, працювати з ВІ. Раніше це було єдине ціле, зараз можна вибрати ті задачі з Data Science, які найбільше подобаються.

Про сингулярність та улюблені пет-проєкти Ігоря

Ред.: Сингулярність (технологічна, Wikipedia) – гіпотетичне вибухоподібне зростання швидкості науково-технічного прогресу, яке ймовірно послідує за створенням artificial intelligence і машин, здатних до самовідтворення, інтеграції людини з обчислювальними машинами або значного збільшення можливостей людського мозку за рахунок біотехнологій. Як писали вище, Ігор Рубанов вірить у «Human-Machine» симбіоз та на вебінарі поділився прикладами технологій по темі.

 

Один із пет-проєктів розпочався на продовження навчання. Приблизно у 2010 році, коли Ігор вже вивчав теорію хаосу та «передивися всю математику», з’явилися самі прості «100-доларові» девайси, які дозволяють зчитувати електроенцефалограму (графік електричної активності головного мозку) на рівні пікселів – чи людина радіє, або ні, медитує…  Виявилося, що на стан можна впливати, тому що мозок – теж високоадаптивна мережа. Його можна швидко навчати. Виникла ідея по аналогії з комп’ютерною мишкою – використовуючи ті самі два індекси, можна впливати на «програму» і без мишки. 

 

Маючи інноваційну ідею та розуміння технології, подалися на стартап у Чилі. Та були прийняті! Ігор так розповідає про проєкт:

 

«Нас взяли в інший світ! Доречи, Чилі якраз під Україною знаходиться. І хоча проєкт не вдалося комерціалізувати, відлуння є до сих пір».

 

Людям, які займаються brain-фітнесом, створені в рамках проєкту девайси допомагають медитувати. Також вони є корисні для боротьби із синдромом дефіциту уваги.

 

До гаджету також намагалися підключити VR (віртуальна реальність). Але з цим виявилося складніше. Навіть великі бренди, як Google та Facebook, до сих пір так і не підключили VR.

 

«Ми намагалися зробити ВР-окуляри. І це був чудовий момент! Коли ти силою думки можеш, до прикладу, переключати музику».

 

Інший приклад технологій, про які говорив Спікер – міні-роботи, у яких є камера, звук і простенька нейронна мережа. З одного боку, це проста іграшка, з іншого – якщо ти під’єднуєшся до нього через якийсь інтерфейс, то виходить extended Human-Machine симбіоз.

Про AutoML рішення, де є готові моделі для доменів

Коли Ігор випускався у 2003-му, то сам писав нейронну мережу на С#, тому що її ніде не було. А зараз можна зробити, що завгодно у «три строчки».

 

У AutoML гарний маркетинг, але в реальності треба розуміти, що вони напівпорожні. Це не (повністю) автоматизоване рішення. У поганих руках – це цеглина, у гарних – це швейцарський ніж.

 

До того ж, щоб працювати з такими рішеннями, потрібно знати багато деталей. Ігор навів приклад Azure, вивчення якого сам робив «у три підходи».

 

Всі моделі, починаючи від лінійної регресії до самої складної нейронної мережі все одно вимагають від аналітика, від людини вибрати певний параметр на основі її досвіду. Завжди. До прикладу, у кластеризації ти повинен обрати кількість кластерів і т.д.

 

«У сучасному світі буде з’являтися все більше таких систем. Але я би ставив на HumanMachine симбіоз».

 

Чим далі, бізнес все гірше розуміє, що робить Data Science. Вони все більше віддалені, вони чують весь цей хайп, а потім купують AutoML системи, і виявляється, що система хороша, але вона для інших задач. Просто вони не розібралися до кінця.

 

Також важливо розуміти, що не всі задачі потребують використання АІ (штучного інтелекту). Деякі вимагають просто автоматизованого розрахунку показників.

З чого розпочати у Data Science зараз?

Інновації будуть у всіх сферах. Нещодавно Ігор знову підписався на новини нанотехнологій. Говорить:  «Ви не повірите, скільки всього вони кожного дня відкривають. Те саме стосується медицини, aerospace та інших».

 

Ігор Рубанов впевнений, що у найближчому майбутньому всі будуть операторами ЕОМ. Data Science буде у кожній сфері. І ті, хто не буде діяти у цьому напрямі, просто загубляться. Сьогодні, на думку Спікера, треба вчити все підряд.

 

Якщо Ви математик – вчіть програмування. Якщо програміст – зверніть увагу на математику. Якщо і те, і те знаєте – ідіть прямо у Data Science.

 

«Якщо Ви власник кава-шопу або квіткового магазину – я Вам теж рекомендую знайти свою нішу. Люди змінюються, як і їх поведінка. Якщо Ви будете перші, хто їх зрозуміє, то зможете досягти успіху. А якщо ти не розумієш, що відбувається, то скоро загубишся в цьому світі».

 

 

Хочете дізнатися більше? – Запрошуємо переглянути повне відео події на каналі SQL.ua Data Academy.

Щиро дякуємо Ігорю Рубанову за час та досвід!

SQL.ua Data Academy

Advanced Data Teaching and Learning! 💎

Запис Ihar Rubanau: «Намагався вирватися з Data Science та не вийшло!» спершу з'явиться на SQL.ua Data Academy.

]]>
Тарас Фірман: «Інженерію вивчити легше, ніж набути теоретичних знать в моделюванні» https://academy.sql.ua/2020/07/16/taras-firman-on-data-talks-data-science-webinar/ Thu, 16 Jul 2020 11:37:35 +0000 https://academy.sql.ua/?p=10532 PhD., Data Science Competency Manager у ELEKS, Тарас Фірман поділився власною історією та підходами, розказав про тренди та порадив, з чого розпочати шлях дата-саєнтиста – на Data Talks #6: Introduction…

Запис Тарас Фірман: «Інженерію вивчити легше, ніж набути теоретичних знать в моделюванні» спершу з'явиться на SQL.ua Data Academy.

]]>

PhD., Data Science Competency Manager у ELEKS, Тарас Фірман поділився власною історією та підходами, розказав про тренди та порадив, з чого розпочати шлях дата-саєнтиста – на Data Talks #6: Introduction to Data Science (повне відео події).

Тарас Фірман – особиста історія в Data Science

Рішення прийти в Data Science було швидке і логічне, оскільки Тарас здобув освіту як математик в Львівському університеті імені Івана Франка.

 

Коли закінчував механіко-математичний факультет і пішов вчитися в аспірантурі, побачив, що хоче займатися прикладною математикою – такою, де щось можна попробувати, поміряти, змоделювати.

 

Паралельно з навчанням в аспірантурі працював як Computer Vision Engineer. Займався задачами машинного зору у мілітарі-компанії. Коли в Україні розпочалися події, взяв участь у двох мілітарі-проєктах. Після цього побачив, що досить цікаво займатися прикладною математикою, що є широке застосування в різних галузях.

 

Почав працювати автоматичним аналітиком. Посада називалася Math Analyst, але фактично це і був Data Scientist.

 

Вважає, що «Data Science» – сьогодні є більше buzz word (модне слово – ред.), оскільки і раніше працювали дуже багато інженерів, яких теж можна назвати «дата-саєнтистами». З даними працюють практично всі.

 

Згодом у структурі компанії ELEKS від офісу бізнес-аналізу відділився Data Science, у тому сенсі, як ми розуміємо науку про дані та пов’язані з нею функції зараз. Проте і тут Тарас Фірман не дуже любить називати це «Data Science», і віддає перевагу слову «моделювання». Говорить, що займається автоматичним моделюванням. Переглянути професійний профіль Тараса Фірмана.

Які задачі доводиться вирішувати?

Оскільки компанія ELEKS є аутсорсинговою, то і проєкти дуже різні. Це, відповідно, потребує досить широкої експертизи з різних напрямків як бізнес-індустрії, так і індустрії моделювання. Серед задач: e-commerce, retail, logistics, різні задачі з перевезення, з agriculture, healthcare та ін. Моделювання також охоплює весь спектр задач: починаючи від статистичних моделей прогнозування, задачі машинного бачення (computer vision), задачі обробки природньої мови (neural language)… – весь спектр, який можна віднести до Data Science.

Чим любить займатися?

Тарасу Фірману подобаються проєкти, де є наукова частина. Зокрема, на вебінарі Спікер згадав проєкт, пов’язаний із обробкою зображень. Навіть після його завершення Тарас продовжував працювати в цьому напрямі.

 

Ще одна звичка – коли з’являється нова технологія, новий напрям, нова архітектура – Тарас одразу хоче її попробувати, перевірити валідність. Завжди має долю скептицизму до результатів, які публікуються, і не тільки в Україні. Надає перевагу тому, щоб особисто перевірити:

 

«Якщо виходить щось нове, якийсь фреймворк, з яким раніше ніхто з мого оточення не працював, то цікаво розібратися, розказати, пошарити знання з іншими. – Це R&D – дослідження чогось нового. В такому напрямку іду».

Новинки, які надихають

Квантумний комп’ютінг. Зараз, зокрема, Azure (Microsoft – ред.) запустив Azure Quantum. Компанія хоче долучити це до свого повноцінного сервісу. Так ми будемо мати платформу, на якій можна запускати як звичайні алгоритми, так і якісь симуляції.

В якому напрямі Data Science найбільший прогрес?

Зараз всі кинулися у Deep Learning. Класичний ML (machine learning) вже дуже мало розвивається. Мало з’являється якихось класичних естиматорів. Якщо Ви якісно вивчите ML (машинне навчання), то Вам його вистачить ще на довгий час. Звичайно, там є якісь рухи, але вони набагато менші, порівняно з Deep Learning. Якщо подивитися на міжнародні конференції, то останні роки на них ідуть цілі окремі стріми, до прикладу, по трансформерах та інших темах, що стосуються нового у Deep Learning.

З чого почати кар’єру у Data Science?

Вчити математику і статистику. Це база, core всього. І поруч з математикою найбільшу увагу зверніть саме на оптимізації. Більшість навчання – це ми щось оптимізуємо.

 

Тим, хто тільки збирається розпочати у Data Science (до прикладу, хто ще навчається в школі), окремі фреймворки вчити не варто. Бо за 4 роки все може змінитися. Не бійтеся качати дані, public дата-сети. Пробуйте писати моделі на будь-якій мові програмування (особисто Тарасу подобається Python). Це дасть розуміння, чому модель краще працює з якимись певними даними, з зображеннями, з текстом.

 

Обов’язково вчіть англійську. Навіть якщо Ви бог у моделюванні, то маєте вміти пояснити свої результати або запитати у стейкхолдерів, які замовляють цей продукт, що їм потрібно.

 

Дивіться курс Andrew Ng по Machine Learning. Це базовий курс по темі.

 

Andrew Ng – 44 роки, американський бізнесмен, computer scientist, інвестор та письменник. Основний фокус – machine learning (машинне навчання) та АІ (штучний інтелект). Ng є співзасновником Google Brain, піонером онлайн-освіти (cofounder Coursera та deeplearning.ai). У 2018 році Ng запустив та до цього часу очолює AI Fund – інвестиційний фонд для розвитку стартапів у напрямі штучного інтелекту.

 

Де тренуватися початківцям? – На Google Colab.

 

Google Colab – це безкоштовний сервіс на основі Jupyter Notebook. Google Colab надає все необхідне для машинного навчання (Machine Learning) прямо у браузері, дає безкоштовний доступ до досить швидких GPU та TPU. У сервіса є певні обмеження, тому використовувати його для production не вийде.

 

Як влаштуватися у компанію ELEKS молодшим дата-саєнтистом? У чому суть проєктів: ELEKS Data Science Platform та ELEKS Doctor?… та відповіді на інші питання – дивіться відео-запис вебінару на каналі SQL.ua Data Academy у YouTube: Data Talks #6.

Щиро дякуємо Тарасу Фірману за час та досвід!

SQL.ua Data Academy

Advanced Data Teaching and Learning! 💎

Запис Тарас Фірман: «Інженерію вивчити легше, ніж набути теоретичних знать в моделюванні» спершу з'явиться на SQL.ua Data Academy.

]]>
Дмитро Пелешко: «Свого часу ми були перші, хто зробив чотири модальності» https://academy.sql.ua/2020/07/16/dmytro-peleshko-on-data-talks-data-science-webinar/ Thu, 16 Jul 2020 11:31:57 +0000 https://academy.sql.ua/?p=10524 30 років в ІТ. Як потрапив у Data Science, які проєкти є революційними, чому навчатися тим, хто розпочинає шлях у Data Science – тези участі Дмитра Пелешка, Dr. Sc., Professor,…

Запис Дмитро Пелешко: «Свого часу ми були перші, хто зробив чотири модальності» спершу з'явиться на SQL.ua Data Academy.

]]>

30 років в ІТ. Як потрапив у Data Science, які проєкти є революційними, чому навчатися тим, хто розпочинає шлях у Data Science – тези участі Дмитра Пелешка, Dr. Sc., Professor, Data Scientist / Machine Learning Engineer, GeoGuard у вебінарі Data Talks #6.

Як Дмитро став дата-саєнтистом?

Закінчив мехмат університету Івана Франка (Львів). Шлях до Data Science, за словами Дмитра, був тернистим. На початку кар’єри потрапив на звичайний production. Працював на різних проєктах, пов’язаних з розробкою геоінформаційних систем, управлінням нафтовими вишками, ін. Але поступово (паралельно працював в університеті) наукові дослідження, в т.ч. в рамках дисертації перетягнули фокус у бік Computer Vision. І тоді Дмитро Пелешко змінив профіль зі звичайного продакшену на Data Science. Дивіться професійний профіль Дмитра Пелешка.

 

Розповідаючи власну історію на вебінарі (повне відео події), зауважив, що у кожного в Data Science буде свій шлях, але на сьогодні без математичної освіти / підготовки він є нереальний.

Знакові проєкти по Data Science та Machine Learning

Найбільш знаковий проєкт був по мультимодальних системах. На цьому проєкті ми з Оленою (Олена Винокурова, колега Дмитра по GeoGuard) багато вчилися. До нього ми вміли будувати одномодальні системи, і це була наша перша важлива спроба, коли ми поєднували штучний інтелект різної модальності в одній системі. Ми отримали колосальний досвід.

 

Зараз Дмитро залучений у проєкти, пов’язані з детекцією аномалій в електронних транзакціях. Але це вже більш класичні задачі на використання кластеризаторів, різноманітних дерев, автоенкодерів. Задачі, які, з одного боку, ніби дуже добре розв’язані у загальних випадках, але у конкретних кейсах вони потребують тюнінгу. Взяти щось готове і використати це в конкретній компанії на сьогоднішній день нереально.

 

Поряд із проєктами для клієнтів – багато років викладання в університетах. Курси, пов’язані з машинним навчанням, штучним інтелектом, обробкою зображень.

Про улюблений пет-проєкт

Років 8 тому ми абсолютно випадково побачили, як один з німецьких університетів пробував зробити систему, що давала змогу залишати людей похилого віку і неповносправних у них вдома наодинці. Система за ними слідкувала і у конкретних випадках викликала певний сигнал. Але це були дуже обмежені кейси (людина сидить, впала…)… Все було дуже примітивно і просто. І ми подумали, а чому би нам не створити таку систему?

 

Наша ідея була ширша. Люди похилого віку, як правило, мають купу різних питань зі здоров’ям, і системи повинні мати мінімальний вплив на таких людей. Плюс, такі системи повинні моніторити середовище, в якому людина живе, тому що біда може бути, до прикладу, в тому, що людина відкрила газ… Це мало бути комплексне emergency. Ми почали з простих задач… Потім пробували знайти фінансування, отримати гранти, але не вийшло. Проте це був кейс, де ми багато чого спробували!

Революційні проєкти, якими зараз варто зацікавитися

Весь продуктовий штучний інтелект і продуктовий Data Science – це на сьогодні системи, які побудовані на прийнятті рішень на основі єдиного потоку даних. Але насправді людина себе так не веде (вона має зір, слух…+ здатність додумувати). Тобто, людина приймає рішення, обробляючи інформацію з різних каналів.

 

Коли ми почали займатися мультимодальними системами, то передивилися купу статей та коду на Github (github.com). В більшості це було, максимум, дві модальності. І це нас страшенно надихнуло.

 

Я думаю, свого часу ми були перші, хто зробив чотири модальності. Сьогодні намагаємося робити п’ять. І сподіваємося, якщо нам це вдасться, то ми додамо ще одну модальність. Крім NLP, ми всі модальності можемо об’єднати в одну. І тоді decision-making буде здійснюватися на основі різної інформації з різних каналів. Приблизно так, як думає людина.

 

Майбутнє саме за такими системами, якщо мова йде про робота, який повинен бути максимально схожий на людину.

 

Щодо звичайних продуктових систем – Дмитра зараз нічого особливо не вражає.

Про готові рішення, AutoML

Всі, хто займаються Data Science, використовують такі сервіси, починаючи з оренди машин (as a Service), до вже натренованих моделей. І тут є два моменти:

 

  • Використання таких моделей дуже корисне, щоб зробити якийсь попередній estimation. – Чи загальна ідея має місце? Чи дасть результат?
  • Використання готових рішень в багатьох випадках буде вимагати тюнінгу, щоб адаптувати до конкретної задачі замовника. Але більша проблема – чи готовий замовник платити за користування таким сервісом, тому що такий сервіс є платним.

 

Дмитро в цілому є прихильником використання AutoML рішень. В багатьох випадках за рахунок використання їх різними проєктами, вони дають дуже хороше accuracy. Іноді вони до такого ступеня навчені, що тобі, щоб досягнути такої точності, треба витратити колосальні ресурси.

З чого почати свій шлях у Data Science?

Тут у Дмитра однозначна відповідь – теорія ймовірності і мат.статистика. До оптимізації (про яку згадував на вебінарі Тарас Фірман з ELEKS) Дмитро додав регуляризацію даних.

 

Коли приходить молодий спеціаліст, він не може охопити весь домен. Перше, що повинен вміти джуніор – продати свою здатність робити, тобто шукати рішення – продемонструвати здатність пошуку та вирішення завдань. А не суто технічні скіли.

 

Переглянути весь вебінар за участі Дмитра Пелешка можна тут!

Щиро дякуємо Дмитру Пелешку за час та досвід!

SQL.ua Data Academy

Advanced Data Teaching and Learning! 💎

Запис Дмитро Пелешко: «Свого часу ми були перші, хто зробив чотири модальності» спершу з'явиться на SQL.ua Data Academy.

]]>
Олена Винокурова: «Мають бути знання, щоб підкріпити функцію програмування» https://academy.sql.ua/2020/07/16/olena-vynokurova-on-data-talks-data-science-webinar/ Thu, 16 Jul 2020 11:21:18 +0000 https://academy.sql.ua/?p=10515 Шлях у напрямі штучного інтелекту починався з теоретичного – університет, кандидатська, докторська. Сьогодні Олена Винокурова є Data Scientist / Machine Learning Engineer у GeoGuard (професійний профіль). Олена виступила Спікером на…

Запис Олена Винокурова: «Мають бути знання, щоб підкріпити функцію програмування» спершу з'явиться на SQL.ua Data Academy.

]]>

Шлях у напрямі штучного інтелекту починався з теоретичного – університет, кандидатська, докторська. Сьогодні Олена Винокурова є Data Scientist / Machine Learning Engineer у GeoGuard (професійний профіль). Олена виступила Спікером на нашому вебінарі Data Talks #6 та поділилася досвідом, як стати дата-саєнтистом.

Data Science – початок

Олена закінчила Харківський національний університет радіоелектроніки. Коли поступала, тільки перший чи другий рік відкрилася нова спеціальність – інтелектуальні системи. Олену туди потягнуло, це було щось нове і цікаве, і ніхто там не вчився. Вирішила спробувати, поступила, а далі вже пішло «сніжним комом» – кандидатська дисертація по штучному інтелекту, потім докторська (теж АІ), і це все було пов’язане із Data Science, обробкою даних, нейронними мережами.

 

Потім настав час, коли захотілося практичних задач, яких в університеті дуже мало. І Олену потягнуло в ІТ. Спочатку були маленькі проєкти.

Проєкти Олени Винокурової сьогодні

Останні 7 років практичний дата-саєнс ввійшов вже глобально в життя Олени.

 

Зараз Спікерка виконує проєкти, пов’язані з розкриттям шахрайства на основі геолокації юзерів (захист цифрового контенту, випадки підміни, спуфінгу геолокації, тощо). Технологія використовується для вирішення задач банків, платіжних систем, деяких ігрових сервісів, які зараз увійшли в наше життя.

 

Сьогодні є два проєкти, де компанія GeoGuard впроваджує для вирішення цих задач machine learning на базі різних алгоритмів. Олені подобається будувати алгоритми і виявляти цікаві взаємозв’язки в даних.

Що буде найскладнішим у проєктах дата-саєнс?

Сьогодні наявних методів для обробки даних цілком вистачає. А от левова частина часу іде на те, щоб з баз витягнути дані і зробити фічі. Коли місяці три ти формуєш дата-сет, потім ще 100 разів переробляєш його, … а потім застосовуєш персептрон, і все дуже супер виходить.

Де Artificial Intelligence міг би застосовуватися більше?

Можливо, в медичній сфері штучний інтелект міг би допомогти у винаході топових ліків або інших завданнях. Медицина в нашій країні сьогодні застрягла на статистиці.

Що вчити джуніорам Data Science?

Олена Винокурова багато років викладає для студентів дисципліни, пов’язані з дата-саєнс. На додаток до того, що відзначили на вебінарі колеги (відео тут), Спікерка підкреслила важливість тестування.

 

До прикладу, на ресурсі Kaggle (kaggle.com) є різні дата-сети, і можна спробувати той чи інший інструмент Machine Learning відразу на даних.

 

Найчастіше буває, що студенти знають якісь параметри та функції, а от що під капотом конкретної функції (яка математика є всередині) – не уявляють. У Вас мають бути знання, які би підкріпляли ту чи іншу функцію програмування.

Щиро дякуємо Олені Винокуровій за час та досвід!​

SQL.ua Data Academy

Advanced Data Teaching and Learning! 💎

Запис Олена Винокурова: «Мають бути знання, щоб підкріпити функцію програмування» спершу з'явиться на SQL.ua Data Academy.

]]>
Євген Недашківський: «Коли все починалося, Database as a Service вважалося круто» https://academy.sql.ua/2020/07/05/yevhen-nedashkivskyi-on-data-talks/ Sun, 05 Jul 2020 14:36:18 +0000 https://academy.sql.ua/?p=10239 DBA/Developer в AllStars-IT Ukraine, Microsoft Data Platform MVP – Євген працює з базами даних вже більше 12 років. Розробник за освітою, прийшов у сферу з інфраструктури, починав як системний адміністратор.…

Запис Євген Недашківський: «Коли все починалося, Database as a Service вважалося круто» спершу з'явиться на SQL.ua Data Academy.

]]>

DBA/Developer в AllStars-IT Ukraine, Microsoft Data Platform MVP – Євген працює з базами даних вже більше 12 років. Розробник за освітою, прийшов у сферу з інфраструктури, починав як системний адміністратор. На Data Talks #5: «Database Management: Cloud vs On-premise. Proprietary vs Open-source» Євген поділився досвідом та ідеями щодо майбутнього роботи з СУБД. Переглянути повний запис вебінару можна тут.

Спікер працює в компанії AllStars-IT Ukraine, яка в тому числі має великий проєкт в галузі Cyber Security. Крім того, Євген надає підтримку щодо баз даних великим сайт-проєктам, наразі серед них – онлайн-казино та ресурс по організації вебінарів.

За освітою – розробник. Крім активної практики в ІТ, викладає проєктування баз даних в НТУУ «КПІ ім. Ігоря Сікорського» (більше про професійну діяльність Євгена Недашківського тут).

Open-source vs. Proprietary. Критерії вибору

Якби стояла задача – запустити новий проєкт, що би обрав Євген? Відповідаючи на питання модератора (Тарас Кльоба), Євген назвав три критерії:

 

  • Загальна архітектура програмного рішення.
  • Бюджет. Зазвичай, ми йдемо в open-source, коли «немає грошей». В розумінні деяких людей, open-source – це «ми можемо якось зекономити», але часто це не так. Звичайно, ми дивимося на open-source, коли це стартап, або коли ми ріжемо кости. Але все треба рахувати.
  • Стек технологій та експертиза, яка вже є в компанії. До прикладу, у штаті клієнта є 10 фахівців високого рівня з Oracle (або іншої технології). На це потрібно зважати, і не намагатися перетягнути компанію на інше рішення, якщо немає нагальної потреби.

 

Часто буває і так, що у компанію приходить архітектор, який має іншу експертизу. Людина, яка здатна «змусити» всіх, починаючи від власника, прийняти рішення дивитися в сторону іншої технології. Про таких людей можна сказати – те, що інші назвуть «костилем», він або вона скаже: «так і має бути, це best practice».

Коли би Євген Недашківський порекомендував пропріетарну базу даних?

Завжди! В цілому, навіть якщо ми говоримо не тільки про СУБД, то у пропріетарного програмного забезпечення (ПЗ) є ряд переваг.

 

Коли це open-source Євгену теж подобається подивитися в код, зрозуміти, як все працює під капотом, розібратися, подивитися на якість коду, як його писали… Але відкритий код відкриває і певні проблеми. Найперше – безпека.

 

Коли твій код можуть дивитися всі, хто завгодно, ти більш вразливий. Дуже часто у певного ПЗ є проблеми, про які не знають його розробники. Ці проблеми «широко відомі лише у вузькому колі професіоналів». – Якісь умовні бекдори, дірки, за допомогою яких здійснюється несанкціонований доступ до інформації, та з допомогою яких можна створити фейкове навантаження, що повністю покладе систему на певний час.

 

Плюс, важливо, коли в тебе є контакти підтримки, яка 24 години на добу готова допомогти… Якщо open-source рішення для клієнта не підтримує певна компанія (на умовах контракту), то проблема може не вирішуватися роками. А питання, опубліковане десь на форумі, буде лише збирати перегляди. Це проблема відкритого ПЗ. Якщо це пропріетарне ПЗ, ти просто піднімаєш слухавку або пишеш листа, і твоя проблема якось вирішується.

Чому і як компанії мігрують з open-source на proprietary?

Ситуація, яка дратує – це відомі проблеми в open-source, які ніхто не фіксить, оскільки у всіх є інші справи. Розробникам, в цілому, хочеться робити те, що цікаво (і це не завжди те, що треба). Так само і з розробкою open-source. Чистий open-source, на який не впливає ніякий консалтинг (компанія, що підтримує рішення для клієнта – ред.), дуже часто розвивається саме в тому напрямку, який не цікавий бізнесу, клієнту, а який цікавий розробнику.

 

До прикладу, людина збирає дані, тому що пише дисертацію, або просто розбирається з новою для себе технологією. Так, він/вона буде копирсатися в багах, але так звані «хотелки» клієнта вирішувати не буде. Це не його клієнти, і йому за це ніхто не платить.

 

На ентузіазмі деякі проєкти можуть триматися досить довго, доки не приходять нові ентузіасти… Але у загальному ентузіазму однієї людини найчастіше вистачає на рік-два-три, рідко – довше.

 

Наприклад, Лінус Торвальдс (створив Linux – ядро операційної системи GNU/Linux, самої розповсюдженої opensource ОС та найбільш популярної серверної ОС, – ред.). Скільки Торвальдс комітив коду напочатку і скільки зараз – це дві великі різниці.

 

Не варто бути наївними і вважати, що opensource Вам щось винен.

 

Якщо Ви – маленька компанія, у Вас немає бюджету на support, Ви не можете інвестувати в якогось консалтера, який зможе дописати Вам код, виправивши проблему або дописавши потрібний функціонал – то, нажаль, Ви в такій ситуації, де виходом є міграція на іншу СУБД, де цієї проблеми немає, або бажаний функціонал вже є.

 

Якщо порівнювати просто по функціоналу пропріетарне ПЗ та відкрите ПЗ, то частіше більше функціоналу у пропріетарного. Чому? – Вони мотивовані грошима, розробники кожного дня щось пишуть. Цикл розробки не закінчується ніколи. ПЗ постійно обростає фічами. Плюс, до чогось змушує саме законодавство – у пропріетарного ПЗ набагато більше функцій щодо захисту даних, ніж у відкритого.

 

Майбутнє відкритого та пропріетарного ПЗвсе розмивається і спрощується:

Коли ми говоримо про хмарні технології, де можна підняти собі instance або реляційну СУБД в декілька кліків, то мені здається, що все розмивається. І взагалі, можливо, скоро ми забудемо і SQL, і перестанемо оперувати термінами NoSQL, NewSQL, особливо коли синтаксис іде до одного і того самого. Принаймні, розробники сьогодні намагаються, щоб людина, яка знає SQL, могла працювати з тією самою Mongo. Мені здається, це здоровий підхід. Все спрощується.

Cloud vs. On-premise

Євген прийшов з інфраструктури. Розробник за освітою і зараз багато займається девелопментом рішень, але починав як системний адміністратор, як help-desk, і добре знає, що таке маленький дата-центр всередині компанії.

 

Відчути різницю можна, коли ти вперше заходиш в величезні ангари Google, Amazon або Microsoft, де все (сервери – ред.) абсолютно однакове, де купа запасних частин, де знаходиться штат працівників, які з цим апаратним забезпеченням працюють вже декілька років, пройшли всі можливі тренінги… Можливо, там навіть є люди з боку вендора. Це величезна перевага хмарних дата-центрів. І ніякі гібридні хмари цю перевагу не перетягнуть.

 

В першу чергу, це величезна надійність. Там дійсно дотримуються SLA (Service Level Agreement – угода про рівень надання послуг, ред.). Плюс, дуже розумно обирається локація, щоб не було землетрусів, торнадо, було одразу три лінії електропостачання від різних електростанцій, щоб поруч були висококваліфіковані кадри, щоб там постійно  хтось знаходився… Я пам’ятаю, як в першій компанії ми вирішували, де розташуємо сервери: «У нас є приміщення, де швабри стояли, там ми стійку і поставимо. Вентиляції немає – це кепсько. Давайте щось вигадувати».

Майбутнє – за хмарою

Але он-преміс залишиться. Він буде завжди. Буде тестування, будуть такі дані, які ми нікуди не зможемо діти. Можливо, Amazon, Google, Azure зайдуть в Україну невеличкими дата-центрами. Або ми станемо частиною Євросоюзу 😊. Можна вірити в світле майбутнє. Все дешевшає, і я бачу, що майбутнє за хмарою. Досвід мені це підказує.

 

Всі мої проєкти зараз або в клауді, або мігрують в клауд. Після розрахунків власниками, було вирішено, що хмара набагато зручніше і по грошам, і по розгортці систем, і по масштабуванню систем.

Хмара або он-преміс – так, що обрати?

Залежить від того, що ми плануємо. У довгостроковому періоді, якщо ми знаємо, що будемо працювати 5-10 років, нам вигідніше працювати з хмарою. Там не треба думати про електроенергію, вентиляцію, охолодження, обслуговування, про пачі…

 

Amazon, Google, Microsoft дають ще й можливість безкоштовно використати (спробувати) більшість технологій. Так, з мінімальним навантаженням, але ми можемо зробити MVP, proof of concept, подивитися, чи дійсно нове рішення працює, налаштуватися, перевірити… Є у них і програми для enterprise. Наприклад, у Майкрософта була програма для стартапів, коли Ви можете не платити, поки не вийдете на дохід. Є рішення і для студентів… Це круто!

 

Візьмемо простого розробника-початківця. Щоб писати код, йому треба щоб у нього, як мінімум, був його власний ноутбук, поставити туди ПЗ, налаштувати, зрозуміти, як створити новий проєкт, як зберегти код… Для людини без досвіду це дуже важко.

 

Найбільшим недоліком для України вважаю те, що для нас cloud – це дорого. І це все-таки інша мова. Документація написана англійською. Для когось це важко сприймається. Якби Amazon, Microsoft та Google були орієнтовані на Україну, у нас би і вся документація була перекладена, і дата-центри були місцеві. А поки що для нас і дорого, і за кордоном.

Хмара дорожче?

Коли ми самі створюємо рішення, то платимо багато грошей на початку. В хмарі це просто розтягнуто в часі.

 

Основний драйвер переходу в хмару за кордоном, наприклад, в США – це саме людський фактор – ми можемо не тримати додаткових людей в штаті, і вивільнити кошти для оренди серверів. Якщо зарплати в ІТ в Україні будуть зростати, то все більше людей будуть дивитися в сторону хмари.

 

Насправді, хмара – це не дорого. Просто ми дуже часто порівнюємо вартість обладнання та те, що нам пропонує хмара. Але в on-premise є ще купа додаткових витрат (те ж електропостачання та ін.), і про них треба пам’ятати при розрахунках.

Database as a Service (DBaaS)?

З мого досвіду, люди, які пішли в хмару, зробили це з мінімумом зусиль. Маємо: віртуальне середовище, і там – он-преміс. В компанії дуже часто є адміністратор бази даних, системні адміністратори, люди, які розбираються і в операційних системах, і в мережах, і в СУБД. І коли в тебе рішення он-преміс, нехай навіть в хмарі  (інфраструктура як сервіс), в тебе більше контролю, ти більше можеш підтюнити, швидше розібратися в якихось проблемах, ніж це зробить support. З іншого боку, я бачу і той тренд, що компаніям, в яких такої експертизи не мають, простіше стартанути з Database as a Service.

 

Цікавий тренд – коли це тільки починалося, багато говорили: «О! Database as a Service – це круто. Там одна кнопка. Натиснули, і все піднялося. Вибрали, скільки грошей хочете платити, і воно працює. Адмін баз даних не потрібен. Архітектор – просто структуру написати…». Зараз є попит на таке: «Ок, мені подобається, як воно все працює, але я хочу щось там підтюнити». Наприклад, щоб паралелізм по-іншому працював, або дати на один запит більше пам’яті, тому що він не вміщується, або більше процесорів…

 

В результаті, хмарна СУБД як сервіс поступово обростає всіма цими налаштуваннями, які є в он-преміс СУБД. Плюс, з’являються додаткові модулі по аналітиці. І виходить, що – хочете класно працювати в хмарі, все одно прийдеться розбиратися і мати спеціаліста.

 

Для старту проєкту DBaaS – саме воно. Але якщо Ви ростете, навантаження і об’єми збільшуються, то, скоріш за все, доведеться думати про адміністратора БД (DBA), про тюнінг запитів, про тюнінг СУБД…

Чи буде завтра робота для DBA?

Хочу заспокоїти глядачів – без роботи ми не залишимося. Ця ніша продовжує існувати, вона не зменшується, але і не росте. Вона трансформується. Якщо раніше просто треба було вміти працювати з он-преміс СУБД, то тепер треба працювати з хмарною СУБД. Знати, як правильно її налаштувати, як правильно підібрати розмір, як її масштабувати, чи можна її масштабувати автоматично…

 

Вчимо скриптові мови, які дозволяють нам працювати з хмарними провайдерами і т.д. Сама професія еволюціонує. А код доводилося писати і раніше. Нікуди ти звідси не дінешся…

Щиро дякуємо Євгену Недашківському за час та досвід!

Приєднуйтеся до Data Talks на нашому YouTube-каналі SQL ua.

 

SQL.ua Data Academy

Advanced Data Teaching and Learning! 💎

Запис Євген Недашківський: «Коли все починалося, Database as a Service вважалося круто» спершу з'явиться на SQL.ua Data Academy.

]]>
Рома Новіков «Зараз всім треба бути трошки DevOps-ом» https://academy.sql.ua/2020/07/05/roma-novikov-percona-on-data-talks/ Sun, 05 Jul 2020 14:16:37 +0000 https://academy.sql.ua/?p=10228 Technical Director, Рома Новіков 3,5 років працює у компанії Percona. Зараз виконує роль Product Owner для проєкту «Monitoring and Management» – системи моніторингу для open-source баз даних. Рома поділився досвідом…

Запис Рома Новіков «Зараз всім треба бути трошки DevOps-ом» спершу з'явиться на SQL.ua Data Academy.

]]>

Technical Director, Рома Новіков 3,5 років працює у компанії Percona. Зараз виконує роль Product Owner для проєкту «Monitoring and Management» – системи моніторингу для open-source баз даних. Рома поділився досвідом на Data Talks #5: «Database Management: Cloud vs On-premise. Proprietary vs Open-source» від SQL.ua Data Academy. Переглянути повний запис вебінару можна тут.

Proprietary vs. Open-source

Якщо компанія хоче мігрувати з proprietary на open-source, то їм завжди потрібно пояснювати плюси і мінуси. Треба дивитися на фічі. Поняття «open-source» зараз і 10 років тому – це дві великі різниці.

З трійки великих open-source, PostgreSQL – єдина, яка ще має залишки відкритих систем, community-driven. Інші називаються «open-source» тому, що фали доступні, але ти не завжди можеш використати їх в будь-якому кейсі.

Останні 5 років іде дуже сильна міграція всередині опен-сорса – між тим, що було дійсно open-source, до того, що називається «маркетингово-комерційний-available…».

Зараз набагато більше треба розуміти: факт того, що ти маєш файли продукту в себе на комп’ютері, ще не означає, що це дійсно повний open-source. Це треба розуміти навіть, коли іде вибір бази під якийсь проєкт.

Вибір буде дуже залежати від типу навантаження, типу даних. Що стосується «багів», то у відкритих системах, з одного боку, більше очей, а з іншого – менше очей дивляться всередину коду. Інколи це плюс, інколи – мінус. Потрібно завжди дивитися на конкретну базу і конкретні випадки.

Ми Perconaред.) проводили дослідження, яке показало, що у 92% людей в інфраструктурі є більше, ніж одна база даних. Сьогодні переважна більшість компаній мають декілька різних баз – під кожен сервіс, задачу.

Я не думаю, що в найближчому часі ми прийдемо до того, що буде одна база даних, яка буде справлятися з будь-яким навантаженням сама ідеально. Цей «мультисвіт» залишиться і буде ще дуже довго.

Читайте професійну біографію Роми Новікова тут. 

Cloud vs. On-premise. Гібридні системи?

Це більш складне питання. Якщо з open-source та пропріетарними БД все досить полярно, то тут головна перевага он-преміс – security і вартість підтримки. Принаймні, уявна.

 

Cloud – це швидкість. Швидкість – це отримання ресурсів. Коли тобі треба сервіс зараз, то чекати два тижні, поки замовлять сервер, привезуть його, потім підключать, налаштують, потім скажуть, що нам треба перебілдити, «тому що у нас тут не те ядро»…

 

Зараз між он-преміс і клаудом посередині є гібридна система. Ми бачимо, дуже великий різкий зсув в бік гібридного клауда, кубернетіса, які фактично нівелюють різницю між тим, чи є «залізо» – наше власне чи від Amazon, чи ми не знаємо, від кого, але воно якось з’являється.

 

Роль DBA теж змінюється, і вже делелопер може починати рахувати себе DBA, тому що він знає, де натиснути кнопку «зробити мені базу».

 

Питання зараз більше не в моноклаудах, а в мега-клаудах між різними зонами, між провайдерами. Щоб працювало надійно і стабільно, щоб не було вендорлокінгу* на рівні віртуальному або фізичному – це один із викликів, який буде у нас в найближчому часі.

 

* Vendor lockin прив’язка до постачальника або суттєва залежність від його рішень, коли виникають бар’єри для зміни постачальника, ред.

 

Базуючись на нашому досвіді, сьогодні вже є інструменти, які можуть сказати, наприклад: якщо у Вас вже працює база в cloud, та Ви не робили якихось оновлень, то її роботу на певний відсоток можна покращити.

 

У Database, які працюють від клаудних провайдерів, дуже рідко в кого є питання, чи ефективно Ви використовуєте базу, тому що клауди всеодно продають Вам залізо. І якщо Вам дають базу, то клауд хотів би, щоб Ви використовували його більше. Ми (Percona – ред.) робимо акцент – як використати базу більш ефективно, або як зробити, щоб треба було менше ресурсів. В клауді компанії набагато легше «отримати гроші одразу», тому що не треба додаткових інстансів.

Про тренди. Куди клієнти мігрують свої бази?

З одного боку, це кубернетіс-кластери, з іншого – Database as a Service. Якщо дивитися на кубернетіс, то дуже багато компаній, і ми в тому числі, зараз почали робити операторів, які б розгортали базу і виконували інші задачі. Клієнту треба лише мати цей кластер кубернетіса, і далі – оператор за тебе все робить.

 

В одному з досліджень ми використовували такий термін – «scale via credit card», тобто, як часто люди збільшують свою інфраструктуру просто за рахунок докуповування ресурсів.

 

Виявилося, що у 50% випадків компаніям доводиться скейлитися, просто докупаючи ресурси. Від того, що БД буде працювати на якомусь віртуальному сервері, вона не буде магічно починати працювати ідеально, в залежності від навантаження. Вона не виправить неоптимально написаний SQL-запит… Все одно, розуміння того, як працює база, що там всередині відбувається, буде потрібно. Зараз всім треба бути трошки девопсом (DevOps, ред.).

 

Говорячи про Database as a Service, треба розуміти різницю. Деякі DBaaS можуть привести компанію до вендорлокінгу. Коли при спробі мігрувати виявиться, що бази, наче, схожі, але міграція назад може і не відбутися. Вибираючи DBaaS треба розуміти плюси та мінуси.

 

Питання фізичних серверів або більшого контролю, ніж дає клауд, постає, коли ми стикаємося з дуже специфічним навантаженням, яке дуже залежить від файлової системи, від того, як БД працює з тим, де фактично зберігається. В таких випадках, зазвичай, cloud-провайдери, якщо це DBaaS, мало що дають Вам зробити. Коли вже треба «лізти» в Linux налаштування, тоді для таких кейсів, DBaaS на власній інфраструктурі може бути компромісом.

Щиро дякуємо Ромі Новікову за час та досвід!

Приєднуйтеся до Data Talks на нашому YouTube-каналі SQL ua.

 

SQL.ua Data Academy

Advanced Data Teaching and Learning! 💎

Запис Рома Новіков «Зараз всім треба бути трошки DevOps-ом» спершу з'явиться на SQL.ua Data Academy.

]]>
Андрій Босий: «Потрібно просунути людство на дюйм вперед» https://academy.sql.ua/2020/06/27/andriy-bosyi-personal-story-and-projects/ Sat, 27 Jun 2020 19:39:56 +0000 https://academy.sql.ua/?p=9841 Andy Bosyi, Founder та CEO у MindCraft.ai – про власну історію в аналітиці даних, про улюблений пет-проєкт, про менторство, навчання, філософію розвитку… – Тези Андрія з Data Talks #4. «Artificial…

Запис Андрій Босий: «Потрібно просунути людство на дюйм вперед» спершу з'явиться на SQL.ua Data Academy.

]]>

Andy Bosyi, Founder та CEO у MindCraft.ai – про власну історію в аналітиці даних, про улюблений пет-проєкт, про менторство, навчання, філософію розвитку… – Тези Андрія з Data Talks #4. «Artificial Intelligence and Machine Learning». Дивіться відеозапис: YouTube – SQL ua.

Коли і як Андрій Босий потрапив в ІТ:

  • Сьогодні Андрій є засновником та Tech Lead компанії, яка поставила собі за мету займатися виключно питаннями аналітики даних.
  • Шлях у галузі штучного інтелекту та аналітиці почав в дитинстві, коли читав книжки про математику, які давав батько. Разом робили цікаві експерименти, і геометричні, і математичні, вирішували задачі.
  • Потім з’явився калькулятор, програмування на калькуляторі, великі ЕО машини, де можна було писати ігри, маленькі програми та курсові, що «було важливо для лінивих заочників», і на чому можна було непогано заробити в той час.
  • Коли Андрій закінчував школу і почав писати віруси, з’явилися складніші комерційні проєкти в галузі ІТ.
  • Artificial Intelligence, думки про те, що можна змоделювати думку, зробити хоч якусь когнітивну систему – завжди займали Андрія. Приблизно років в 16 Андрій відчув, що це є його місія.
  • І відтоді у всіх software проєктах, у яких брав участь і як девелопер, і як РМ, техлід, R&D і навіть як sales – намагався обрати для себе ті, які стосувалися аналітики даних. «Crazy проєкти», які були неможливі.
  • 10 років тому практичніше познайомився із технологіями AІ та ML.
  • 5 років тому вирішив змінити діяльність – перейти від галузі розробки ПО до аналітики даних.

Проєкт, у якому «все, що можна, було зроблено неправильно»:

В ролі архітектора або виконавця бачив сотні проєктів. Для розповіді на Data Talks обрав такий проєкт, щоб людям було цікаво. Проєкт, який не вдався, і де все, що можна було зробити неправильно, було зроблено неправильно:

 

10 років тому був потенційний клієнт, який захотів робити досить багато Google-аналітики, і робити це, використовуючи Google Analytics Engine. Але для цього треба було мати дуже багато людей… І клієнт вирішив зробити пет-проєкт. І я вирішив за нього взятися. І вирішили ми зламати капчу, спосіб введення в гуглі цих хитрих буквочок.

 

Помилка №1 була в тому, що ми взагалі вирішили цим зайнятися. Помилка №2 – ми не розуміли, як це робити, у нас був просто ентузіазм. Засновуючись на інтуїції, вирішили придумати ML-фреймворк. Стало зрозуміло, що треба якимось чином створити якийсь фреймворк, який дозволить зробити оптимізацію, застосувати машинне навчання. Щоб цим займатися, треба мати хоч якийсь алгоритм, який буде вирішувати задачу.

 

Ми робили координатний спуск. Це є стохастичний підхід, коли ви пробуєте оптимізувати якийсь один параметр, і якщо добре йде, то можете оптимізувати його далі. Це робилося хорошим програмістом… В результаті, ми створили симплекс метод, створили фреймворк, який дозволяв застосовувати цей метод для будь-яких даних. Створили пайплайн… Створивши це все, ми зрозуміли, що здолаємо задачу капчі, але на кожну букву довелося потратити 15 хвилин.

 

Із позитивного про проєкт. – В результаті, коли я почав вивчати тему далі, мені було дуже приємно, що довелося вивчати лише нові назви, бо все це ми вже проробили на практиці самі.

«Ідеальний проєкт». Який пет-проєкт Андрій Босий робить з 2002 року?

Мій лозунг – потрібно просунути людство на дюйм вперед.

 

Те, що ти професійно вмієш і вмієш, як хобі – може разом скласти дуже цікаві комбінації, коли ти можеш зробити досить цікаву річ. При цьому зламається правило, що серйозні речі робляться тільки спільним зусиллям. Можна зробити і одному. А двоє-троє ще допоможуть. Рухаючись у цьому напрямі, я маю пет-проєкт, який роблю з 2002 року.

 

Я пробую зробити акомпаніатор музичних інструментів. Уявіть собі, що є система, яка по тому, як Ви співаєте або граєте на музичному інструменті, може спрогнозувати те, що Ви будете грати через одну секунду. Вона може забезпечити, що навіть на відстані, незважаючи на затримку в часі, те, що Ви будете співати, почують синхронно.

 

Коли я почав працювати зі своїм пет-проєктом, то спробував перевинайти розклад Фур’є (з математики, Ряд Фур’є – спосіб представлення довільної складної функції сумою простіших, – ред.), тому що він не влаштував абсолютно.

 

Коли Ви чуєте звук, як певну ноту, який має певний домінуючий тон, то він може бути закодований двома тонами, які йдуть паралельно. Наприклад, людське вухо чує ноту Сі, а насправді Вам Фур’є «розкаже» про дві інші ноти. Разом вони будуть накладатися так, що складуть те, що потім почується Вам. Тобто наш мозок дуже часто домислює те, чого він не чує, і чого насправді не існує. Так само, наше око домальовує те, чого насправді не існує. Є такі експерименти.

 

Я пробував створити більш правильний спосіб вилучення елементарних частинок звуку, земулювавши людське вухо (емуляція, emulation – відтворення програмними засобами інших пристроїв, в даному випадку – людського вуха, ред.). Створивши ряд звукових маятників, які будуть розгойдуватися, коли вони чують звук. І певні маятники будуть входити в резонанс. Так дуже примітивно емулюється людське вухо з його молоточками… І воно в деяких випадках дало мені кращий результат, ніж розклад Фур’є. Сам не знаю, чому, але експериментально це було так.

Чи зможе штучний інтелект створювати музику на рівні людини?

Будь-яку річ (музикальний твір – ред.) потрібно слухати багато разів. Кожна річ відкривається шар за шаром. Це стосується будь-якого твору людини. Тому що гарний твір мистецтва людини відкривається шарами. Ви спочатку чуєте один шар, потім другий…

 

В мене є таке переконання, що штучний інтелект не здатен створити такого багатошарового глибокого контенту. Напевно, він зможе усереднити і дати щось гарне, що легко сподобається швидко, але щоб воно було глибоке, щоб я захотів це послухати завтра і післязавтра… – я сумніваюся.

 

Це (музика, що створюється штучним інтелектом, – ред.) посередність. Likelihood. Звичайно, є системи генеративні, які можуть створити щось нове. Але щоб з’явилася творчість, спочатку потрібно, щоб був хаос.

Про освіту:

Андрія три рази виганяли з університету. Вчився сумарно 12 років і закінчив заочно. За словами Спікера, йому було не цікаво, скучно. На той момент Андрій вже працював, мав сім’ю. І було зовсім не цікаво слухати викладачів, які конкретно в тій темі знали менше, ніж Андрій. Зараз вважає, що базову освіту необхідно мати.

 

«Настав час, коли треба вчитися заново. Основний здобуток зараз – вміння вчитися постійно. Завести себе в режим постійних змін. Це, власне, як ми обираємо людей у компанію. Ми їх дуже довго перевіряємо.

 

Це як катер з пробитим дном. В нього спереду здоровенна діра, і якщо він не рухається, то тоне. Він мусить постійно летіти вперед, до фінішу.

 

Стосовно класичної освіти. Вона у нас, здається, ще від Пруссії. Це така кліпова освіта, коли нам дають фрагменти, та ми навіть не можемо зв’язати їх докупи. Все це треба трансформувати.

 

Вчитися потрібно на всьому, що можна – книжках, сайтах, Coursera, Andrew Ng, кому що ближче. Але головне – просто завести себе в режим. Дорога з’явиться перед тим, хто буде по ній йти, сама».

Про Менторство:

Ментор – це не обов’язково той, хто дає знання. Часто це той, хто мотивує і є прикладом. Можна не знати все до кінця, щоб це викласти, але можна заразити людей бажанням прожовувати далі самим. 

Які задачі дають на співбесіді для Data Scientist або ML Engineer:

Це точно практична задача, чітко детермінована. Але зробити потрібно буде від початку до кінця – пройти стадії: бізнес-аналізу, побудови, імплементації, тестування, евалюації, викладення результатів, аналіз даних… – показати це як скомпонований документ, вміти його виразити та представити.

Про книги:

Читайте книги. Якщо Ви прочитаєте першу книгу, вона дасть Вам шлях, яку читати другу. І так буде вічно.

Щиро дякуємо Андрію за час та досвід!

Приєднуйтеся! 🔥

 

#SQLua_DataAcademy

Advanced Data Teaching and Learning! 💎

Запис Андрій Босий: «Потрібно просунути людство на дюйм вперед» спершу з'явиться на SQL.ua Data Academy.

]]>
Олександр Гурбич: «Я би хотів бути прикладом» https://academy.sql.ua/2020/06/27/oleksandr-gurbych-personal-story-and-projects/ Sat, 27 Jun 2020 18:08:00 +0000 https://academy.sql.ua/?p=9832 Олександр Гурбич, Research Lead у SoftServe – відверто про власну історію в ІТ, «ідеальний проєкт», освіту та менторство. Тези участі Олександра у «Data Talks #4. Artificial Intelligence and Machine Learning».…

Запис Олександр Гурбич: «Я би хотів бути прикладом» спершу з'явиться на SQL.ua Data Academy.

]]>

Олександр Гурбич, Research Lead у SoftServe – відверто про власну історію в ІТ, «ідеальний проєкт», освіту та менторство. Тези участі Олександра у «Data Talks #4. Artificial Intelligence and Machine Learning». Подивитися повне відео можна тут: YouTube – SQL ua.

Олександр Гурбич – як потрапив в індустрію:

  • Завжди мріяв бути вченим. Має дві вищі освіти. Ні одна з них не в програмуванні – біологія з хімією та фізика з математикою.
  • Був відмінником та олімпіадником.
  • Навчався в аспірантурі, захистив дисертацію по темі квантової хімії. Має ступень PhD.
  • Зараз до класичної вищої освіти ставиться скептично. Говорить, що якби повернувся назад, то не ходив би в університет. Вважає, що людина може бути прекрасним спеціалістом і прекрасним науковцем, коли пробує все на практиці.
  • В аспірантурі зрозумів, що рухається «не туди», і майбутнє не дуже подобається. Тому по завершенні за 2-3 місяці вивчив Java і влаштувався розробником. (Можливо, навіть дописав собі в резюме 1 рік стажу, щоб отримати першу роботу)).

 

Якийсь час працював звичайним розробником, але це Олександру було не дуже цікаво. Шукав для себе наукові задачі. Рухався в тому напрямку інтуїтивно, ніякого плану не було. Пройшов через багато компанії (Ciklum, Luxoft…) і опинився у SoftServe. Виявилося, що тут є відділ R&D, в якому якраз такими питанням займаються, досвід Олександра буде корисний, і можна буде розвиватися в цьому напрямку.

Проєкти Life Science. Генетика (проєкт про COVID):

Олександр Гурбич в сфері роботи із штучним інтелектом та машинним навчанням – 5 років. Ключова спеціалізація – Life Science. На запитання модератора (Олександра Краковецького) розказав про один із проєктів, що стосується генетики:

«Прямо зараз ми робимо проєкт з генетики. Аналітику геномів, секвенування (від лат. Sequentum – послідовність, записується у лінійному вигляді, – ред.). Ви здаєте свій біо-матеріал і отримуєте свою послідовність ДНК. Якщо зібрати цю ДНК у людей, які хворіють ковідом (COVID), які не хворіють ковідом, і які хворіли ковідом, то можна дізнатися –  які зміни в нашому геномі робить ця хвороба, та чи робить взагалі, чи є у нас резистивність (опір, як здатність організму – ред.), чи по-різному хвороба впливає на різні вікові групи, різні статі та різні етнічності.

У чому складність такого проєкту? – Уявіть собі, що ми вже розшифрували ДНК. ДНК – це подвійна нитка, яка складається з комплементарних пар нуклеотидів, і один нуклеотид ми називаємо однією літерою. Отож, з точки зору програмування наше ДНК представляє собою дуже довге слово з мільярдів (3,5 мільярда) літер. Один такий файл займає 100 МБ. Є проміжні файли, вони ще більші. Є проблема їхнього зберігання та ефективної аналітики, якраз та, яку ми вирішували: 1) Потрібно ці дані кудись завантажити і якось робити їхній аналіз. 2) Потрібно інтерпретувати результати.

Які вже є результати проєкту? – Зараз вже є багато результатів, і я закликаю Вас почитати наукові статті. Наведу один – якщо людина перехворіла ковідом, він залишається у її геномі назавжди. Наразі схожа поведінка є у герпесу.

Про специфіку вірусів. – Всі ми є інформація. Однією з ознак життя є здатність відтворити себе. Але вірус – це інформація, яка не може сама себе відтворити. Віруси не є клітинною формою життя. Вони не вважаються живим організмом. Це є окреме царство, особливістю якого є те, що вони не можуть самі себе відтворити. Тому їм потрібен хазяїн – клітина, яка займеться їхньою репродукцією. Це і є мета існування вірусу – відтворити себе. Вірус не лише відтворюється, він відтворюється з помилками, які вносять туди наші системи.

На момент вебінару проєкт триває 3 місяці, у команді зайнято близько 10 людей. Олександр Гурбич відповідає за наукову складову. У проєкті є і чисто інженерні задачі – розгорнути фронт-енд, бек-енд, сервіси на хмарах…, які покриваються класичними інженерними компетенціями.

«Ідеальний проєкт». Чим би хотів займатися Олександр Гурбич?

У біологів є жарт, що життя – це спосіб самовідтворення нуклеїнових кислот, а не те, що багато хто про нього думає)). Якщо більш глибоко подивитися в основи живого, то Ви побачите, що це безкінечне циклювання нуклеїнових кислот і білків. Нуклеїнові кислоти кодують білки, білки роблять нуклеїнові кислоти, і так без кінця. Але абсолютно очевидно, що це є програма. Як і будь-якому програмісту, мені цікаво розібратися, як вона працює, змінити її, написати самому.

Мій ідеальний проєкт – це створення, редагування, тобто програмування живого. Наразі це вже частково реалізовано. Наприклад, коли ми користуємося будь-якими ліками, то вони зв’язуються з певними рецепторами, що зумовлює їхню дію. Є ліки, які зв’язуються з білковими рецепторами, а є – які з ДНК, РНК, впливають на реплікацію нашого геному.

За допомогою таких механізмів регуляції можливо робити багато дуже цікавих штук. В ідеалі – створення живих організмів з бажаними властивостями, а також редагування вже існуючих, внесення бажаних поправок. Ми вже це маємо, наприклад, у вигляді апельсинів, які не гниють, і картоплі, яку не їсть колорадський жук. Це вже відредаговані нижчі організми, рослини. Бактерії ми редагуємо вже дуже давно. Наприклад, антибіотики частіше за все синтезуються не в лабораторії, а в кишковій паличці.

Організми редагуються, значить – це можна робити. А от тепер уявіть собі, що ми редагуємо людей. І ви живете 120 років і при цьому не хворієте, не старієте.

Старіння – це запрограмований процес на рівні нашого ДНК. Уявіть собі, що ми його «відмінили».

Чи були у Олександра ментори? Чи Олександр є ментором для інших?

У мене не було менторів, але це через нюанси характеру. Я не люблю менторів, і не люблю, коли мене чомусь вчать, тому що думаю, що можу розібратися і сам. І так роблю все своє життя. Через це роблю забагато помилок. Більше, ніж я думав, що я міг би робити. Але з іншого боку, я знаю, що сам прийняв це рішення, я за нього відповідаю, і мені немає кого звинуватити.

 

Олександр був ментором. Викладав в університеті, викладав на курсах. Але зараз радше хотів би бути прикладом:  

 

«Як говорив один святий (Серафім Саровський – ред.): «Спасися сам і навколо тебе спасуться тисячі». Коли ви будете ходити і спасати людей, особливо, якщо вони про це не просили, то толку з цього не буде. Є така одну неможлива річ – змінити іншу людину. Єдине, що ви можете зробити – стати прикладом. Щоб люди, дивлячись на Вас, хотіли самі змінитися і це робили. От в це я вірю».

 

Про майбутнє освіти. – В ідеальному випадку, освіта має перейти в онлайн. Очна освіта має закінчуватися після середньої школи. Середня освіта має бути сильною, загальною. І далі людина визначається, що робити. Починає робити, і розуміє, які знання їй потрібні. І повинна мати можливість добирати ці знання все своє життя.

Щиро дякуємо Олександру Гурбичу за час та досвід!

#SQLua_DataAcademy

Advanced Data Teaching and Learning! 💎

Запис Олександр Гурбич: «Я би хотів бути прикладом» спершу з'явиться на SQL.ua Data Academy.

]]>