🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠ 0:00-1:16 Інтро1:17-4:35 Як проходить дизайн-інтерв'ю? Мета-кроки, які повторюються.4:36-7:09 Особливість інструментів для дизайн-інтерв'ю. Усякі https://excalidraw.com/, https://miro.com/ і подібне. А також варіант для багатих – беріть планшет7:10-9:54 Основні аспекти дизайн інтерв'ю. Компоненти і їх взаємодія. Збереження даних. Нефункціональні вимоги, де довгий перелік *bility штук9:55-12:31 Чи будуть на дизайн-інтерв'ю питати про внутрянку Postgres?12:32-14:06 Можливі варіації дизайн задач. Питання щодо речей, про які ви не думаєте в стартапі на 3 юзера14:07-21:49 Як готуватися до дизайн інтерв'ю? bytebytego, donnemartin/system-design-primer. Блоги github, discord. Блог AWS Solutions. https://www.educative.io21:49-25:50 А тепер насправді, як готуватися. Dry-run інтерв'ю. І в цілому про важливість говорити слова ротом. ExponentTV на ютуб25:51-28:23 Хот-тейки від Ігоря. 7 DBs in 7 Weeks. 28:24-33:09 За що можуть "віднімати бали" при проходженні. Чи варто казати, що юзатимеш технологію, з якою не знайомий? Показуйте ініціативність. І не сперечайтеся33:10-36:57 Висновки. Що прикольне/не прикольне в дизайн-інтерв'ю. Outro Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

В гостях ⁠Дмитро Войтех⁠, СТО @ S-PRO 🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠ 00:00 - 00:56 – Intro00:57 - 02:50 – з чого почати побудову recommender system; як будувати baseline моделі02:51 - 04:10 – говоримо про бейзлайн систему рекомендації для зображень04:11 - 7:30 – говоримо про бейзлайн систему рекомендації для текстових даних; Bag of Words; BM-257:31 - 11:15 – які хороші методи для отримування вектора ознак для тексту? TF-IDF11:16 - 14:47 – проблема холодного старту (Cold Start)14:48 - 20:10 – моделі рекомендацій на основі механізму зворотнього зв’язку; кенселінг за дієвидло; колаборативна фільтрація – @benfred/implicit, улюблена Alternating Least Squares у каглерів20:11 - 22:06 – знову говоримо про cold start; маленький кейс megogo22:07 - 30:25 – Word2Vec, чи то пак Entity2Vec — як оригінальний NLP алгоритм можна використовував для побудови рекомендацій30:26 - 33:20 – векторна арифметика на елементах вашої системи — як віднімати та додавати зображення та тексти один від/до одного; фантазуємо, які пошукові системи потрібні людям; слухайте подкаст з Олесем Петрівом, де космічні кораблі подорожують просторами ембедінгів33:21 - 36:53 – рекомендації на базі графових нейронних мереж (GNN); чому це можна розглядати як логічне продовження моделей на базі Word2Vec; кейс AliBaba;36:54 - 39:45 – чим графові нейронні мережі схожі на конволюційні; 3b1b про конволюції39:46 - 45:50 – як використовувати Mixture of Experts моделі в рекомендаціях; пейпер Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer; згадуємо symbolic AI та експретні системи45:51 - 51:56 – рекомендаційні системи на основні архітектури нейронних мереж Трансформер; паралелі з Deep & Wide model; слідкуйте за https://eugeneyan.com/51:57 - 1:01:46 – алгоритми Learning to Rank (навчання ранжуванню) — побороли recall, починаємо бороти precision; поточкові, попарні та помножинні підходи; RankNet; LambdaMart1:01:47 - 1:06:19 – рекомендації на базі моделі CLIP - Contrastive Language–Image Pre-training; як тюнити CLIP1:06:20 - 1:07:28 – знову фантазуємо про просунуті пошукові інтерфейси; reverse image search1:07:29 - 1:11:40 – як використовувати LLM для рекомендацій? Забудьте про ембеддінги – несемо prompt engineering в маси!1:11:41 - 1:17:18 – крейзі ідеї в світі LLM – ChatGPT розкаже вам, як спати та бігати, враховуючи дані з вашого Apple Watch; як LLM обробляє великі дані через маленьке контекстне вікно1:17:19 - 1:22:13 – Підбиваємо підсумки; перераховуємо теми в галузі рекомендаційних систем, про які ми НЕ поговорили, але які варто подосліджувати. Коли повернеться подкаст? Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

В гостях Дмитро Войтех, СТО @ S-PRO 🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠ 0:00-0:30 Інтро0:30 - 1:18 — рекомендаційна система для банок на донати - поповнюйте рахунки Повернись Живим1:19 - 5:45 — Дмитро (ex-Giphy, CTO@S-PRO) розказує, чому він хороша людина на поговорити про рекомендаційні системи5:46 - 8:10 — чутки про те, в який ML/AI хочуть вкладати гроші європейські компанії8:10 - 11:43 — визначимо проблему рекомендацій, говоримо про задачу отримання інформації (information retrieval)11:44 - 12:20 — чому задачу рекомендацій варто розбивати на підсистеми12:21 - 17:15 — candidate generation – бази даних, векторні індекси, текстові індекси17:16 - 19:20 — що таке precision та recall, скільки потрібно сіньйорів…19:21 - 22:20 — чому фільтрувати кандидатів в рекомендації є хорошою ідеєю22:21 - 30:50 — на чому тренувати рекомендаційну систему: не забудьте полайкати наш подкаст на вашій улюбленій платформі!30:51 - 40:45 – для чого потрібні офлайн та онлайн метрики; роздумуємо про інтуїцію метрик для оцінки якості рекомендацій40:46 - 46:50 — чому Mean Reciprocal Rank (MRR) — ймовірно, не найкращий вибір для метрики, говоримо про Expected Reciprocal Rank (ERR) — чому структура гріда рекомендацій має значення46:51 - 47:45 – Click Through Rate (CTR)47:46 - 49:55 — говоримо про customer satisfaction та функції втрат для тренування рекомендаційної системи49:56 - 55:28 — проблема feedback loop, exploration vs exploitation, рандомізуємо рекомендації; багаторукі бандити55:29 - 57:28 — робимо паузу; оутро і канал 'Kyiv Data Science’; чекайте продовження в наступному випуску! Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠ 0:00-2:43 Інтро про закони і як в майбутньому кіберполіція буде накривати людей, що генерують меми з метою розповсюдження2:44-6:44  Aritificial Intelligence Act у ЄС 11 травня перейшов на наступний етап законотворчого воркфлоу. Що далі?6:45-12:45 Що забороняють законом? (Текстовий переказ від the verge). Кейси ШІ на біометричних даних для високоризикових ситуацій – забороняємо.12:46-15:45 Реєстр високоризикованих систем з використанням ШІ. Приймаємо консент-попапи при вході в ЖК за парканом15:46-21:08 Змусимо всіх авторів великих моделей оцінювати ризики (і розповідати про датасети). Чим це загрожує Google і OpenAI? Прогнозуємо черговий бум у сфері дата провайдерів21:09-23:35 Якщо дані – дуже важливі, то буде розквіт… барж з даними? … скоріше, про федеративне навчання і data clean rooms23:36-27:03 Тут про правове поле в космосі, нейтральні води, застосунки з темних заковулків і першу космічну війну27:04-27:31 Outro Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠ 0:00-0:49 Intro і пояснення існування 2ої частини0:50-2:25 Hypothesis для property-based testing на python. Неймдропінг atheris2:26-2:52 cleder/awesome-python-testing і розділи, які ми вирішили скіпати при записі2:53-11:17 Тестимо швидкодію ваших застосунків за допомогою locust. “Для всього іншого є timeit” © JMeter. Набір утиліт для профайлінга з HTML репортами – elastic/perf811:18-11:57 Budget testing (різновид performance testing, але про нього складно гуглити, суто подібне може робити для вас pytest-benchmark)11:58-14:42 Data tests, чому їх ніхто не пише і пошук того самого апологета дата тестів в коментарях під випуском14:43-15:20 boxed/mutmut – щось і для мутаційного тестування є на пітоні15:21-17:10 Остання настанова: підглядайте в опенсорс (і може побачити там matrix) і вчиться у людей17:11-17:48 Outro Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠ 0:00-2:29 Інтро. Мультики, метасюжети і тестування на пітоні2:30-5:15 Тест-ранери: вбудований unittest, класичний pytest. На додачу tox. Олдскульні nose2 і nose. Зовсім зелений green і свіжий швидкий hammet (мову якого конфузив із-за rye)5:16-6:37 Як може тест-раннер на python бути швидшим за pytest? Rust скоро з’їсть всі утиліти6:38-8:00 pytest-parallel і pytest-xdist для паралельного запуску тестів8:01-19:47 Чому в rspec фікстури кращі, ніж фікстури в pytest? Як жити з pytest в такому випадку? Пишемо більш компактні тести за допомогою fixture і parametrize19:48-23:17 Писати тести функціями чи класами в pytest? FunctionTestCase в unittest23:18-29:37 Чому б не включити pytest в стандартну бібліотеку? Не забудьте чекнути, які опції можна передати в CLI пайтесту29:38-32:14 Скоро нам всім заборонять писати тести без assert’ів. Про пошук тестів pytest’ом і unittest discover32:15-32:38 Вбудовані фікстури pytest32:39-35:00 Про генерацію репортів і тест-каверейдж35:01-37:45 freezegun для підміни часу для тестів. unittest.mock#patch для тимчасової зміни поведінки стороннього коду37:45-38:46 Outro Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠https://t.me/midnight_chatter 0:0:00 - 0:1:39 Intro. Про що цей і наступний епізод і кому це може бути корисним0:01:39 - 0:05:38 Окрім співбесід, для чого корисно знать щось про тести?0:05:39 - 0:09:10 Піраміда тестів: юніт - модульні - інтеграційні - e2e0:09:11 - 0:20:05 Чи треба юніт-тести? Сваримо карго-культ мокання всього підряд0:20:05 - 0:20:58 Додаємо кволіті інженерам посадових обов’язків лише для того, щоб одразу забрати. Що у нас роблять engineers in testing0:20:59 - 0:23:58 Моки, стаби і спаї. Стаття Мартіна Фаулера. Стаби на фікстурах (які пояснили трохи по іншому канону, але теж може бути)0:23:59 - 0:27:26 Анатомія тесту: сетап - тест - тірдаун. Що ваші інструменти роблять за вас і за що варто переживати?0:27:27 - 0:38:01 Test Driven Development (TDD) – інженерна практика. Метагейм і внутрішні інкрементальні зміни. Перший тест, який варто писати в *будь-якому* проекті. Протіп як фіксати баги. Намагаємося безуспішно навертати людей в церкву святого TDD0:38:01 - 0:40:46 Behavior Driven Development (BDD) – про підхід щодо походження і формату вимог при роботі. Cucumber і Gherkin. Given-when-then і подібні тестові сценарії. Згадуємо capybara0:40:47 - 0:44:54 Тест ранери і тестові фреймворки. Інструменти для мов, де це не вбудовано по замовчуванню, як в Go.0:44:55 - 0:46:31 Штучні дані для тестів, умовний faker під вашу мову програмування0:46:32 - 0:53:50 Тестуємо API сторонніх сервісів: стабити ваш клієнт запитів чи піднімати власну репліку? Існує проміжний варіант: передзаписані відповіді за допомогою vcr. Глобальні проблеми зламаних чужих АПІ, особливо які не були SaaS’ом раніше0:53:51 - 1:00:04 А як базу тестувати? За допомгою контейнерів! MinIO, Google Cloud SDK, LocalStack. Розбираємося з docker-compose’ом і depends_on. In-memory бази даних для тестів1:00:05 - 1:02:47 Мутаційне тестування – це що таке? Доводимо суть code coverage до межі. Не втримуємося і вперше за епізод згадуємо ChatGPT1:02:48 - 1:04:25 Property-based testing і QuickCheck. Coq і Agda для красного слівця1:04:26 – 1:06:52 Outro. Пишіть тести! А також коментарі Долучайтесь до наших соцмереж: ⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠⁠Twitter ⁠⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠⁠TikTok ⁠⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠⁠https://t.me/midnight_chatter 0:01-3:10 Інтро. Наші перші код-рев’ю.3:11-5:43 Чи є code review обовʼязковою практикою?5:44-9:50 Навіщо робити код рев’ю: обмінюємося знаннями. Життя буденне при дистанційній роботі. Pull request як арена для молодих челенджити старі шляхи написання коду9:51-11:20 Навіщо №2: шукаємо дефекти і налагоджуємо стиль, рев’ювлємо дизайн рішення11:21-12:28 Що є результатом код рев’ю? Хто мусить мерджити пулл реквест?12:29-12:49 Навіщо №3: шаримо відповідальність12:50-13:24 Навіщо №4: покращуємо здатність естімейтити в майбутньому13:25-15:18 Гітхабівські “пулл реквести” (PR) проти Гітлабівських “мердж реквестів” (MR)15:19-17:05 Недолік рев’ю “не всі дефекти знаходять”. Google про code review у статті (але про 1/6 була брехня, Сашко перепрошує, знаходять “скільки знаходиться”, якщо говорити про стати, хіба у статті 2014 від MS було про “в середньому 4 дефекта в рев’ю”, але там все складніше і в ноутсах не перекажемо)17:06-18:39 Ще недолік: довше закриваємо таски, що з цим робити?18:40-20:57 Вирішуємо проблему код рев’юверів “не розумію, про що ця зміна?”20:58-22:34 Ділимо фідбек на важливий і неважливий, а також питання. А також про комунікацію англійською.22:35-23:57 Золоте правило рев’ю “Не задовбуйте”. Тудушки і тікети “на потім”. Допомагайте молодим23:58-26:22 Як імплементувати цей поділ на популярних платформах для код рев’ю26:23-29:11 А ще, можна коментарями надавати контекст. Ну і робіть самі собі code review29:12-31:15 Якщо хтось створив і змерджив PR на вихідних – чи треба його пост-фактум рев’ювити?31:16-35:59 На що найбільше спрямовувати увагу при код-рев’ю?36:00-37:50 Чи є прохання написати тести порушенням заповіді “не задобвуй”? Без тестів – нікуди37:51-41:34 Скільки рев’юверів треба на 1 пулл реквест? Знову посилаємося на статті від Google & MS. Як працюють CODEOWNERS у Github41:35-43:38 Галопом по Європах: автоматизуємо тривіальне, де рев’ювити дизайн рішення і як довжина ПР впливає на тривалість рев’ю. Про кількість рядків за годину рев’ю посилаємося на smartbear43:41-45:06 І взагалі, не напружуйтесь. Бот експірієнс інженери ніколи не думають про перфокарти45:07-45:36 Як зменшити кількість рев’ю? Парне програмування. Рев’ю сесії45:37-46:18 Gitlab і їх рулетка для рев’юверів (а також хай тут буде їх матеріали про код рев’ю)46:19-47:50 Чи можна було б жити без код рев’ю завжди? Тести, ШІ і nocode47:51-50:10 Не забувайте, що з того боку – жива людина50:11-51:51 Outro, робіть код рев’ю цьому випуску і не будьте токсіком. Наступного тижня відпочиваємо Долучайтесь до наших соцмереж: ⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠⁠Twitter ⁠⁠⁠⁠@O_Balachky⁠⁠⁠⁠TikTok ⁠⁠⁠⁠@o_balachky⁠⁠⁠⁠ Музика: ⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠ | ⁠⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠⁠https://t.me/midnight_chatter 0:00-2:24 Інтро. Інтернет – AI психлікарня. Bard Beta, LLAMA, Alpaca. ChatGPT Plugins, Copilot X2:24-4:34 Copilot X і голосове управління. Пора вчитися робити код-рев’ю4:35-9:31 Відкритий лист щодо паузи в розробці моделей + думки Елізера Юдковського ака автор Harry Potter and the Methods of Rationality. Давайте бомбити центри скупчення GPU. Генетично модифіковані китайські діти. Що робитемимо наступні 6 місяців?9:31-14:44 Вірите в небезпеку ШІ? А ковід щеплення зробили? Чи має сенс зупиняти поступ науки? Читайте Анафему.14:45-19:08 Як часто ми зможемо перевчатися на фах, який ще не встигли автоматизувати? Чому self-driving cars можуть вбити міста в американській глибинці? Які галузі залишаться з нами за версією форбс? Що тут, знову чорні лебеді?19:08-19:59 Що будуть робити консерватори? Час для нових амішей20:00-22:00 Які професії залишаться в майбутньому? Bloomberg і їх власна GPT модель. Linus Tech Tips он взагалі на фермі працюватиме22:00-24:36 Але це все перестане працювати, як ШІ вийде в офлайн. OpenAI інвестував в 1X. Замикаємо коло історії, що почалося в Дармуті і робота Shakey. Інший варіант впливу на оффлайн світ – ШІ проектує оффлайн агентів24:37-30:58 ШІ нас не вб’є. Але може зробити боляче, дивіться Чорне Дзеркало. ІПСО від ШІ, як спосіб впливу на людей. Чи врятують нас Knowledge Bases? Де GPT постаріше зберігає факти? (публікація / відео)30:59-36:30 Живучи в світі дезінформації, як верифікувати, що ти спілкуєшся з людиною? ChatGPT може бути вашим wingman в тіндері. Чекніть, чи зможе людина відповісти на питання із серії Winograd Schema36:31-40:18 Щось тут все заскладно, але для чого нам були ці всі гучні заяви про заборону тренувань моделей? Але чомусь є і гарні новини40:19-42:52 Як навчити ШІ знати все про речі на вулиці? Мультимодальний ШІ вже не за горами42:53-46:20 Для справжнього ШІ нам треба зворотний зв’язок. Auto-GPT.46:21-48:22 Змушуємо ChatGPT будувати дерево знань. Проблеми подібних конструктів48:23-56:14 Справжній no code з ШІ. Як верифікувати програми, чий код ніхто не рев’ювив? Magi як представник TMR. Магічні декоратори ai_fn56:15-1:01:00 Пишемо петицію, щоб у всі ігри додали побільше нейроночок. AI Dungeon. Симуляції екосистем в STALKER, що так і не побачили світ1:01:01-1:04:04 Моделі психологів будуть лікувати людей, що закохуються в ігрові нейроночки. Рекомендуємо "The Discrete Charm of the Turing Machine," by Greg Egan (тут збірка) і “Я, робот” Азімова1:04:05-1:05:03 Outro Долучайтесь до наших соцмереж: ⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠Twitter ⁠⁠⁠@O_Balachky⁠⁠⁠TikTok ⁠⁠⁠@o_balachky⁠⁠⁠ Музика: ⁠⁠⁠https://www.streambeats.com/⁠⁠⁠ | ⁠⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠⁠https://t.me/midnight_chatter 0:00-0:42 Intro та дисклеймер0:43-2:10 Від Notion’а до Zettelkasten. Чи зміниться це з появою чат-асистентів? Про це і поговоримо2:11-4:42 Чи веде Ігор свою базу знань? Пошук в Notion – не як в github’а4:43-7:42 Як справи з нотатками Дениса? Markdown файли і zettlr. Наступна віха розвитку – Obsidian. Тут вже і zettelkasten можна робити. Фрактальна капуста7:42-9:04 Чому Денис більше не буде вести свою knowledge base?9:05-9:59 Чим корисні короткі замітки для створення контенту?10:00-11:47 Хронологічний journaling як альтернативний підхід11:48-13:10 Дампаємо посилання з тегами і коротким описом. Яким міг би бути ідеальний нотатник для такого?13:11-15:29 Але поки що, головна проблема – поганий пошук по цьому всьому. Мультимодальний пошук. Коротка лекція про японську мову15:30-19:16 Індексуємо все-все-все, що ви робите за комп’ютером. І згадуємо “Чорне Дзеркало” (S4E3). Пора робити на GPT-4. А може і unCLIP заюзаємо, як промпт-інженери розберуться, що писати19:16-21:36 Чи треба нам локальний пошук, якщо можна затьюнити пошуковий рушій? А також гібридні підходи21:36-22:15 Згадуємо Apple і їх AI помічника22:15-24:12 Потенційна небезпека сенсативних даних в чат-системах. Про OpenAI і кенійців. Фантазуємо, як це робити сек’юрно24:13-27:43 Саша і його нотатки. Глобальний gitignore. You.com і їх чат27:43-28:35 Всі біжемо під замочок і накопичуємо замітки (поки Маск все не поламав)28:36-33:17 Рівні користі інформації. Лайфхаки збереження інформації. Шукаємо стартап зі скріншотами і чи то отримуємо ефект Мандели, чи просто інтернету пороблено33:18-34:15 Outro Долучайтесь до наших соцмереж: ⁠⁠https://t.me/midnight_chatter⁠⁠Twitter ⁠⁠@O_Balachky⁠⁠TikTok ⁠⁠@o_balachky⁠⁠ Музика: ⁠⁠https://www.streambeats.com/⁠⁠ | ⁠⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі ⁠https://t.me/midnight_chatter 0:00-0:40 Інтро0:41-6:51 Питання слухачів №1: python і приватні пакети в poetry. І взагалі про приватні реєстри пакетів на CI. І як на гітхабі достукатися до пакету в приватному репозиторії6:52-8:21 Питання/уточнення слухачів №2: ще є pdm-project/pdm для залежностей8:22-10:29 Повертаємося до deploy keys і як webfactory/ssh-agent це робить для декількох репозиторієв10:30-12:57 Питання слухачів №3: “так і що мені юзати?”12:58-17:43 Після створення проекту, що в першу додавати? make і task. Заздримо npm з їх scripts17:43-19:52 Менеджимо автоматичні перевірки при спробі закомітити за допомогою pre-commit19:53-20:56 Коли ваш інструмент не вміє в dev mode, допоможе watchdog20:57-23:23 Коміти по конвенціям за допомогою commitizen23:24-30:03 Ваші улюблені інструменти для перевірки/покращення коду від PyCQA: flake8, pycodestyle, pyflakes, autoflake, pep8-naming, isort, black. І новий мегашвидкий ruff. Як цими зв’язками користується Денис і flake8-print – золото30:04-31:47 Шукаємо стерво код за допомогою vulture. Bandit для сек’юріті перевірок і чому потрібні baseline’и31:48-32:49 Hadolint для докерфайлів, для shell скриптів – shellcheck, helm lint + helm-docs32:50-32:55 mypy чим корисна типізація, але чому ж так важко почати?35:56-38:28 tox і матричні білди38:29-39:09 Pylance, що ґрунтується на pyright39:10-39:49 Editorconfig для фіксації вигравшої сторони в суперечці “таби чи пробіли”39:49-40:40 Запускаємо проект в контейнері, щоб команді було простіше40:41-42:03 Інтегруємо платформи де ви правите код чи раните тести з таск-трекерами і месенджарами – обов’язково для ВСІХ agile команд. Swarmia42:03-43:07 Включаємо нагадування “онови залежності”: dependabot, snyk43:08-45:50 Outro. Закиньте грошей ПЖ Долучайтесь до наших соцмереж: ⁠https://t.me/midnight_chatter⁠Twitter ⁠@O_Balachky⁠TikTok ⁠@o_balachky⁠ Музика: ⁠https://www.streambeats.com/⁠ | ⁠@stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 0:00-2:50 Intro. Спеціалізовані і генералізовані системи пошуків.2:51-9:12 Чому у Github була найгірша система пошуку? Натягуємо Elastic на код, який не є натуральною мовою. BM25 “на пальцях”. Ну і неймдропаємо Tf-Idf9:13-12:26 Повертаємося до оригінального блогпосту. Як весь код вліз в 25Тб? І інші цифри для оцінки масштабу розміру пошукової бази12:27-15:02 Які кола мікросервісів проходить ваш код перед тим, як потрапити в видачу пошуку? Самописні бази на такому швидкому і безпечному Rust, а також ліричні відступи з шеймінгом людей за спадок на Golang15:03-22:26 Що в цій базі? Інвертовані індекси, щоб не лупати днями всі документи в циклі. Триграми з прикладами “📃” ➡️👨‍⚕️,うく,💦. Як ділити величезний індекс по різних серверах? Трохи про шардінг, але може краще почитайте “кабанчика”. PGTune22:26-25:24 Як відбувається безпосередньо пошук?25:25-30:17 Невеликі, здавалося б, оптимізації, які значно покращували все: мінімальне остовне дерево, k-мердж списків, … Зато за 36 годин все переіндексовують з нуля, як треба буде30:18-34:25 На чому все це крутиться? І навіщо взагалі треба пошук по коду? Даєш ReversoContext для коду!34:26-35:40 Outro Долучайтесь до наших соцмереж: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 0:00-1:53 Інтро, про що випуск і використовуємо в одному реченні Starlink і Python1:54-2:22 Закриваємо тему pip2:23-7:37 Стильний poetry, зробить все як у найкращих пакетних менеджерів, як у мові програмування сина маминої подруги. Які проблеми вирішує лок файл?7:38-10:45 Але і з poetry бувають проблеми…10:46-17:22 Чи перейдуть всі ваші улюблені бібліотеки на poetry, який стане стандартом в пітоні? Проводимо паралелі з glide17:22-18:58 pip-tools і саме pip-compile звідти, як корисна виручалочка при великому наборі різних опціональних бібліотек18:59-20:02 Для менеджменту версій пітона, pyenv – молодець. asdf + venv теж ок20:02-21:15 pipenv - це не про нас21:16-22:27 conda – ліпший бро дата-саєнтистів, і інколи – маководів22:28-23:12 Чи існують гайди як будувати пакети за допомогою conda? Питаємо у вас, розкажіть нам в коментарях!23:12-24:19 Outro. Пам’ятайте: кожен ваш коментар нині – +1 тиждень до існування цього подкасту Долучайтесь до наших соцмереж: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 0:00-2:27 Інтро. ChatGPT в Україні, історії про швайнокарасів і r/bing2:28-6:12 Юзаємо ChatGPT як бекенд. І Copilot + gptcommit для менш радикально налаштованих забирати хліб у розробників. Референсимо Януковича6:13-6:58 Чекаємо ще рідше побачити живу людину у чаті служби підтримки6:59-10:39 Журналісти і їх ґайпожерство на темі ШІ. І описуємо найшвидший спосіб ChatGPT зменшити розмір людства10:40-16:18 Як GPT3 в Square аналітиком працював. Світле майбутнє, де запити в сховища даних можна писати зрозумілою мовою. Чат модель пошуковика Bing, яка не завжди дружить з реальністю. І попередження аналітикам16:18-16:55 Наші аналітики передбачають нові продукти Apple16:56-18:39 Langchain додав wolfram alpha інтеграцію. ChatGPT як універсальний перекладач між різними структурованими мовами18:40-21:52 “Уяви, що ти – Х” для ChatGPT. Корисний промпт-інжиніринг чи експлоіт?21:53-22:41 Люди, що заробляють на GPT-3 + StableDiffusion на Amazon22:42-26:23 Чи зможе геймерський ноут запустити ChatGPT? Згадуємо Jim Keller26:23-28:27 Що робити, якщо API запити до OpenAI задорогі? GPT3 вдома: EleutherAI/gpt-neo-1.3B / GPT2 / PaLM(на жаль, наче закритий, щось наплутали) / CTRL / BLOOM / OPT28:28-30:00 Відео про побудову GPT та сам проект nanoGPT від Andrej Karpathy30:01-32:30 Два слова про відмінність GPT і ChatGPT. Reinforcement learning with human feedback32:31-33:51 Outro Долучайтесь до наших соцмереж: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 0:01-1:09 intro1:10-3:26 gRPC очима senior JSON девелоперів. Які недоліки у класичної передачі даних за допомогою JSON’ів по REST’у?3:27-8:06 gRPC = HTTP/2 + ProtoBuf. Машинерія, що ув’язує всі ці речі між собою. Зрозуміла оф дока08:07-10:16 - плюс №1: перевикористання прото інтерфейсів різними командами10:17-10:54 - плюс №2: загальна швидкодія10:55-12:50 - плюс №3: експресивна комунікація можливих помилок12:51:15:51 - мінус №1: слідкування за схемою – це не завжди просто. Розповідаємо, як оновлювати схеми на CI і чому не вийде так просто переіменувати поле.15:52:16:35 - Чи допоможуть тут schema registry? Відкрите питання 😊16:36-19:19 - мінус №2: підвищена складність debug’у. Клієнти: grpcurl, класичний postman, insomnia. І мимохіть згадуємо чим Linux ліпший за Windows19:20-21:21 - (формальний) мінус №3: ваша схема не буде робити більшість валідацій, які ви очікуєте, будьте готові імплементувати їх самі21:22-23:36 - (пітонячий) мінус №4: генеровані класи по вашим прото читати ви не захочете, а IDE не обов’язково зможе підхопити і правильно підказувати. [Коли вже здогадаються pydantic туди додати?]23:37-24:03 - Міряємо перформанс за допомогою ghz24:04-27:34 - Балансування навантаження в k8s кластері27:35-29:31 - outro і місце для ваших коментарів Долучайтесь до наших соцмереж: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут (може) будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 0:00 - 0:45 Нове інтро + про цей "сезон" + про що цей випуск0:45 - 4:16 Сценарії деплою бази даних на вашому проекті, від "дешевших" до дорожчих4:16 - 5:38 Рух serverless і чому він дібрався і до баз даних. AWS Aurora як приклад5:38 - 7:12 Які проблеми селфхостед постгресу ви оминаєте з serverless базою. Чи потрібно всім знати тюнінг?7:12 - 9:30 Чи не стане вендорлок проблемою? Кубернетіс вже занадто дорого для бізнесу? Клауд рішення, що приносять value з першої хвилини запуску9:30 - 12:31 Serverless не лише про великі дані, до речі. Параметр бази, який всі вічно забувають апдейтити і чому це не проблема для CockroachDB. Ще трохи, і AWS здогадається тарифікувати бази як djuice у 2003ому12:31 - 15:07 Заплатив за cockroach, а як його в кластер запхати? А ніяк, платіть за Aurora. Слоупок коментарі про кубернетіс15:07 - 17:05 Нові можливості, які відкривають serverless бази. Болі time-series баз. Amazon Timestream17:05 - 20:14 Cloudflare і їх хмарні функції. А також їх D1 – серверлес сховище даних. Обіцяні посилання на проекти, базовані на sqlite: rqlite, duckdb20:14 - 21:40  Повертаємося до Aurora і її спільні риси з D1. Доповідь про Aurora як геній інженерної думки. І чому це поки що не безкоштовно21:40 - 22:50 Аутро Долучайтесь до наших соцмереж: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут будуть матюки 🔞 В гостях – Дмитро Ткаченко Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 0:00-0:30 Дисклеймер0:30-2:05 Книга з Амазона за 23 млн $. Про що цей епізод2:05-5:20 Динаміка E-commerce останніми роками5:20-11:36 E-commerce агрегатори: що це і як вони працюють?11:36-14:28 Як агрегатори обирають, які бізнеси придбати? Тех нічні виклики аналітики14:28-20:56 Як нам визначити, за якою ціною продавати наш продукт: базові економічні матерії20:56-23:22 Про що мовчить базова модель: зміни реального світу з часом та поведінкова економіка23:22-28:44 Як максимізувати прибуток? Відповідь зарита десь у еластичності попиту, але спочатку визначимо, що це таке. Еластичні і нееластичні товари28:44-32:24 Але як порахувати еластичність попиту? Чому просту теоретичну формулу не так-то і просто обрахувати на практиці?32:24-36:26 Отримуємо дані для обрахування еластичності: A/B тести і "натуральні" експерименти. Агрегація сигналів по товарам тієї ж категорії36:26-38:40 Знову про економічну теорію: що таке крос-еластичність38:40-48:17 Розчехляємо ML: чим корисні CV і NLP для цих задач? Моделюємо еластичність попиту. Лінійна регресія. Causal inference. Confounding factors48:17-1:00:20 Fixed effects model. Demeaning / log-трансформації. Як від коефіцієнтів моделі переходимо до еластичності попиту1:00:20-1:09:20 От порахували ми еластичність попиту, що далі? Визначення оптимальної ціни. І як для різних обставин ми маємо різні точки оптимальності1:09:20-1:10:00 Інтерлюдія про посилання, що можна знайти в нашому телеграмі1:10:00-1:22:08 Як визначати якість наших моделей? Хитрощі для проведення A/B тестів з цінами1:22:08-1:29:10 2х ступеневий підхід для кейсів, коли даних недостатньо, а вирахувати еластичність хочеться – R-learner підхід1:29:10-1:31:15 Аномальність історичних даних останніми роками1:31:15-1:34:20 Чому варто почитати оригінальні пейпери?1:34:20-1:36:47 Outro1:36:49-1:39:39 Post-credits: підручник дрозофіл за 23 млн $ Долучайтесь: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter - 0:00-1:15 Intro- 1:15-16:58 Copilot і сингулярність. Багато про восьминогів і жодного слова про октокотів. Ruby, Cucumber і Gherkin як ідеї, що опередили свій час. - 16:58-18:25 Питаємо у ChatGPT як вирішувати робочі задачі.- 18:25-20:20 Знову про Copilot і важливіть верифікації нагенерованого коду- 20:20-21:25 Tabnine і дуже короткий досвід з цією альтернативою Copilot- 21:25-23:30 Тренди дата інжиніринг року: SQL в кожен двір!- 23:30-28:17 Проходимося по тулах, щоб просто робити інжест, а там і до аналітики недалеко: domo, fivetran, airbyte. Чи стало легше будувати пайплайни?- 28:17-31:25 Опенсорсний dbt і секрет їх бізнес моделі- 31:25-39:00 2022 рік не став роком лінуксу на десктопах. Скарги на аудіо, зовнішні монітори і ранодмні баги. А ще і iOS туди ж.- 39:00-43:04 Листи в "Пізнайко": чому в світі більше одного Amazon сайту? І куди діваються рев'ю при перемиканні країни в апсторі?- 43:04-45:24 EKS > ECS. А також інші способи ранити код в клауді.- 45:24-47:28 Outro. Всіх з Новим Роком! Долучайтесь: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stasgavrylov

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter 00:00-01:43 Інтро.01:43-08:53 Пришвидшення Python з новим релізом. Зменшення кількості фреймів і інлайнінг деяких функцій.08:54-15:19 Ще про швидкодію. PEP 659 пришвидшення певних операцій над специфічними типами даних15:19-17:01 Марк Шенон і його план про пришвидшення Пайтону17:02-20:36 PEP 657 Більш дружні повідомлення про помилки20:36-27:05 PEP 654 ExceptionsGroup ака дерева помилок27:05-32:14 PEP 646 Варіадичні Дженерики32:14-35:48  PEP 655 необов’язкові поля у typing.TypedDict35:48-45:23 Тайпінги і асінкайко - це милиці? По-черзі бомбимо на пітон.45:23-46:43 PEP 673 - продовжуємо про тайпінги. Новий тип Self46:43-48:21 PEP 675. Arbitrary Literal String Type48:21-49:07 PEP 681. Data Class Transform49:07-52:43 PEP 680 стандартний парсер TOML52:43-56:04 Зміни в асінкайоу: таск групи і людьскі таймаути56:05-57:15 Нарешті дефолтовий Str + Enum = StrEnum57:17-58:22 Атомарні регексп групи58:22-1:00:14 Що подеприкейтили?1:00:14-1:01:48 Outro Долучайтесь: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stas_gee

🔞 Тут будуть матюки 🔞 Робочі посилання і коментарі в каналі https://t.me/midnight_chatter В гостях – Ярослав Ходаковський 00:00-02:04 Дисклеймер, “що в епізоді” та представлення нашого гостя Ярослава. Фазовий перехід від трьох людей до чотирьох у записі02:05-12:12  Основні “дійові особи” зі світу криптовалют:  консенсус, гаманець, транзакція, блок. Proof-of-Work і Proof-of-Stake. Паливо і ціна на нього12:12-15:06 Основні застосування крипти.  Decentralized Finance aka DeFi: (Market Makers aka MM, Order Books, Automated Market Makers aka AMM, похідні фінансові інструменти, позики і страхування). Decentralized Autonomous Organization aka DAO. NFT. Зберігання даних. Корпоративні/закриті блокчейни15:06-18:16 Наскільки децентралізовані “децентралізовані блокчейн системи”? Флешбечимо до епізоду №2018:16-18:52 Як ми обирали історії для випуску18:52-21:34 Хтось заплатив 2.6млн $ за переказ 130$21:34-24:18 Продаж Bored Ape NFT за 0.75 ефіра замість 75 ефіра через помилку у формі продажу24:18-25:30 Новий правопис і назва “Етер”25:30-29:30 Нульова адреса в блокчейні, яка має 11.5к ефірів. Коментарі до транзакцій на сайті etherscan. Аналогії з example.com29:30-32:43 Стандарт ERC20 токенів. Пост-мортем одного проекту, де замість віднімання токенів у словнику-лічильнику токенів, було присвоєння32:43-36:01 Конфлікт децентралізації і регуляризації. Адмін-адреси і замороження гаманців/транзакцій після ґаків чи по запиту представників правопорядку36:01-45:44 DAO hack. Із-за вразливості, 15% всього ефіру (тогочасного) були під загрозою крадіжки від зловмисника. Як результат, hard fork і розділ на Ethereum і Ethereum Classic45:44-48:30  Враховуючи попередню історію, наскільки це все “надійно” і коли стане ліпше. Єдине правильне використання крипти — донатити48:30-54:45 Parity Multisig. Неініціалізований бібліотечний контракт привів до заморозки  коштів на 500k ефірів на ~577 гаманцях54:45-56:50 Незмінюванність контрактів на ефірі. Паттерн з проксі-контрактами56:50-1:05:14 Ґаки в крипті. Ronin hack і крадіжка 625M$. Уроки з цього ґаку і рефлексія про стан розробки під блокчейн. Прохання від простих користувачів до ґакера поділитися награбованим1:05:14-1:10:48 Ґак Poly network на 610M$. Драматичний розвиток подій з поверненням грошей, Q&A сесією і винагородою для ґакера1:10:48-1:12:40 Етап ICO (Initial Coin Offering) у ефіра1:12:40-1:14:22 Prodeus як приклад поганого ICO. Обіцянки революціонізувати овочево-фруктову галузь і подальший “дефейс” сайту1:14:22-1:18:04 Мнемонічна фраза с туторіала в публічному доступі дає доступ до аккаунта, на який хтось перевів 10 ефірів(~40k$ на той час)1:18:04-1:24:35 Tornadocash - міксер на ефірі. Що таке міксер? Накладання санкцій американським казначейством на цей криптопроект, “відлучення” від популярних API1:24:35-1:28:20 Підбиваємо підсумки1:28:20-1:30:21 Outro Долучайтесь: https://t.me/midnight_chatterTwitter @O_BalachkyTikTok @o_balachky Музика: https://www.streambeats.com/ | @stas_gee