Python on Benedykt Huszcza | Blog

Praca inżynierska – Projekt tworzony wraz z OLX

Mon, 24 Feb 2025 12:00:00 +0000

Nasza praca inżynierska – Czy to przyszłość marketingu?

Projekt powstał w czteroosobowym zespole jako nasza praca inżynierska. Było to dla nas ogromne wyzwanie, ale jednocześnie niesamowita przygoda, która pozwoliła nam połączyć kreatywność z nowoczesną technologią.

Pisząc ten wpis, czuję dumę z tego, co udało nam się osiągnąć. Z drugiej strony – istnieją pewne ograniczenia, o których za chwilę opowiem. Zacznijmy jednak od tego, co udało nam się stworzyć i dlaczego jest to jedna z możliwych dróg rozwoju marketingu.

O co chodzi z tą pracą inżynierską?

Mówiąc krótko – wraz z OLX postawiliśmy stworzyć narzędzie, które pozwala firmom na szybkie i łatwe generowanie banerów reklamowych, bez potrzeby zatrudniania sztabu grafików. Wszystko dzięki wykorzystaniu algorytmów sztucznej inteligencji, które automatyzują proces projektowania.

Pomyślcie tylko – ile razy widzieliście powtarzalne, nudne reklamy, które przemijały bez echa? Albo ile firm rezygnuje z kampanii reklamowych z powodu braku budżetu na profesjonalnych grafików? Właśnie te problemy chcieliśmy rozwiązać, tworząc platformę do generowania banerów reklamowych.

Jak to działa?

Bez wchodzenia w zbyt techniczne szczegóły – system korzysta z rozwiązań generatywnego AI, aby w oparciu o preferencje użytkownika tworzyć unikatowe i estetyczne banery. Użytkownik może wybrać jeden z trzech dostępnych typów banerów, dodać swoje logo, ustalić dominujące kolory, a nawet wygenerować chwytliwy slogan. Cały proces trwa dosłownie kilka minut!

Dlaczego nie mogę zdradzić wszystkiego… jeszcze

No i dochodzimy do najciekawszej (i trochę frustrującej) części. Na tym etapie nie mogę zagłębiać się w szczegóły techniczne i pokazać dokładnie, jak działa cały system. Dlaczego? Ano dlatego, że nie wiadomo jeszcze, co stanie się z prawami autorskimi. Projekt wzbudził zainteresowanie i… nic więcej narazie nie mogę powiedzieć, bo wolę nie zapeszać.

Co dalej?

Nie jest to więc wpis bardzo szczegółowy, ale w przyszłości postaram się go rozszerzyć o techniczne detale. Chciałbym opowiedzieć o tym, jak udało nam się zintegrować AI z tak pozornie kreatywnym procesem jak projektowanie graficzne. Na razie muszę jednak uzbroić się w cierpliwość i poczekać, jak potoczą się sprawy z potencjalnym przejęciem projektu.

Jedno jest pewne – ta praca inżynierska była dla mnie wyzwaniem i jednocześnie dała przestrzeń do rozwoju i poznania nowych narzędzi. Niezależnie od tego, co przyniesie przyszłość, już teraz jestem dumny z tego, co udało nam się osiągnąć. A jeśli wszystko pójdzie po naszej myśli… to kto wie, może kiedyś zobaczycie efekty naszej pracy na bannerach OLX?

Vessel Extraction – Przetwarzanie Obrazów z Wykorzystaniem Pythona i OpenCV

Sun, 23 Feb 2025 18:00:00 +0000

Słowem wstępu

Projekt został stworzony jako ocena cząstkowa z przedmiotu informatyka w medycynie. Nie licząc hackathonu (swoją drogą, polecam wpis Macieja na temat tego wydarzenia), było to moje pierwsze poważniejsze zetknięcie z bibliotekami takimi jak PyTorch czy OpenCV.

Ponieważ zadanie okazało się dość wymagające, zmusiło mnie to do szerokiego researchu na temat różnych metod przetwarzania obrazów. Sprawdzałem dosłownie wszystko – od najprostszych filtrów po bardziej zaawansowane techniki computer vision. Dzięki temu poznałem podstawowe metody używane w tej dziedzinie, co znacznie poszerzyło moje horyzonty.

Nie będę ukrywał – momentami bywało ciężko, zwłaszcza gdy szumy na obrazach niweczyły godziny pracy nad kodem. Mimo to, wizja wykorzystania technologii do analizy obrazów medycznych była dla mnie ogromną inspiracją i napędzała mnie do działania. Czasami frustrowałem się, gdy coś nie działało zgodnie z oczekiwaniami, ale satysfakcja z działającego rozwiązania zdecydowanie wynagrodziła wszystkie trudy.

K-Nearest Neighbors (KNN) – Klasyfikacja naczyń krwionośnych

Czym jest K-Nearest Neighbors?

K-Nearest Neighbors (KNN) to jeden z najprostszych i najbardziej intuicyjnych algorytmów uczenia maszynowego. Jego działanie opiera się na założeniu, że podobne dane są blisko siebie w przestrzeni cech. W skrócie – jeśli chcesz wiedzieć, do jakiej klasy należy nowy punkt, sprawdź, do jakiej klasy należą jego najbliżsi sąsiedzi.

W przypadku projektu Vessel Extraction KNN został użyty do:

Klasyfikacji pikseli jako „naczynia krwionośne” lub „tło”,
Analizy sąsiedztwa pikseli, co pozwalało na bardziej precyzyjne rozróżnienie naczyń od szumów.

Undersampling – Jak poradziłem sobie z niezbalansowanymi danymi?

Jakie były wyzwania?

Nadmiar danych tła – Obszary bez naczyń krwionośnych (tło) dominowały na obrazach, co powodowało, że model uczył się głównie rozpoznawać tło, a nie naczynia.
Niedobór danych naczyń krwionośnych – Piksele należące do naczyń krwionośnych stanowiły mniej niż 10% wszystkich danych, co powodowało, że model bardzo szybko przeuczał się.

Jak sobie z tym poradziłem?

Postanowiłem zastosować undersampling – czyli celowe ograniczenie liczby danych tła, aby liczba pikseli naczyniowych i tła była bardziej zrównoważona. Brzmi prosto, ale wymagało to kilku przemyślanych kroków:

Wybór próbek tła:
- Nie wyrzucałem danych tła losowo, bo mogło to prowadzić do utraty ważnych informacji o kontekście obrazu.
- Skupiłem się na reprezentatywnych próbkach, czyli takich, które znajdowały się blisko naczyń krwionośnych. Dzięki temu model miał lepszy kontekst do nauki.
Redukcja liczby próbek tła:
- Ostatecznie zredukowałem liczbę próbek tła o około 70%, co sprawiło, że stosunek danych naczyniowych do tła był bardziej zrównoważony.
- Ważne było, żeby nie przesadzić – musiałem zostawić wystarczająco dużo tła, żeby model nie zaczął go mylić z naczyniami.
Zachowanie lokalnych wzorców:
- Dzięki zastosowaniu wycinków 3x3 pikseli model nie stracił lokalnych wzorców, co poprawiło dokładność (accuracy).

Jak działało KNN w tym projekcie?

Ekstrakcja cech:
- Każdy piksel został opisany za pomocą wartości jasności oraz wartości sąsiednich pikseli.
- Dzięki temu model miał więcej informacji o lokalnym kontekście.
Wybór liczby sąsiadów (k):
- Najważniejszym parametrem w KNN jest k – liczba najbliższych sąsiadów, których klasa będzie brana pod uwagę przy klasyfikacji.
- W projekcie przeprowadziłem walidację krzyżową, żeby znaleźć optymalną wartość k.
- Najlepsze wyniki osiągnąłem dla k = 5, co zapewniło równowagę między dokładnością a czułością.
Klasyfikacja:
- Dla każdego pikselu sprawdzane było, jakie klasy mają jego k najbliżsi sąsiedzi.
- Piksel zostawał przypisany do tej klasy, która miała najwięcej reprezentantów w sąsiedztwie.

Wyniki i efekty

Dokładność (accuracy): 89% – całkiem nieźle jak na prosty model bez głębokiego uczenia!
Czułość (recall): 85% – dobrze wykrywał naczynia krwionośne, ale czasami mylił je z cienkimi liniami tła.
Precyzja (precision): 91% – model dość skutecznie unikał fałszywych alarmów (błędnego oznaczania tła jako naczyń).

Wiem, że efekt na pierwszy rzut oka nie powala i można się zastanawiać, jakim cudem udało się uzyskać tak dobre “cyferki” (czyli dokładność). Ale tu właśnie tkwi mały szkopuł, czyli narzucone wymaganie.

Chciałbym zaznaczyć, że do uczenia modelu wykorzystałem wycinki o rozmiarze 3x3 pikseli, ponieważ na tak małych fragmentach model łatwiej wykrywa lokalne wzorce charakterystyczne dla naczyń krwionośnych.

Całkowity rozmiar obrazu to 512x512 pikseli, więc jeśli klasyfikator stwierdził, że dany wycinek to naczynie krwionośne, to te 9 pikseli (3x3) w rezultacie zostało w całości wypełnione na biało.

Zalety i wady KNN

Zalety:

Prostota implementacji – KNN jest bardzo intuicyjny i łatwy do zrozumienia.
Brak trenowania modelu – Cała „nauka” odbywa się w momencie klasyfikacji.

Wady:

Wolne działanie dla dużych zbiorów danych – Każda klasyfikacja wymaga obliczenia odległości do wszystkich punktów treningowych.
Czułość na nieistotne cechy – Wszystkie cechy mają taką samą wagę, co czasami może prowadzić do błędnych klasyfikacji.

FastAi – Głębokie uczenie dla klasyfikacji naczyń krwionośnych

Dlaczego FastAi?

Po przetestowaniu klasycznego KNN postanowiłem pójść krok dalej i zastosować FastAi – framework oparty na PyTorch, który jest świetny do szybkiego prototypowania modeli głębokiego uczenia. FastAi oferuje:

Łatwą integrację z gotowymi modelami (np. ResNet),
Prosty w użyciu interfejs API, który przyspiesza przygotowanie danych i trenowanie modeli,
Zaawansowane techniki optymalizacji (np. learning rate finder).

Jak działało FastAi w projekcie?

Przygotowanie danych:
- Obrazy zostały podzielone na mniejsze fragmenty (patches), aby modele mogły łatwiej nauczyć się wzorców.
- Użyłem FastAi DataBlock API do zarządzania danymi i ich etykietowania.
- Klasyfikacja odbywała się na dwóch poziomach:
  - Naczynia krwionośne,
  - Tło.
Model głębokiego uczenia:
- Wybrałem ResNet34 – lekki, ale wystarczająco mocny model do rozpoznawania naczyń.
- Skorzystałem z transfer learningu, żeby model uczył się na podstawie gotowych wag (ImageNet), co przyspieszyło trening.
- Fine-tuning na ostatnich warstwach pozwolił dostosować model do specyficznego zadania rozpoznawania naczyń krwionośnych.
Trenowanie i optymalizacja:
- Trenowałem model przy użyciu learning rate finder FastAi, co pomogło dobrać optymalny współczynnik uczenia.
- Augmentacja danych (rotacje, odbicia, zmiana jasności) pomogła zwiększyć różnorodność danych treningowych i poprawiła ogólną wydajność modelu.

Wyniki i efekty

Dokładność (accuracy): 92% – co jest wyraźną poprawą w porównaniu do KNN.
Czułość (recall): 90% – model świetnie radził sobie z rozpoznawaniem naczyń nawet w trudniejszych przypadkach.
Precyzja (precision): 94% – minimalna liczba fałszywych alarmów i bardzo precyzyjne wykrywanie naczyń.

Zalety i wady FastAi

Zalety:

Wysoka dokładność – Model głębokiego uczenia znacznie przewyższał KNN pod względem dokładności.
Możliwość fine-tuningu – Dzięki transfer learningowi i fine-tuningowi model szybko dostosował się do specyfiki obrazów medycznych.
Proste API – FastAi pozwala na szybkie eksperymentowanie z różnymi modelami i parametrami.

Wady:

Wysokie wymagania sprzętowe – Modele głębokiego uczenia wymagają mocnego GPU do efektywnego treningu, sam korzsytałem z Kaggle do fine tuningu.

Pierwszy krok w świecie uczenia maszynowego

Muszę przyznać, że to mój pierwszy indywidualny projekt związany z uczeniem maszynowym i computer vision. Poznałem w praktyce działanie KNN oraz FastAi, zrozumiałem, jak potężne są techniki przetwarzania obrazu i jak radzić sobie z problemem niezbalansowanych danych za pomocą undersamplingu. Satysfakcja z wyniku przetwarzania była ogromna, jednakże sam projekt uświadomił mi również, że jestem dopiero na początku drogi.

Pomimo wielu błędów i frustracji, poczułem prawdziwą zajawkę na uczenie maszynowe. Kombinowanie z danymi, testowanie modeli i optymalizacja algorytmów okazały się czymś, co naprawdę mnie kręci. Wiem, że przede mną jeszcze mnóstwo nauki – zaawansowane architektury sieci neuronowych, optymalizacja hiperparametrów, wydajność na GPU – ale jestem na to gotowy.

Jeśli chcesz zobaczyć kod źródłowy albo dowiedzieć się więcej, zajrzyj do repozytorium na GitHubie. Może ten projekt zainspiruje Cię do rozpoczęcia własnej przygody z AI?

SpeedDatingMatcher – Event Management z Django i Next.js

Sun, 23 Feb 2025 17:00:00 +0000

Skąd wziął się pomysł?

Pomysł na SpeedDatingMatcher zrodził się dzięki mojej siostrze Róży, która studiuje na Uniwersytecie Medycznym w Białymstoku. Co więcej, nie tylko studiuje – prowadzi również uczelniane pismo – Młody Medyk. Od dwóch lat jej organizacja studencka organizuje eventy speed datingowe. No i tutaj pojawił się problem – według relacji Róży nic nie okazuje się bardziej żmudne, okropne i jest bólem nie do zniesienia jak sprawdzenie preferencji kontaktu uczestników oraz wysyłanie do nich maili z informacją zwrotną. Jeśli dobrze pamiętam to podczas wypowiadania tych słów, uroniła nawet nie jedną, a dwie łzy, ale takie krokodyle nawyki nabyła już w dzieciństwie. Mimo wszystko jako brat-deweloper postanowiłem jej pomóc i wziąłem sprawy w swoje ręce.

Czym jest SpeedDatingMatcher?

SpeedDatingMatcher to system do zarządzania wydarzeniami speed datingowymi. Obsługuje rejestrację uczestników, dopasowywanie preferencji (kto chce się skontaktować z kim) oraz wysyłanie maili z kontaktami dzięki integracji z Brevo. Pierwsza wersja została wdrożona na Microsoft Azure, ale nie będę ukrywał – brak doświadczenia z SSR dał mi w kość. Skończyło się to większą frustracją, niż się spodziewałem, ale ostatecznie udało mi się aplikację uruchomić.

W tegorocznej edycji (2025) postanowiłem podejść do tematu bardziej rozsądnie – nie tylko ze względu na moje doświadczenie z Azure, a również to finansowe, bo pakiet edukacyjnych stu dolarów całkowicie wykorzystałem na poprzednią edycję. Finalnie postawiłem na VPS z wykorzystaniem Dockera i nginx. Miałem też do dyspozycji serwer AWS EC2 Free Tier, ale wiedziałem, że wkrótce będę potrzebował serwera do tego bloga, więc od razu zdecydowałem się na VPS.

Jak to działa?

Głównym celem aplikacji nie jest tylko wysyłanie maili, ale automatyczne dopasowywanie uczestników wydarzenia. Jak to działa? Jeśli uczestnik z numerem 3 chce skontaktować się z numerem 2 oraz 1, muszę sprawdzić, czy zarówno numer 2, jak i 1 również chcą kontaktu z numerem 3. Dopiero wtedy, gdy jest wzajemna chęć kontaktu, wysyłamy maila. Sytuację obrazuje poniższa grafika:

Aplikacja oferuje m.in.:

Zarządzanie wydarzeniami randkowymi – Kompleksowe zarządzanie uczestnikami i spotkaniami.
Walidacja emaili – Sprawdzanie poprawności podanych adresów email.
Integracja z Brevo – Automatyczne powiadomienia i przypomnienia dla uczestników.

Dzięki wykorzystaniu Django, mogę łatwo zarządzać użytkownikami i ich danymi.

Stack technologiczny

Django – Backend i zarządzanie bazą danych.
Next.js – Szybki frontend z renderowaniem po stronie serwera.
Brevo – Integracja do wysyłania e-maili.
BeautifulSoup4 – Dynamiczna modyfikacja szablonów HTML w mailach.
Microsoft Azure – Hosting aplikacji w chmurze (pierwsza wersja).
Docker – Konteneryzacja aplikacji.
Nginx – Reverse proxy na serwerze VPS.

Czego się nauczyłem i co dalej?

Szczerze mówiąc, był to pierwszy poważniejszy projekt, który zrealizowałem poza pracą. Gdybym powiedział, że planowanie architektury, dobór technologii oraz pisanie kodu nie sprawiło mi ogromnej frajdy, to bym skłamał. Ten projekt naprawdę rozbudził moją deweloperską pasję.

Mogłem przetestować swoje pomysły, a przy okazji nauczyć się dużo o SSR, Django i Azure. Nie było łatwo, ale każde wyzwanie było nową lekcją.

Projekt współtworzyłem z Maćkiem, co pozwoliło mi zdobyć cenne doświadczenie w zarządzaniu zadaniami, współpracy zespołowej oraz Code Review.

Chcesz dowiedzieć się więcej? Sprawdź repozytorium na GitHubie.