LC Waikiki Datathon 2019

Bu yazı 13.03.2019 tarihinde perakendeanalitigi.com adresinde yayınlanmıştır. Perakende Analitiği websitesi farklı bir misyonla yoluna devam edeceği için bu yazının burada tekrar hayat bulacağını umut ediyorum. Crawlers ekibinin bir üyesi olarak kaleme aldığım bu yazıyı keyifle okumanız dileğiyle.

8–11 Mart 2019 tarihleri arasında, Türkiye’de ilk defa bir perakende firması, kendi verisini kullanarak Datathon gerçekleştirdi. Cuma günü saat 15:00’da başlayan bu maraton, Pazar günü ödüllerin verilmesi ile son buldu. Perakende Analitiği ekibi olarak bizi yakından ilgilendiren bu zorlu, keyifli ve bir o kadar da öğretici olan Datathon hakkında, kısa bir yazıyı kaleme almak istedik.

Bu yazıda,

  1. Datathon nedir?
  2. LC Waikiki Datathon Süreci
  3. Program Hakkında Bilgi
  4. Jüri ve Danışmanlar
  5. Problemler hakkında bilgi
  6. Birinciliği kazanan Crawlers Takımı ile kısa bir röportaj 🙂

Kısaca LC Waikiki firmasını tanıyalım.

George Amouyal, 1988 yılında bir uçak yolculuğu yaparken, önünde bulunan koltuğun cebinde bulunan dergiyi incelerken gördüğü Waikiki Adası’ndan çok etkilenmişti. Waikiki Adası’nda herkes çok mutluydu. Kurmak üzere olduğu şirkete harika bir isim bulmuştu. 1988 yılında başlay… (LC Waikiki’nin hikayesini tabi ki bu şekilde anlatmayacağız. Eğer bu hikayenin devamını merak ediyorsanız, yorum bırakabilirsiniz. Ben de size bu hikayenin tamamını anlatırım)

Kurumsal bilgiye gelecek olursak:

LC Waikiki, 1988 yılında Fransa’da çıktığı marka yolculuğuna, 1997 yılından beri LC Waikiki Mağazacılık Hizmetleri Ticaret A.Ş. çatısı altında Türk markası olarak devam etmektedir. “İyi giyinmek herkesin hakkı” felsefesi ile bugün 45 ülkede 922 mağazada uygun fiyata kaliteli ürünler sunarak müşterilerine ulaşılabilir modanın keyfini yaşatmaktadır. LC Waikiki, 2009 yılında ilk adımını Romanya’da atarak başladığı yurt dışı yatırımları ile “2023 yılına kadar Avrupa’nın en başarılı üç moda perakendecisinden biri olmayı’’ hedeflemektedir.

45 ülkede 922 mağazada hizmet sunan LC Waikiki, genel merkezinde bu organizasyona ev sahipliği yaptı.

Öncelikle Datathon nedir ve Datathon ile Hackathon arasındaki fark nedir ondan bahsedelim.

Wikipedia’daki tanıma göre, “A Hackathon is a design sprint-like event in which computer programmers and others involved in software development, including graphic designers, interface designers, project managers, and others, often including domain experts, collaborate intensively on software projects.”

“Hackathon; bilgisayar programcılarının ve yazılım geliştirme sürecinde olan grafik tasarımcıları, ara yüz tasarımcıları, proje yöneticileri ve alanında uzman kişilerin dahil olduğu, genellikle bir yazılım projesi üzerinde çalışılan etkinliktir.

Datathon ise, Hackathon’da yapılan çalışmaların merkezinde veri olan versiyonudur. Bir yazılım projesi geliştirmek yerine, sunulan bir veri setinin amaca uygun olarak çözümlenmesi veya hedef değerlere en yakın sonuca ulaşmayı hedeflemektedir.

Şimdi kısaca bu etkinlik hakkında bilgi verelim.

Moda Perakendesinin öncü firması, bir Datathon düzenlerde katılım az olur mu? Tabi ki olmaz. 400 kişi başvurmuş.

Bu kadar çok başvuru olunca, bir ön eleme yapılmasına karar verilmiş. Etkinlikten 1 hafta önce, katılımcılara ufak bir problem yollandı. E-Ticaret müşterilerinin sitede kalma süreleri, açtıkları sayfalar, session sayıları, bounce rateleri, vs. gibi değerler ile alışveriş yapıp yapmadıkları verilmişti. Ekiplerden, bu verileri kullanılarak bir model kurmaları isteniyordu. Belirlenen zamanda bu modeli yollayanlar arasından, Datathon’a katılacak ekipler belirlendi.

Gelelim ana etkinliğimize.

Etkinlik ilk duyurusu yapıldığında 2 ana kategori verilmişti. Birincisi “Satışı Keşfet”, İkincisi ise “E-Ticareti Keşfet”. Bu iki kategoriyi görünce, dışarıdan biri olarak içeriği merak ettik. Acaba detayda ne sorulacak. Daha doğrusu bu iki güne sığdırılacak bir problem ne olacak diye. Ardından, etkinlik yaklaştıkça detaylar su yüzüne çıkmaya başladı. Ekiplerin 3 problemden birini seçmesi istendi.

  • Satış Tahmini
  • Churn Tahmini
  • Görüntü İşleme

Etkinlik başladığı ilk gün, şirket yetkilileri sahneye çıkarak, problemleri ve bu problemlerin çözümünden ne beklediklerini anlattılar. Sunumların sonunda, konularını seçen ekiplere veri setleri ve bu veri setlerinin açıklamaları verildi. Normalde Hackathonlarda, etkinlik boyunca aynı mekanda kalınır ve kimse eve gitmeden gece gündüz çalışılır. Hatta, uyku tulumlarında, belirlenen koltuk alanlarında uyunur. Fakat LC Waikiki’nin düzenlediği bu etkinlik, sadece gündüzleri yapıldı. Sabah ve akşamları katılımcılar servislerle ulaşımlarını sağladılar. Bunun tam olarak nedenini bilmesek de, katılımcı sayısının çok fazla olması, iş güvenliği, bilgi güvenliği (ISO 27001), sağlık vs. gibi nedenlerden biri olduğunu düşünüyoruz. Zaten yarışmayı kazanmak isteyen ekiplerin, eve gittiklerinde sabahlayıp yarışmayı kazanmak için ellerinden geleni yaptıklarını tahmin ediyoruz.

Problemlerin detaylarına geçmeden önce Ödülün ne olduğunu hatırlayalım. Birinciye tam 15.000TL, İkinciye 10.000TL, üçüncüye ise 5.000TL ödül verildi. Diğer etkinliklerle kıyaslandığında ödülün iyi olduğunu söyleyebiliriz.

Yazıyı buraya kadar okuduysanız, bu etkinlik hakkında övgüyle bahsettiğimizi anlamışsınızdır (biraz fazla mı övüyoruz). Bunun bir nedeni de, Jüri ve Danışmanların kalitesi. Hepsi birbirinden değerli ve sektörün önde gelen “iş insanları”. Jüri, Şampiyonlar Ligi gibi. Perakende denince akla gelen herkes orada. Jüride bulunan 4 kişiyi yakinen tanıyorum ve diğer kişileri de uzun zamandır takip ediyorum ve hepsi örnek aldığım kişiler.

Danışmanlar, her biri alanında uzman kişiler. Öğretim Üyeleri, farklı sektördeki profesyoneller, bu alana hayatını adamış eğitmenler, yazarlar ve tabi ki LC Waikiki çalışanları (Kalp).

Bu listede ismi olmayan fakat, katılımcılarla ayrı ayrı ilgilenen, Amazon (AWS), Google (Cloud) ve Microsoft (Azure) yetkililerine de buradan bir selam çakmamız lazım. Etkinliğin en başından sonuna kadar, ekiplerle ilgilenip destek verdiler.

Şimdi gelin, kısaca problemlerden bahsedelim.

Satış Tahmini

Satış Tahmini probleminden bahsetmeden önce Ürün Hiyerarşisi nedir onu kısaca anlatalım.

Bir perakende şirketinde, şirketi daha verimli yönetmek ve metrikleri doğru takip etmek için ürün, lokasyon, zaman hiyerarşilerine ihtiyaç duyulur. Bunun bir nedeni de, şirketteki personellerin konumlandırmasını doğru yapmaktır. Ürün hiyerarşisinde hem markalara hem cinsiyetlere hem de satın alma yapılan ürün cinsine göre şekillenmektedir.

LC Waikiki bu problemde, Mağaza-Gün-Class seviyesinde (Neee?) tahmin yapılmasını istemekteydi. Verdikleri train veri seti ile modeli geliştirip, test için hazırlanan veri setinde belirlenen metriklere göre modelin başarısı ölçülecekti.

Moda Perakendesinde tahmin üzerine uzun süre çalışmış biri olarak, problemin zor olduğunu söyleyebilirim. Zor olması aslında çok süper bir şey. Kolay bir şey olsaydı herkes çözerdi 🙂

Probleme zor dememin 2 nedeni var.

  1. Moda Perakendesini bilmeyen kişiler için hiyerarşiyi, değişkenleri, teknik terimleri yani veriyi anlamak çok kolay değil
  2. Veri çok büyük 🙂 Ekipler, model kurup train etmeye başlayınca bunu çok iyi anlamışlardır.

Churn Tahmini

Churn analizi ya da Tahminin de amaç, sizi terk edecek müşterilerin tespit edilmesidir. Eğer bu müşterileri öncede tespit ederseniz, onlar sizi terk etmeden önce aksiyon alıp sizden alışveriş yapmaya devam etmesini sağlayabilirsiniz.

Bu problemde de, Churn olacak müşterilerin tahmini ve Churn’e sebep olan etkenlerin ilişkilerinin ortaya çıkarılması beklenmekteydi.

Görüntü İşleme

Katılımcılara verilen ürün görsellerinden, ürünlerle ilgili özelliklerin (Cinsiyet, Renk, vs.) bulunması istenmekteydi. Bu sonuçlar gerçek verilerle karşılaştırılıp doğruluğa göre puanlanacaktı.

3 problemde birbirinden güzel ve zor. Fakat benim fikrimi soracak olursanız en zoru, Satış Tahmini problemi. Hem veri büyüklüğü, hem karmaşıklığı, hem de iş bilgisi gereksinimi nedeniyle zor olduğunu düşünüyorum. İkinci zor proje Görüntü İşleme. Verilen görüntülerin kalitesini ve boyut farklılıklarını bilmediğim için bunu söylüyorum. Eğer hepsi standart ise ve doğru kütüphanelerle çok da zor olmayabilir. Churn Tahmini ile ilgili literatürde bir çok çözüm bulunduğu için daha kolay yapılacağını düşünüyorum. Ama verinin kirli olma olasılığı ve samanlıkta iğne aramaya götüreceği için seçeceğim en son proje olurdu.

Şimdi bu yazının sürpriz kısmına gelelim. LC Waikiki Datathon’u kazanan ekip Crawlers oldu. Geçtiğimiz gün, bu harika ekiple röportaj yapma şansı buldum. Açıkçası uzun zamandır kendilerini tanıdığım için bu isteğimi kırmadılar ve sorularıma samimiyetle cevap verdiler. Gelin bu cevapları beraber okuyalım.

Crawlers ekibi üyeleri

Yavuz Selim Elmas — Borusan — Dijital Pazarlama Yöneticisi

Yasin Sancaktutan — TRT World — Veri Bilimci

Burak Suyunu — Boğaziçi Üniversitesi — Bilgisayar Mühendisliği Araştırma Görevlisi

Berk Baytar — TRT World — Yazılım Geliştirme Uzmanı

Mehmet Emin Öztürk — Afiniti — Veri Bilimci

Sabri: Kısaca Crawlers ekibini tanıtır mısınız?

Yasin: İlk ben cevap vermek istiyorum. Crawlers, birbiri ile vakit geçirmesini seven ve birlikte yaptığı her şeyden keyif alan genç bir ekip. Ben hepsi ile çalıştığım kurum dolayısıyla tanıştım, hatta üçümüz daha önce aynı ekipte bulunduk. (Ben, Mehmet Emin ve Burak)

Berk: Ekibimiz Yasin’in de belirttiği gibi aslında daha önceden beraber çalışmış kişilerden oluşuyor. Bu yüzde hepimiz birbirimizin yeteneklerini ve özelliklerini bildiğimiz için çok hızlı iş dağılımı yapabiliyoruz.

Mehmet Emin: Farklı bir deyişle, biz farklı yetkinlikleriyle birbirini tamamlayan 5 Data Sapiens’ten oluşuyor. Yavuz ekibin motivasyon kaynağı, Yasin tecrübeli bir data scientist, Berk rate limitlerin karşı koyamadığı bir crawler, Burak her konuya adapte olabilen joker bir developer ve veri bilimci, ben de kendini veri bilimi konusunda yetiştirmeye çalışan biriyim.

Burak: Biz vakti zamanında yolları TRT World’de kesişmiş, veri bilimine meraklı 5 kişiyiz. Birlikte vakit geçirmeyi seven kişiler olduğumuz için, farklı yollarda devam etsek bile görüşmeye devam ediyoruz. Her ay mutlaka bir öğlen yemeğini (lahmacun partisi) beraber yiyoruz ve sektörlerimiz hakkında konuşuyoruz.

Yavuz: Aslında bu bizim ekip olarak ilk hackathonumuz değil. Crawlers ekibi ile geçtiğimiz yıl Türk Hava Yolları Travel Hackathon’da 300 Takım arasından katilim hakki kazanan 30 takımdan birisi olduk, kendi sınıfımızda ise finale kalarak son 12 takımdan birisi olduk. Ayrıca Mercedes Benz Hackistanbul için yapılan 1000 başvuru arasından, shorlist edilen ekipler arasına girdik. Kişisel başarılardan ayrı ayrı bahsetsem tabi ki bu röportaj bitmez. Fakat Berk’in 2 adet Google Developers Challenge Ödülü , Mehmet Emin’in de geçtiğimiz yıllarda B/S/H’ın düzenlediği hackathonda birinciliği bulunuyor.

Sabri: Harika bir ekip. Açıkçası başarınızdaki en büyük etkenlerden biri sanırım birbirinizi tamamlamanız. Saf Veri Bilimciler yerine, hem data engineer, hem developer, hem veri bilimi hem de sunum ve pazarlama yeteneklerini birleştirmişsiniz. Birinciliğe şaşırmamak gerekir. Datathon’da 3 ayrı problem vardı. Satış Tahmini, E-Ticaret Churn ve Görüntü İşleme. Siz hangi problemi seçtiniz ve neden?

Yasin: Aslında başvuru esnasında Churn Analizi problemini seçmiştik. Hackathon günü Satış Tahmini projesinin hem önemi hem de problem tanımının iş sahipleri tarafından daha iyi yapılmasından dolayı konu değişikliğine gittik. LC Waikiki gibi senede yüz milyonlarca ürün satan bir perakende şirketinin süreçlerine ufak bir etkimizin bile onlar için çok şey ifade edeceğini düşündük. Ayrıca Satış Tahmini, görünürde çözülmesi en zor problem olduğu için burada yapacağımız iyi bir modelin bizi sadece bu kategoride değil, tüm yarışmada birinci yapacağını fark ettik. Bu sebeplerden dolayı konumuzu bu şekilde belirledik.

Burak: Bu problemi seçmemizin temel olarak iki sebebi vardı aslında. İlk olarak verinin kendisi ve zenginliği heyecan vericiydi. Üzerinde denenebilecek bir çok şey vardı. İkinci olarak ise satış tahmini problemi diğer problemlerden daha zor gözükse de sektör için daha değerli olduğunu düşündük.

Yavuz: LC Waikiki’nin 2017 yılı cirosu 12.2 Milyar TL, 2018 yılı rakamları açıklanmadı diye biliyorum ama hedeflerinin 16.2 Milyar TL olduğunu, bunun da yüzde 33 bandında bir büyümeye tekabül ettiğini görüyoruz. Bu ölçekte ve bu büyüme hızında LC Waikiki için en çok değer satış tahmini alanında yürütebileceğimizi düşündük, bundan dolayı satış tahmini konusunu seçtik, ve iyi ki de seçmişiz gerek LCW satış planlama ekibinin mentorlugu gerek bu alanda tecrübeli endüstri liderlerinden aldığımız öngörüleri, kurduğumuz modelle harmanlayınca çok güzel ve tatmin edici sonuçlar ortaya çıktı.

Mehmet: Ve satış tahminine odaklandık, çünkü aldığımız izlenimlere göre en zor ve aynı zamanda kıymetli problem satıştı. Churn probleminde kendimizi öne çıkaracak pek bir derinlik olmadığını düşündük. Görüntü işleme alanında da çok tecrübemiz yoktu. Bu sebeple zoru seçtik.

Berk: Bu konunun önemini anlamaya ek olarak, veri kalitesi ve derinliği olarak diğerlerinden çok daha üstündü. Hem temiz hem de büyük bir veri bulunuyordu. Bizim için gerçek bir meydan okumaydı.

Sabri: açıkçası ben de olsam, bu problemi seçerdim. Fakat Satış tahmini bu problemler arasında en zoruydu. Problem ile ilgili yaşadığınız zorlukları ve nasıl aştığınızı kısaca anlatabilir misiniz?

Yasin: Öncelikle perakende hakkında çok fazla bilgiye sahip değildik. Verideki öznitelikleri tam olarak anlamak için hem verilen doküman üzerinde kendimiz çalıştık hem de konu hakkında sektörün en iyisi olan mentorumuzdan (Adı bizde saklı 🙂 ) destek aldık. İkinci sıkıntımız ise verinin büyüklüğü ile ilgiliydi. 93 milyon satırlı bir veriyi her ne kadar elinizde bulut altyapısında çalışan çok güçlü makineler olsa bile bazı darboğaz sıkıntıları nedeniyle işlemeniz çok zorlaşıyor. Modelimiz çok yavaş çalışıyordu, iterasyon yapmamız da güçleşiyordu. Bulut sağlayıcımızın bize sağladığı neredeyse sınırsız kaynaklar sayesinde bir kaç çok güçlü makinede farklı modeller eğiterek bu problemin üstesinden geldik.

Burak: Sanırım en büyük zorluk bizim için zaman oldu. Veriyi ilk defa cuma günü Datathon’da gördüğümüzde hem verinin büyüklüğü hem de verinin zenginliği karşısında şaşırmadık desek yalan olur. Vaktimizin büyük kısmını bu veriden çıkarılabilecek ekstra özelliklere ayırdık ve veriye bir çok yeni bakış açısı getirdik. Her ne kadar ekibimiz ne yaptığını bilen insanlardan oluşsa da Yasin’in dediği gibi verinin çok büyük olması sebebiyle (Eğitim: 90M+ Test: 30M+ satır) işlemlerin yapılması uzun vakit alıyordu. Tam bu sırada Amazon’un bize sağladığı neredeyse sınırsız bulut bilişim desteği ilaç gibi geldi. Bunu tekrar tekrar söylüyoruz çünkü Amazon hızır gibi yetişti. Süre dolduğunda hala daha aklımızda modele yetiştiremediğimiz, ekleyemediğimiz özellikler kalmış olduysa da; verilen süre içerisinde en doğruya yakın özellikleri ve modelleri seçerek başarıya ulaştığımızı düşünüyorum.

Mehmet Emin: Ben biraz teknik detay vereyim. Burada teknik detay anlatmamız problem olmaz herhalde.

Sabri: Olursa kazandığınız paradan keseriz:)

Mehmet Emin: 🙂 Öncelikle büyük hacimde bir veri paylaşıldığı için 380 GB’lık belleğe 96 core işlemciye sahip makinelerde dahi sık sık bellek hatası aldık. Bu nedenle de aklımıza gelen birçok fikri uygulamakta zorlandık. Bunu aşmak için günlük seviyede tahminlerden önce veriyi haftalık seviyeye indirgeyip çok daha fazla değişken üreterek model kurma şansı bulduk. Bu şekilde aldığımız haftalık sonuçlarla günlük tahmin modelimizi besledik. Bu yaklaşım validasyon RMSE skorumuzda %20 iyileşme sağladı.

Bunun yanında günlük tahmin modelimizi daha da iyileştirmek özel günlerle alakalı çok anlamlı bir değişken ürettik. Bayramlar ve Anneler günü gibi özel günleri binary değişkenlerle temsil etmek yerine bu özel günlere kalan gün sayılarını hesapladık. Çünkü çoğunlukla özel günlerimize o gün değil öncesinde hazırlık yapıyoruz. Aldığımız geri bildirimlere göre bu değişken LC Waikiki’de şimdiye kadar hiç kullanılmamış.

Meteorolojinin satışla korelasyon içerisinde olduğunu bildiğimiz için ani hava değişimlerini hesaba katmak adına günlük sıcaklık farklarını da modelimize dahil ettik.

Ayrıca Mağaza ve Class gibi birçok sayısal görünümlü kategorik değere de ayrı ayrı odaklanarak kendi karakterlerine göre Target Encoding, Dummification, Label Encoding gibi farklı yöntemler uygulayarak modelimize ekledik.

Berk: En büyük problemimiz memory hatalarıydı bize verilen dataset büyüktü ve train etmesi çok uzun sürüyordu. Tercih ettiğimiz cloud provider Aws Cloud’du bize 500$ kredi verilmişti bir süre kadar küçük serverlar ile çalıştık son gün ise en büyüklerine geçtik ve ciddi anlamda rakiplerimize train süresinde fark attığımızı düşünüyorum.

Yavuz: Verilen datanın büyüklüğü model kuran arkadaşlarımızı özellikle zorladı, ama gerek AWS desteği gerekse sabırla 😎 bunu bir şekilde aştık diyebilirim. Teşekkürler AWS 🙂

Sabri: Son olarak eklemek istediğiniz bir şey var mı?

Berk: Bu tarz yarışmaların artması gerektiğini düşünüyorum. LC Waikiki çok iyi hazırlanmıştı ve verilen datasetler çok açıklayıcıydı. Bizden sadece probleme odaklanmamız beklenmişti. Emeği geçen herkese teşekkür ederim.

Yasin: Program her açıdan çok başarılıydı. Mentorlar bizlerle sürekli ilgilendiler, sorularımızı cevapladılar. Problemler ve veri setleri de çok ilgi çekiciydi. Ülkemizde mevcut hackathonların yanında bu şekilde veri yoğunluklu datathonların da olmasını çok isteriz. Buradan emeği geçen herkese ve sizlere de teşekkür ederiz.

Yavuz: LC Waikiki Datathon bizim için çok güzel bir tecrübeydi, düzenleyen ekibi ayrı ayrı tebrik etmek lazım. Veri konusunda uzman arkadaşlarımın aktardığına göre paylaştıkları veriler son derece temizdi. Görebildiğimiz kadarıyla sadece böyle bir etkinlik yapmak için yapılmış değildi, ben özellikle bizimle birebir ilgilenen IT’den sorumlu Genel Müdür Yardımcısı Şerafettin Özer’e çok teşekkür etmek istiyorum. Ayrıca pazar günü aksam saatinde 1.lik ödülünü LC Waikiki CEO’sundan almak da üst yönetim düzeyinde bu tarz etkinliklere ne derece önem verildiğinin ayrıca göstergesi .

Mehmet Emin: LC Waikiki’ye yeterince teşekkür edildi. Ben ekibimize teşekkür etmek istiyorum. Bu muhteşem ekibin bir parçası olarak böyle bir başarı elde ettiğimiz için çok mutluyum. Bu etkinlik aldığımız neticenin yanında önce ömür boyu unutmayacağımız güzel bir anı olarak kalacak zihinlerimizde.

Burak: LC Waikiki ve ekibe teşekkür edildiğine göre, ben de ekibimizin abisine teşekkür etmek istiyorum. Başta ne kadar ekibimiz 5 kişiden oluşuyordu dediysem de; arka planda bizi mentörlüğüyle ve bilgisiyle aydınalatan; veriyi farklı şekillerde görmemizi sağlayan Sabri Suyunu’ya (evet kendisi abim oluyor) teşekkür etmeden olmazdı 🙂

Sabri: Ben hepinize ayrı ayrı teşekkür ederim. Hepinizi tekrar tebrik ederim. Gerçekten harika insanlarsınız. Bu röportaj vesilesi ile LC Waikiki’yi de böyle güzel bir organizasyonu düzenledikleri için tebrik ediyorum. Ellerinize sağlık

Son söz olarak, gerçekten kaliteli bir etkinlikti. Özetleyecek olursak,

  • Kaliteli Problemler
  • Kaliteli Jüri ve Danışmanlar
  • Kaliteli altyapı sağlayıcıları ve Teknik Destek
  • Kaliteli mekan
  • CEO’sundan uzmanına kadar sahiplenilmiş bir organizasyon

Bu organizasyonun sonucunda hem LC Waikiki, hem yarışmacılar, hem de servis sağlayıcılar kazandı. Organizasyonu düzenleyen ve ekiplerle yakından ilgilenen Şerafettin Özer Bey ile Ahmet Kalafat’a ve tüm Datathon ekibine tebriklerimi iletiyorum. Perakende sektörüne ve diğer sektörlere örnek olması temennisi ile.

Datahon Websitesi: http://datathon.lcwaikiki.com/

LC Waikiki Analytics Ekibinin yayınladığı medium yazısı: https://medium.com/lcw-analytics/bir-datathonun-anatomisi-lc-waikiki-datathon-2019-a55606117bcb

Boğaziçi Üniversitesi Haberler: https://haberler.boun.edu.tr/tr/haber/verinin-sihirbazlari-datathon-da-buyuk-odulu-aldi

Boğaziçi Üniversitesi MIS Haberler: http://www.mis.boun.edu.tr/new/bolumumuz-ogrencilerinden-yavuz-selim-elmasin-takimi-lc-waikiki-datathonda-birinci-oldu

Ne İş Yapıyorum – Big Data ve Machine Learning – Bölüm 1

Not: Yazıya klasik kendi iç konuşmalarımı yazma niyetiyle başladım. Ardından TRT World’de ne iş yaptığımı anlatayım dedim. Sonra onu anlatmak için Big Data’nın ne olduğunu anlatmam gerektiğini fark ettim. Fakat bunu anlatmak için perakende bilgimi kullanmanın faydalı olacağını düşündüm (Nedenini okuyunca anlayacaksınız) Sonra Machine Learning derken yazı uzadı da uzadı. Hatta TRT World’de yapmak istediğimiz işlere global örnekler vermeye çalışırken yazı bitmek bilmedi. Bu sebeple yazıyı üçe bölmeye karar verdim. Yazının tamamı bittiği için 5-6 gün arayla yazı yayınlanacak ve bitecektir. Okuduğunuz için teşekkür ederim. Tekrar yazmak çok güzel. Günde 1 saat yazmak iyi gelir, herkese tavsiye ederim.

-Ooooo Müdür naber? Hiç görüşemiyoruz.
-Ben artık müdür değilim bu birincisi. Görüşemiyorsak, bu çift taraflı bir problem değil mi sence de?
-Haydaa, ben mi seni müdürlükten aldım. Neden kızıyorsun ki? Hala 4 saat yollarda sürünüyor musun?
-Hee senin haberin yok mu? Ben iş değiştirdim, yeni çalıştığım yer Ortaköy’de. Akşam 6’da eve oluyorum.
-Vay vay vay. Öyle iş mi var ya. Bize de iş bulsana oradan.
-Yok abi bulamam ben sana iş.
-Neresi orası?
TRT World.
-TRT mi? Ne yapıyorsun ki abi sen orada? Sen perakendeci değil miydin? Hayır yani ne alaka?
-Uzun hikaye…
-Gerçi iyi olmuş, perakendeye hep parakende diyordun.
-…
-Anlat anlat, vaktim var benim. Eski Parakande Analitiği Müdürü 😀
-…….

9 sene. Dile kolay. Perakendede dirsek çürütülmüş 9 sene. TRT World’de çalıştığımı söylediğimde aynı tepkiyi veren sizler, haksız değilsiniz? “Neden böyle saçma bir şey yapmış” diye içinizden geçirdiğinizi biliyorum. “O kadar senelik emeğini bir kenara atmış” dediğinizi de biliyorum. “En verimli olacağı zamanda bu sektör bırakılır mı?” diye beni düşündüğünüzü de biliyorum. Ama durun bir dinleyin söyleyeceklerim var.

Anlatmaya nereden başlasam. LC Waikiki’deki son 1 sene başlangıç için iyi olacak. 2014-2017 yılları arasında bir çok üniversiteye konuşmacı olarak gittim. İki amacımız vardı, birincisi yaptığımız işi anlatıyorduk ikincisi ise çalıştığımız şirketin bize bu imkanı verdiğinden bahsediyorduk. Anlattığımız konular, Optimizasyon (Matematiksel Modelleme), Simülasyon, Otomatik Sevkiyat Sistemleri, İş Zekası, İş Analitiği, Big Data, Veri Madenciliği, Machine Learning gibi konulardı. Saydığım konuların çoğunu çalıştığım şirketlerde yapıyorduk. Fakat konu Big Data ve Machine Learning’e geldiğinde, ne yazık ki sadece konuşuyordum. Çok güzel anlatıyordum ama yaptığım elle tutulur bir örnek yoktu. İşin garibi, iş dışında da bu konularla ilgili bir gelişme kaydedemiyordum. (Silikon Vadisine ve NRF’e gitmeseydim bunlar olmayacaktı)

Acaba ML ve BD uygulaması yapmamış olmam, uygulama alanı olmadığı için olabilir mi? Hadi bunu sorgulayalım.

Perakende sektöründe Big Data var mıdır?
Bugüne kadar hep data ile uğraştım. Akşam yattım data, gece rüyamda data, sabah kalktım data, gün boyu data, data, data (20 defa arka arkaya data deyince traktör sesi çıkıyor 🙂 )
Uğraştığım data hep yapılandırılmıştı. Daha doğrusu ben yapılandırılmış data üzerinden analizlerimi yapıyordum. Satış, Stok, Mağaza, Müşteri gibi datalardı. Ne, Nerede, Ne kadar gibi soruların cevabı netti ve tekti.

Kısa bir bilgi vermek gerekirse, yapılandırılmış veriler incelenirken dimension (boyut) ve measure (ölçüm) ile incelenir. Perakendedeki verilerin boyutlarına bakacak olursak,

  • Lokasyon (Ülke, Şehir, Mağaza, vs.)
  • Zaman (Yıl, Hafta, Ay, Gün, Saat, vs.)
  • Ürün (Kategori, Buyer Grup, Klasman, vs.)
  • Müşteri (Müşteri No, İsim, Adres, Telefon, vs.)
  • Plasiyer – Satış Danışmanı (İsim, Yaş, Çalıştığı sene, vs.)

Ölçümlere bakacak olursak,

  • Satış
  • Stok
  • Fiyat
  • Vs.

Bu boyutlar ve ölçümler kullanılara, çeşitli hesaplanmış alanlar oluşturulabilir ve farklı boyutlarda farklı analizler yapılabilir.

Peki, bu büyük veri midir? Elimizde bu verilerden milyonlarca olsa büyük veri mi olur? Peki ya milyarlarca olsa? Şimdi literatürde büyük veri ne demek kısaca ona bakalım.

İlk tanım: Big Data, zamanla elde edilen, yapılandırılmış ya da yapılandırılmamış, yani henüz geleneksel yöntem veya araçlarla işlenerek kullanılabilir hale getirilmemiş verilerdir.
İkinci tanım: Büyük veri, tek bir sunucuya sığmayacak ölçüde büyük, yapılandırılmamış veya statik bir veri ambarına sığmayacak şekilde sürekli akan veriler için kullanılır.
2012 yılında dünyada 2,8 zetabayt’dan daha fazla veri tutulmuş. Bu verilerin sadece %0,5’i analiz edilmiştir. Bunun en büyük nedeni, bu verinin satır sütun formatında olmamasıdır.(2,8 trilyon gigabyte) Bu veri boyutunun exponential arttığı düşünülürse 2016 yılında kaç olduğunu hadi siz tahmin edin 😛

Big Data ile ilgili en az bir konferansa katıldıysanız aşağıdaki tanım size hiç yabancı gelmeyecektir.

Big Data 5V’den oluşur:
Volume: Verinin büyüklüğü artıyor ve büyük veriyi bir yere yazmak lazım
Velocity: Verinin elde edilme hızı artıyor. Veri çok hızlı büyüyor. Hızlı okumak hızlı yazmak lazım.
Variety: Elde edilen verinin %80’i yapısal değil. Her kaynağın verisi farklı formatta.
Value: Verinin üretilmesi ve işlenmesi sonucunda ortaya çıkan değer.
Veracity: Hakikat! Doğruluk! Elde edilen verinin içindeki gerçek anlamı ve hakikatı ortaya çıkarmak. (Örneğin Twitter gibi bir mecrada yazılmış 140 karakterli bir yazıdan anlamlı bir şey çıkarmak olarak yorumlanabilir)

Şimdi düşünelim, elimizdeki milyarlarca data big data mıdır? (Bu analizler geleneksel perakendeciler için yazılmıştır. Zaten yazının ilerleyen yerlerinde geleneksel perakende, big data ve machine learning birleşiminden bahsedeceğim.)

Volume: Verimiz hızla artıyor fakat tek bir veriambarında bu veriyi tutabiliyoruz. X
Velocity: Verinin elde edilme hızı, mağaza sayısı ile doğru orantılıdır. Bu sebeple mağaza sayısının artmadığı durumlarda hızı da artmaz. X
Variety: Elde edilen veri yapısal veridir. Satış stok bunlar yapısal veriler. X
Value: Analizler ve çeşitli teknikler değerin kralını üretir. Otomatik sistemler, karar destek sistemleri çıkar. V
Veracity: Bu terim sonradan çıkarıldı. Hala bende oturmayan yerler var. Rakamları anlama dönüştürebilmek olarak alırsak, bunu da dahil etmeliyiz. V

Sonuç olarak 2/5 büyük veri olmadığını görüyoruz. Peki perakendede büyük veri nedir? (İki saattir ne değildir diye anlatıp duruyorsun be adam, zaman kazanmayı bırak da anlat bize)
2015 yılında Big Data nedir diye internet üzerinde ararken hep aynı şeyler karşıma çıkıyordu. Aradığım tanımı bulamıyordum. LC Waikiki vasıtasıyla Boğaziçi Üniversitesi’nde bir etkinliğe juri olarak katıldım. Sunum yapan çocuklardan bir tanesinin konusu, makinelerin bakım zamanlarının tahminini big data yardımı ile yapılmasıydı. İlk cümlesi şuydu:

Big Data nedir? Big Data, şu ana kadar ölçmediğiniz veridir.

Dediğinden hiç bir şey anlamadım. Sonra aklıma şu özlü söz geldi.
Ölçtüysen senindir, ölçmediysen hiç senin olmamıştır.
Evet evet! Anlıyordum, aydınlanıyordum! Evreka Evreka diyerek bağırmaya başladım. Sanırım bağırmak yerine horlamışım ve yanımdaki adam beni dürterek uyandırdı. Utanarak sunumu dinlemeye devam ettim.

Ölçmek ya da ölçmemek! İşte bütün mesele bu.

Perkanedeyi oluşturan her bir öğenin içinde bir big data kırıntısı bulunabilir.
Lojistik: Araç takip sistemleri ve araç sensörleri ile oluşan veri. (Araç güzergah bilgileri, aracın hızı, aracın kalma durma süreleri, araç iç sıcaklık, vs.)
Depo: RFID, beacon gibi teknolojiler ile, depo içerisinde her bir ürünün hareketinin tespit edilmesi.
Mağaza: In-Store Analytics dediğimiz, mağaza içindeki müşterilerin hareketlerinin takip edilmesi, sıcaklık ölçen kameralar ile mağaza içi heatmapler, mağaza shiftlerinin daha iyi oluşturulması için personellerin giriş çıkışlarının otomatik yapılması, RFID ile ürünlerin mağaza içindeki hareketler
Merchandising: Sosyal Medyadaki trendlerin takip edilmesi
CRM: Müşterilerin ihtiyaçlarının tespiti, kişiye özel süpriz çözümler

Evet çok kısa kısa ve biraz da altını boş bıraktığımın farkındayım. Fakat sadece Sosyal Medya ile ilgili big data kavramını 4-5 sayfada anlatabilirim. Onun yerine yazının ilerleyen kısmında kısa bir hikaye anlatacağım. Perkande, Big Data ve Machine Learning ile ilgili bu güzel hikayede, olayları daha iyi kafanızda canlandırabileceksiniz. (Şimdilik bir virgül koyuyoruz)

Perakende sektöründe Machine Learning uygulaması var mıdır?
Öğrenme, bireyin yaşantılar sonucu davranışlarda meydana gelen oldukça uzun süreli değişmelerdir. En yalın tanımla Bilebilme ve Yapabilme eylemidir. Yapay Zeka, Bir bilgisayarın veya bilgisayar kontrolündeki bir robotun çeşitli faaliyetleri zeki canlılara benzer şekilde yerine getirme kabiliyetine denir. Yapay Zeka’nın alt bir dalı olan Makine Öğrenmesi (Machine Learning) ise, bilgisayarın “öğrenme” işlemini sağlayacak algoritma ve tekniklerin gelişimi ile ilgili bir çalışma alanıdır. ML, geçmiş deneyimleri veya örnek verileri kullanarak daha iyi sonuçlar üretmek üzere gerçekleştirilmiş bilgisayar yazılımları oluşturma tekniğidir. ML tekniklerine bir kaç örnek verecek olsak, Kredi Taleplerini Değerlendirme, Yüz tanıma sistemleri, Spam Mail belirleme, IBM Watsons, vs.

Şimdi perakende sektöründeki ML uygulamalarını düşünelim. İlk aklıma gelen, CRM ile ilgili konular.

  1. Recommendation Engine : Türkçe’de bilinen adıyla “Bunu alan bunu da aldı” sistemi. Recommendation Engine ile ilgili bir konu olduğunda, Amazon örnek olarak verilir.
  2. Customer Churn : Müşterinizin sizi terk edip etmeyeceğini öngörerek buna göre aksiyon almanıza yardımcı olur.
  3. Market-Basket Analysis : Sepet analizi yaparak, en çok birlikte satan ürünleri tespit ederek, bu ürünleri paket (bundle) şeklinde satmanıza yardımcı olabilir.
  4. Cluster Analysis : Müşteri, ürün ya da mağazalarınızı gruplayarak, karar mekanizmalarını güçlendirebileceğiniz bir yöntem. Örneğin, müşterileri LTV ve Karlılığa göre gruplayarak onları isimlendirebilir ve kampanyaları gruplara özel çıkabilirsiniz.
  5. Müşterilerin stillerinin belirlenmesi : Bu cluster analizin içine dahil edilebilse de, yaptığı alışverişe göre, hangi renkleri, hangi kıyafet tarzlarını, ürün bilgisi ile birleştirip, birinci maddedeki öneri sistemlerinde kullanılabilir. Eğer elinizde ürün bilgisi yok ise, opencv gibi teknikler kullanarak, ürünün resminden bu bilgiyi çıkarabilirsiniz.
    CRM dışında örneklere bakacak olursak
  6. Kombinli Satışın Plasiyer etkisi : Kombinli olarak satılan ürünlerde, plasiyer (satış danışmanı) etkisinin olup olmadığının tespit edilmesi
  7. Başarılı Plasiyer Sistemi : Bağımsız değişkenlerin, plasiyer başarısına etkisinin olup olmadığının tespit edilerek, yeni eleman alımlarında bunun göz önünde bulundurulması
  8. Ürün başarı nedenleri : Satılan ürünün başarısının, bileşenleri ile analizi ve yeni ürün geliştirmede kullanılması (a.k.a. Besim)
  9. Yeni mağaza açma : Yeni açılacak mağazanın yerinin, nüfus, gelir seviyesi, aynı caddede bulunan diğer mağazalar gibi bağımsız değişkenlerle tespit edilmesi
  10. Çalışan Terketme 😛 : Çalışanlarınızın istifa edeceğini önceden tespit etmek. Bu mümkün mü evet mümkün ama bence çok zor ve riskli bir uygulama 🙂
  11. Çocuklar büyüyor : Çocuklar için alışveriş yapan müşterilerin, veri ile çocuklarının büyümesinin tespit edilip, önerilerde bu verinin kullanılması.
  12. Biten ürün : Raf ömrü belli olan ürünlerde, müşterinin ürünü bittiğinde kendisine o ürünü (uygun fiyatla) önerilmesi.

Hem Big Data hem de Machine Learning ile ilgili ayrı ayrı bilgi edindik. Şimdi geldi bunları Perakende ocağında pişirip birleştirmeye. Fakat yazımızın ilk bölümü burada bitiyor. Bir sonraki bölümde Pelin the Planner ile ilgili bir hikaye ile BD ve ML uygulamalarından bahsedeceğiz. İkinci yazı önümüzdeki hafta bugünlerde yayınlanır diye düşünüyorum. Görüşmek üzere.

Aydınlık Günlere Merhaba – Aydınlı Grup

Bildiğiniz üzere 30 Haziran 2015 tarihinde LC Waikiki firmasından ayrıldım. O gün benim için unutulmayacak bir gün olarak tarihe geçti. Hem 8 senelik bir serüvenin son bulması hem de sevdiğim insanlardan ayrılmam hem de hiç beklemediğim bir veda töreni ile uğurlanmam. Veda törenini şimdi bile düşününce gözlerim yaşarıyor. Veda töreni ile ilgili belgeler elime ulaşınca ayrı bir yazı yazacağım.

LC Waikiki’den ayrıldıktan sonra profesyonel hayata 1 ay süre ile ara verdim. Eşim Zehra ve oğlum Ahmet Kerem ile daha fazla vakit geçirme şansı buldum. Okumak istediğim kitapları okumaya çalıştım Ahmet Kerem izin verdiği kadarıyla 🙂 Gezmeye çalıştık Ahmet Kerem izin verdiği kadarıyla 🙂 vesaire vesaire. Varsın izin vermesin. Eşim ve oğlum sağlıklı olsun da ben daha az okuyayım daha az gezeyim.

1 aylık aradan sonra tekrar profesyonel çalışma hayatına geri döndüm. 27 Temmuz 2015 tarihinde Aydınlı Grup bünyesinde Perakende Analitiği Müdürü olarak göreve başladım. Aşağıda Cemil Bey tarafından kaleme alınan departmanımı ve beni tanıtan şirket içi duyuruyu bulabilirsiniz.

Merhaba Arkadaşlar,

Hızlı olduğu kadar, hızla değişen sektörümüz bizi de bu değişikliklere hızlı bir şekilde adapte olmayı zorunlu kılmakta. Daha dün çok kanallı yapılara geçmişken bugün omnichannel den bahsediyoruz. Henüz bankamız tarafından ilk doğum günümüzü kutlayan mesajı unutmamış iken bugün posta kutumuza düşen e-maillerin içeriğinin bize özel olmasını ister olduk. Delikli kartuşlarla program yapanlar henüz emekli olmamış iken, cep telefonlarına uygulama geliştiriyor olduk ve bunu müthiş bir ekosistem içerisinde dünyanın neresinde olursak olalım rahatlıkla paylaşabilir olduk. İnternetten alışveriş yapmayı çok çabuk öğrendik, artık mobilden, internetten yapacağımız alışverişte yaşadığımız deneyim bize özel değil ise burun kıvırmaya başladık. Alışveriş yaptığımız sitenin bize önerdiği ürünlerin tamda aradığımız, ihtiyacımız olan ürünler olmasını bekler olduk. Daha veri nedir, analiz nedir yeni yeni çözmeye başlamış iken, öte yandan “geçen bu ürünü satın almıştım, neden şimdi bu ürünle ilgili reklam gösteriyor bana” tarzından eleştiriler yapar olduk. Dünyanın öbür ucundan bir ürünü bir tıkla alır olduk ve bu ürünün iki gün geç gelmesini “falan site üç saat sonra teslimat yapıyor” cümlesi ile eleştirir olduk. Bu faslı uzatmayıp burada virgül koysam eminim ki sizler bir bu kadar daha ilave ederek bu hızlı değişimi gözler önüne sermeye devam edebilirsiniz.

Baş döndüren bu değişikliğe ayak uydurabilmek adına yaptığımız istişareler neticesinde şirketimizde Perakende Analitiği Departmanı kurulmasına karar verilmiştir. Perakende Analitiği Departmanımız sistematik ve bilimsel bir yaklaşımla verinin bilgiye dönüşme sürecinde rol alacaktır.

Veri derken;

  • Ürünlerimizin, tasarım aşamasından satış ve sonrasına kadar tüm aşamalarda bıraktığı her iz,
  • Müşterilerimizin mağazalarda, e-ticaret sitelerimizde, sosyal medyada bizimle yaşadığı her deneyim,
  • Hava sıcaklığı, trafik durumu, özel zamanlar… vb. dışsal, anlam ifade edebilecek her olay

Bilgi derken;

  • Müşterilerimizin her gün yaşadığı binlerce deneyim arasında anlamamızı beklediği her sır,
  • Süreçlerimiz ile ilgili Neden ve Nasıl sorularının, veri yığınları içerisinde saklı her cevabı,
  • Operasyonlarımızı yürütürken günün yoğunluk ve telaşı içerisinde kaybettiğimiz her verim,
  • Doğru ürünü, doğru zamanda, doğru yerde, doğru miktarda bulunduramadığımızda kaybettiğimiz her fırsat

Yeni departmanımız, Merchandise Planlama, Ürün Yönetimi, Lojistik, CRM, E-Ticaret, Mağaza Operasyon, Sistem Geliştirme ve IT ekiplerimiz ile koordineli bir şekilde çalışarak bilimsel metotlar ışığında verinin bilgiye dönüşümünü gerçekleştiriyor olacak. Bunu yaparken bazen belki bir dashboard üretiyor olacaklar, bazen kimselerin görmediği fakat bir dizi sistemde kullanılan bazı metrikleri hesap edip saklıyor olacaklar, bazen bir problemin optimizasyon modelini kurguluyor olacaklar. Bazen tonlarca veri içerisinden anlamlı paternleri bulmak için istatistiki metotlar içerisinde kayboluyor olacaklar. Bazen kullandığımız bir ekranın akıllandırılması için arka tarafta bir algoritma geliştiriyor olacaklar.

Yeni departmanımızın sorumluluğunu paylaşmak üzere sektörümüzün Perakende Analitiği alanında tanınan isimlerinden Sabri SUYUNU Bey Perakende Analitiği Müdürü unvanı ile aramıza katılmıştır. Fatih Üniversitesi Endüstri Mühendisliğinden mezun olan Sabri Bey, yaklaşık 5 yıllık İş Analitiği Uzmanlığı ve 3 yıllık İş Analitiği Müdürü deneyimi ile sektörümüze geliştirdiği algoritmalar, metotlar, optimizasyon yaklaşımları ile değer katmakta ve katmaya devam etmektedir.

Sabri Bey’e aramıza hoş geldiniz derken, yeni yapılanmanın hem şirketimiz hem Sabri Bey için hayırlı olmasını temenni ederim.

Cemil Yıldız
Merkezi Planlama Direktörü

Aydınlı Grup’u bir kelime ile anlatacak olsam “Aile” derdim. Üç kelime ile anlatacak olsam “Huzurlu bir Aile” Ben Aydınlı’da henüz bir hafta geçirdim. Bu bir haftada çalışanların yüzüne yansıyan mutluluk ve huzur duygusu beni çok etkiledi. Daha önce de söylediğim gibi. Eğer huzurlu bir çalışma ortamınız varsa mutlu olursunuz, mutlu olursanız daha verimli olursunuz, daha verimli olunca otomatik olarak daha fazla para kazanmaya başlarsınız. Ben şu anda Huzurluyum ve Mutluyum. Allah bozmasın inşallah.

Aydınlı’da çalışmanın diğer bir güzel yanı ise, seneler sonra Cemil Bey ve Osman Bey ile tekrar çalışma fırsatını yakalamak oldu. Cemil Bey ve Osman Bey kim mi? İşe Nasıl Girdim? LC Waikiki Maceram benim ilk işe alımımda masada bulunan 3 kişiden İkisi 🙂

Bundan sonra Aydınlı Grup’un başarısı için elimden geleni yapacağım. İnşallah muvaffak oluruz ve hem Türkiye’de hem Dünya’da ilk defa yapılan ve başarıyla söz edilen projelere imza atarız.