LC Waikiki Datathon 2019

Bu yazı 13.03.2019 tarihinde perakendeanalitigi.com adresinde yayınlanmıştır. Perakende Analitiği websitesi farklı bir misyonla yoluna devam edeceği için bu yazının burada tekrar hayat bulacağını umut ediyorum. Crawlers ekibinin bir üyesi olarak kaleme aldığım bu yazıyı keyifle okumanız dileğiyle.

8–11 Mart 2019 tarihleri arasında, Türkiye’de ilk defa bir perakende firması, kendi verisini kullanarak Datathon gerçekleştirdi. Cuma günü saat 15:00’da başlayan bu maraton, Pazar günü ödüllerin verilmesi ile son buldu. Perakende Analitiği ekibi olarak bizi yakından ilgilendiren bu zorlu, keyifli ve bir o kadar da öğretici olan Datathon hakkında, kısa bir yazıyı kaleme almak istedik.

Bu yazıda,

  1. Datathon nedir?
  2. LC Waikiki Datathon Süreci
  3. Program Hakkında Bilgi
  4. Jüri ve Danışmanlar
  5. Problemler hakkında bilgi
  6. Birinciliği kazanan Crawlers Takımı ile kısa bir röportaj 🙂

Kısaca LC Waikiki firmasını tanıyalım.

George Amouyal, 1988 yılında bir uçak yolculuğu yaparken, önünde bulunan koltuğun cebinde bulunan dergiyi incelerken gördüğü Waikiki Adası’ndan çok etkilenmişti. Waikiki Adası’nda herkes çok mutluydu. Kurmak üzere olduğu şirkete harika bir isim bulmuştu. 1988 yılında başlay… (LC Waikiki’nin hikayesini tabi ki bu şekilde anlatmayacağız. Eğer bu hikayenin devamını merak ediyorsanız, yorum bırakabilirsiniz. Ben de size bu hikayenin tamamını anlatırım)

Kurumsal bilgiye gelecek olursak:

LC Waikiki, 1988 yılında Fransa’da çıktığı marka yolculuğuna, 1997 yılından beri LC Waikiki Mağazacılık Hizmetleri Ticaret A.Ş. çatısı altında Türk markası olarak devam etmektedir. “İyi giyinmek herkesin hakkı” felsefesi ile bugün 45 ülkede 922 mağazada uygun fiyata kaliteli ürünler sunarak müşterilerine ulaşılabilir modanın keyfini yaşatmaktadır. LC Waikiki, 2009 yılında ilk adımını Romanya’da atarak başladığı yurt dışı yatırımları ile “2023 yılına kadar Avrupa’nın en başarılı üç moda perakendecisinden biri olmayı’’ hedeflemektedir.

45 ülkede 922 mağazada hizmet sunan LC Waikiki, genel merkezinde bu organizasyona ev sahipliği yaptı.

Öncelikle Datathon nedir ve Datathon ile Hackathon arasındaki fark nedir ondan bahsedelim.

Wikipedia’daki tanıma göre, “A Hackathon is a design sprint-like event in which computer programmers and others involved in software development, including graphic designers, interface designers, project managers, and others, often including domain experts, collaborate intensively on software projects.”

“Hackathon; bilgisayar programcılarının ve yazılım geliştirme sürecinde olan grafik tasarımcıları, ara yüz tasarımcıları, proje yöneticileri ve alanında uzman kişilerin dahil olduğu, genellikle bir yazılım projesi üzerinde çalışılan etkinliktir.

Datathon ise, Hackathon’da yapılan çalışmaların merkezinde veri olan versiyonudur. Bir yazılım projesi geliştirmek yerine, sunulan bir veri setinin amaca uygun olarak çözümlenmesi veya hedef değerlere en yakın sonuca ulaşmayı hedeflemektedir.

Şimdi kısaca bu etkinlik hakkında bilgi verelim.

Moda Perakendesinin öncü firması, bir Datathon düzenlerde katılım az olur mu? Tabi ki olmaz. 400 kişi başvurmuş.

Bu kadar çok başvuru olunca, bir ön eleme yapılmasına karar verilmiş. Etkinlikten 1 hafta önce, katılımcılara ufak bir problem yollandı. E-Ticaret müşterilerinin sitede kalma süreleri, açtıkları sayfalar, session sayıları, bounce rateleri, vs. gibi değerler ile alışveriş yapıp yapmadıkları verilmişti. Ekiplerden, bu verileri kullanılarak bir model kurmaları isteniyordu. Belirlenen zamanda bu modeli yollayanlar arasından, Datathon’a katılacak ekipler belirlendi.

Gelelim ana etkinliğimize.

Etkinlik ilk duyurusu yapıldığında 2 ana kategori verilmişti. Birincisi “Satışı Keşfet”, İkincisi ise “E-Ticareti Keşfet”. Bu iki kategoriyi görünce, dışarıdan biri olarak içeriği merak ettik. Acaba detayda ne sorulacak. Daha doğrusu bu iki güne sığdırılacak bir problem ne olacak diye. Ardından, etkinlik yaklaştıkça detaylar su yüzüne çıkmaya başladı. Ekiplerin 3 problemden birini seçmesi istendi.

  • Satış Tahmini
  • Churn Tahmini
  • Görüntü İşleme

Etkinlik başladığı ilk gün, şirket yetkilileri sahneye çıkarak, problemleri ve bu problemlerin çözümünden ne beklediklerini anlattılar. Sunumların sonunda, konularını seçen ekiplere veri setleri ve bu veri setlerinin açıklamaları verildi. Normalde Hackathonlarda, etkinlik boyunca aynı mekanda kalınır ve kimse eve gitmeden gece gündüz çalışılır. Hatta, uyku tulumlarında, belirlenen koltuk alanlarında uyunur. Fakat LC Waikiki’nin düzenlediği bu etkinlik, sadece gündüzleri yapıldı. Sabah ve akşamları katılımcılar servislerle ulaşımlarını sağladılar. Bunun tam olarak nedenini bilmesek de, katılımcı sayısının çok fazla olması, iş güvenliği, bilgi güvenliği (ISO 27001), sağlık vs. gibi nedenlerden biri olduğunu düşünüyoruz. Zaten yarışmayı kazanmak isteyen ekiplerin, eve gittiklerinde sabahlayıp yarışmayı kazanmak için ellerinden geleni yaptıklarını tahmin ediyoruz.

Problemlerin detaylarına geçmeden önce Ödülün ne olduğunu hatırlayalım. Birinciye tam 15.000TL, İkinciye 10.000TL, üçüncüye ise 5.000TL ödül verildi. Diğer etkinliklerle kıyaslandığında ödülün iyi olduğunu söyleyebiliriz.

Yazıyı buraya kadar okuduysanız, bu etkinlik hakkında övgüyle bahsettiğimizi anlamışsınızdır (biraz fazla mı övüyoruz). Bunun bir nedeni de, Jüri ve Danışmanların kalitesi. Hepsi birbirinden değerli ve sektörün önde gelen “iş insanları”. Jüri, Şampiyonlar Ligi gibi. Perakende denince akla gelen herkes orada. Jüride bulunan 4 kişiyi yakinen tanıyorum ve diğer kişileri de uzun zamandır takip ediyorum ve hepsi örnek aldığım kişiler.

Danışmanlar, her biri alanında uzman kişiler. Öğretim Üyeleri, farklı sektördeki profesyoneller, bu alana hayatını adamış eğitmenler, yazarlar ve tabi ki LC Waikiki çalışanları (Kalp).

Bu listede ismi olmayan fakat, katılımcılarla ayrı ayrı ilgilenen, Amazon (AWS), Google (Cloud) ve Microsoft (Azure) yetkililerine de buradan bir selam çakmamız lazım. Etkinliğin en başından sonuna kadar, ekiplerle ilgilenip destek verdiler.

Şimdi gelin, kısaca problemlerden bahsedelim.

Satış Tahmini

Satış Tahmini probleminden bahsetmeden önce Ürün Hiyerarşisi nedir onu kısaca anlatalım.

Bir perakende şirketinde, şirketi daha verimli yönetmek ve metrikleri doğru takip etmek için ürün, lokasyon, zaman hiyerarşilerine ihtiyaç duyulur. Bunun bir nedeni de, şirketteki personellerin konumlandırmasını doğru yapmaktır. Ürün hiyerarşisinde hem markalara hem cinsiyetlere hem de satın alma yapılan ürün cinsine göre şekillenmektedir.

LC Waikiki bu problemde, Mağaza-Gün-Class seviyesinde (Neee?) tahmin yapılmasını istemekteydi. Verdikleri train veri seti ile modeli geliştirip, test için hazırlanan veri setinde belirlenen metriklere göre modelin başarısı ölçülecekti.

Moda Perakendesinde tahmin üzerine uzun süre çalışmış biri olarak, problemin zor olduğunu söyleyebilirim. Zor olması aslında çok süper bir şey. Kolay bir şey olsaydı herkes çözerdi 🙂

Probleme zor dememin 2 nedeni var.

  1. Moda Perakendesini bilmeyen kişiler için hiyerarşiyi, değişkenleri, teknik terimleri yani veriyi anlamak çok kolay değil
  2. Veri çok büyük 🙂 Ekipler, model kurup train etmeye başlayınca bunu çok iyi anlamışlardır.

Churn Tahmini

Churn analizi ya da Tahminin de amaç, sizi terk edecek müşterilerin tespit edilmesidir. Eğer bu müşterileri öncede tespit ederseniz, onlar sizi terk etmeden önce aksiyon alıp sizden alışveriş yapmaya devam etmesini sağlayabilirsiniz.

Bu problemde de, Churn olacak müşterilerin tahmini ve Churn’e sebep olan etkenlerin ilişkilerinin ortaya çıkarılması beklenmekteydi.

Görüntü İşleme

Katılımcılara verilen ürün görsellerinden, ürünlerle ilgili özelliklerin (Cinsiyet, Renk, vs.) bulunması istenmekteydi. Bu sonuçlar gerçek verilerle karşılaştırılıp doğruluğa göre puanlanacaktı.

3 problemde birbirinden güzel ve zor. Fakat benim fikrimi soracak olursanız en zoru, Satış Tahmini problemi. Hem veri büyüklüğü, hem karmaşıklığı, hem de iş bilgisi gereksinimi nedeniyle zor olduğunu düşünüyorum. İkinci zor proje Görüntü İşleme. Verilen görüntülerin kalitesini ve boyut farklılıklarını bilmediğim için bunu söylüyorum. Eğer hepsi standart ise ve doğru kütüphanelerle çok da zor olmayabilir. Churn Tahmini ile ilgili literatürde bir çok çözüm bulunduğu için daha kolay yapılacağını düşünüyorum. Ama verinin kirli olma olasılığı ve samanlıkta iğne aramaya götüreceği için seçeceğim en son proje olurdu.

Şimdi bu yazının sürpriz kısmına gelelim. LC Waikiki Datathon’u kazanan ekip Crawlers oldu. Geçtiğimiz gün, bu harika ekiple röportaj yapma şansı buldum. Açıkçası uzun zamandır kendilerini tanıdığım için bu isteğimi kırmadılar ve sorularıma samimiyetle cevap verdiler. Gelin bu cevapları beraber okuyalım.

Crawlers ekibi üyeleri

Yavuz Selim Elmas — Borusan — Dijital Pazarlama Yöneticisi

Yasin Sancaktutan — TRT World — Veri Bilimci

Burak Suyunu — Boğaziçi Üniversitesi — Bilgisayar Mühendisliği Araştırma Görevlisi

Berk Baytar — TRT World — Yazılım Geliştirme Uzmanı

Mehmet Emin Öztürk — Afiniti — Veri Bilimci

Sabri: Kısaca Crawlers ekibini tanıtır mısınız?

Yasin: İlk ben cevap vermek istiyorum. Crawlers, birbiri ile vakit geçirmesini seven ve birlikte yaptığı her şeyden keyif alan genç bir ekip. Ben hepsi ile çalıştığım kurum dolayısıyla tanıştım, hatta üçümüz daha önce aynı ekipte bulunduk. (Ben, Mehmet Emin ve Burak)

Berk: Ekibimiz Yasin’in de belirttiği gibi aslında daha önceden beraber çalışmış kişilerden oluşuyor. Bu yüzde hepimiz birbirimizin yeteneklerini ve özelliklerini bildiğimiz için çok hızlı iş dağılımı yapabiliyoruz.

Mehmet Emin: Farklı bir deyişle, biz farklı yetkinlikleriyle birbirini tamamlayan 5 Data Sapiens’ten oluşuyor. Yavuz ekibin motivasyon kaynağı, Yasin tecrübeli bir data scientist, Berk rate limitlerin karşı koyamadığı bir crawler, Burak her konuya adapte olabilen joker bir developer ve veri bilimci, ben de kendini veri bilimi konusunda yetiştirmeye çalışan biriyim.

Burak: Biz vakti zamanında yolları TRT World’de kesişmiş, veri bilimine meraklı 5 kişiyiz. Birlikte vakit geçirmeyi seven kişiler olduğumuz için, farklı yollarda devam etsek bile görüşmeye devam ediyoruz. Her ay mutlaka bir öğlen yemeğini (lahmacun partisi) beraber yiyoruz ve sektörlerimiz hakkında konuşuyoruz.

Yavuz: Aslında bu bizim ekip olarak ilk hackathonumuz değil. Crawlers ekibi ile geçtiğimiz yıl Türk Hava Yolları Travel Hackathon’da 300 Takım arasından katilim hakki kazanan 30 takımdan birisi olduk, kendi sınıfımızda ise finale kalarak son 12 takımdan birisi olduk. Ayrıca Mercedes Benz Hackistanbul için yapılan 1000 başvuru arasından, shorlist edilen ekipler arasına girdik. Kişisel başarılardan ayrı ayrı bahsetsem tabi ki bu röportaj bitmez. Fakat Berk’in 2 adet Google Developers Challenge Ödülü , Mehmet Emin’in de geçtiğimiz yıllarda B/S/H’ın düzenlediği hackathonda birinciliği bulunuyor.

Sabri: Harika bir ekip. Açıkçası başarınızdaki en büyük etkenlerden biri sanırım birbirinizi tamamlamanız. Saf Veri Bilimciler yerine, hem data engineer, hem developer, hem veri bilimi hem de sunum ve pazarlama yeteneklerini birleştirmişsiniz. Birinciliğe şaşırmamak gerekir. Datathon’da 3 ayrı problem vardı. Satış Tahmini, E-Ticaret Churn ve Görüntü İşleme. Siz hangi problemi seçtiniz ve neden?

Yasin: Aslında başvuru esnasında Churn Analizi problemini seçmiştik. Hackathon günü Satış Tahmini projesinin hem önemi hem de problem tanımının iş sahipleri tarafından daha iyi yapılmasından dolayı konu değişikliğine gittik. LC Waikiki gibi senede yüz milyonlarca ürün satan bir perakende şirketinin süreçlerine ufak bir etkimizin bile onlar için çok şey ifade edeceğini düşündük. Ayrıca Satış Tahmini, görünürde çözülmesi en zor problem olduğu için burada yapacağımız iyi bir modelin bizi sadece bu kategoride değil, tüm yarışmada birinci yapacağını fark ettik. Bu sebeplerden dolayı konumuzu bu şekilde belirledik.

Burak: Bu problemi seçmemizin temel olarak iki sebebi vardı aslında. İlk olarak verinin kendisi ve zenginliği heyecan vericiydi. Üzerinde denenebilecek bir çok şey vardı. İkinci olarak ise satış tahmini problemi diğer problemlerden daha zor gözükse de sektör için daha değerli olduğunu düşündük.

Yavuz: LC Waikiki’nin 2017 yılı cirosu 12.2 Milyar TL, 2018 yılı rakamları açıklanmadı diye biliyorum ama hedeflerinin 16.2 Milyar TL olduğunu, bunun da yüzde 33 bandında bir büyümeye tekabül ettiğini görüyoruz. Bu ölçekte ve bu büyüme hızında LC Waikiki için en çok değer satış tahmini alanında yürütebileceğimizi düşündük, bundan dolayı satış tahmini konusunu seçtik, ve iyi ki de seçmişiz gerek LCW satış planlama ekibinin mentorlugu gerek bu alanda tecrübeli endüstri liderlerinden aldığımız öngörüleri, kurduğumuz modelle harmanlayınca çok güzel ve tatmin edici sonuçlar ortaya çıktı.

Mehmet: Ve satış tahminine odaklandık, çünkü aldığımız izlenimlere göre en zor ve aynı zamanda kıymetli problem satıştı. Churn probleminde kendimizi öne çıkaracak pek bir derinlik olmadığını düşündük. Görüntü işleme alanında da çok tecrübemiz yoktu. Bu sebeple zoru seçtik.

Berk: Bu konunun önemini anlamaya ek olarak, veri kalitesi ve derinliği olarak diğerlerinden çok daha üstündü. Hem temiz hem de büyük bir veri bulunuyordu. Bizim için gerçek bir meydan okumaydı.

Sabri: açıkçası ben de olsam, bu problemi seçerdim. Fakat Satış tahmini bu problemler arasında en zoruydu. Problem ile ilgili yaşadığınız zorlukları ve nasıl aştığınızı kısaca anlatabilir misiniz?

Yasin: Öncelikle perakende hakkında çok fazla bilgiye sahip değildik. Verideki öznitelikleri tam olarak anlamak için hem verilen doküman üzerinde kendimiz çalıştık hem de konu hakkında sektörün en iyisi olan mentorumuzdan (Adı bizde saklı 🙂 ) destek aldık. İkinci sıkıntımız ise verinin büyüklüğü ile ilgiliydi. 93 milyon satırlı bir veriyi her ne kadar elinizde bulut altyapısında çalışan çok güçlü makineler olsa bile bazı darboğaz sıkıntıları nedeniyle işlemeniz çok zorlaşıyor. Modelimiz çok yavaş çalışıyordu, iterasyon yapmamız da güçleşiyordu. Bulut sağlayıcımızın bize sağladığı neredeyse sınırsız kaynaklar sayesinde bir kaç çok güçlü makinede farklı modeller eğiterek bu problemin üstesinden geldik.

Burak: Sanırım en büyük zorluk bizim için zaman oldu. Veriyi ilk defa cuma günü Datathon’da gördüğümüzde hem verinin büyüklüğü hem de verinin zenginliği karşısında şaşırmadık desek yalan olur. Vaktimizin büyük kısmını bu veriden çıkarılabilecek ekstra özelliklere ayırdık ve veriye bir çok yeni bakış açısı getirdik. Her ne kadar ekibimiz ne yaptığını bilen insanlardan oluşsa da Yasin’in dediği gibi verinin çok büyük olması sebebiyle (Eğitim: 90M+ Test: 30M+ satır) işlemlerin yapılması uzun vakit alıyordu. Tam bu sırada Amazon’un bize sağladığı neredeyse sınırsız bulut bilişim desteği ilaç gibi geldi. Bunu tekrar tekrar söylüyoruz çünkü Amazon hızır gibi yetişti. Süre dolduğunda hala daha aklımızda modele yetiştiremediğimiz, ekleyemediğimiz özellikler kalmış olduysa da; verilen süre içerisinde en doğruya yakın özellikleri ve modelleri seçerek başarıya ulaştığımızı düşünüyorum.

Mehmet Emin: Ben biraz teknik detay vereyim. Burada teknik detay anlatmamız problem olmaz herhalde.

Sabri: Olursa kazandığınız paradan keseriz:)

Mehmet Emin: 🙂 Öncelikle büyük hacimde bir veri paylaşıldığı için 380 GB’lık belleğe 96 core işlemciye sahip makinelerde dahi sık sık bellek hatası aldık. Bu nedenle de aklımıza gelen birçok fikri uygulamakta zorlandık. Bunu aşmak için günlük seviyede tahminlerden önce veriyi haftalık seviyeye indirgeyip çok daha fazla değişken üreterek model kurma şansı bulduk. Bu şekilde aldığımız haftalık sonuçlarla günlük tahmin modelimizi besledik. Bu yaklaşım validasyon RMSE skorumuzda %20 iyileşme sağladı.

Bunun yanında günlük tahmin modelimizi daha da iyileştirmek özel günlerle alakalı çok anlamlı bir değişken ürettik. Bayramlar ve Anneler günü gibi özel günleri binary değişkenlerle temsil etmek yerine bu özel günlere kalan gün sayılarını hesapladık. Çünkü çoğunlukla özel günlerimize o gün değil öncesinde hazırlık yapıyoruz. Aldığımız geri bildirimlere göre bu değişken LC Waikiki’de şimdiye kadar hiç kullanılmamış.

Meteorolojinin satışla korelasyon içerisinde olduğunu bildiğimiz için ani hava değişimlerini hesaba katmak adına günlük sıcaklık farklarını da modelimize dahil ettik.

Ayrıca Mağaza ve Class gibi birçok sayısal görünümlü kategorik değere de ayrı ayrı odaklanarak kendi karakterlerine göre Target Encoding, Dummification, Label Encoding gibi farklı yöntemler uygulayarak modelimize ekledik.

Berk: En büyük problemimiz memory hatalarıydı bize verilen dataset büyüktü ve train etmesi çok uzun sürüyordu. Tercih ettiğimiz cloud provider Aws Cloud’du bize 500$ kredi verilmişti bir süre kadar küçük serverlar ile çalıştık son gün ise en büyüklerine geçtik ve ciddi anlamda rakiplerimize train süresinde fark attığımızı düşünüyorum.

Yavuz: Verilen datanın büyüklüğü model kuran arkadaşlarımızı özellikle zorladı, ama gerek AWS desteği gerekse sabırla 😎 bunu bir şekilde aştık diyebilirim. Teşekkürler AWS 🙂

Sabri: Son olarak eklemek istediğiniz bir şey var mı?

Berk: Bu tarz yarışmaların artması gerektiğini düşünüyorum. LC Waikiki çok iyi hazırlanmıştı ve verilen datasetler çok açıklayıcıydı. Bizden sadece probleme odaklanmamız beklenmişti. Emeği geçen herkese teşekkür ederim.

Yasin: Program her açıdan çok başarılıydı. Mentorlar bizlerle sürekli ilgilendiler, sorularımızı cevapladılar. Problemler ve veri setleri de çok ilgi çekiciydi. Ülkemizde mevcut hackathonların yanında bu şekilde veri yoğunluklu datathonların da olmasını çok isteriz. Buradan emeği geçen herkese ve sizlere de teşekkür ederiz.

Yavuz: LC Waikiki Datathon bizim için çok güzel bir tecrübeydi, düzenleyen ekibi ayrı ayrı tebrik etmek lazım. Veri konusunda uzman arkadaşlarımın aktardığına göre paylaştıkları veriler son derece temizdi. Görebildiğimiz kadarıyla sadece böyle bir etkinlik yapmak için yapılmış değildi, ben özellikle bizimle birebir ilgilenen IT’den sorumlu Genel Müdür Yardımcısı Şerafettin Özer’e çok teşekkür etmek istiyorum. Ayrıca pazar günü aksam saatinde 1.lik ödülünü LC Waikiki CEO’sundan almak da üst yönetim düzeyinde bu tarz etkinliklere ne derece önem verildiğinin ayrıca göstergesi .

Mehmet Emin: LC Waikiki’ye yeterince teşekkür edildi. Ben ekibimize teşekkür etmek istiyorum. Bu muhteşem ekibin bir parçası olarak böyle bir başarı elde ettiğimiz için çok mutluyum. Bu etkinlik aldığımız neticenin yanında önce ömür boyu unutmayacağımız güzel bir anı olarak kalacak zihinlerimizde.

Burak: LC Waikiki ve ekibe teşekkür edildiğine göre, ben de ekibimizin abisine teşekkür etmek istiyorum. Başta ne kadar ekibimiz 5 kişiden oluşuyordu dediysem de; arka planda bizi mentörlüğüyle ve bilgisiyle aydınalatan; veriyi farklı şekillerde görmemizi sağlayan Sabri Suyunu’ya (evet kendisi abim oluyor) teşekkür etmeden olmazdı 🙂

Sabri: Ben hepinize ayrı ayrı teşekkür ederim. Hepinizi tekrar tebrik ederim. Gerçekten harika insanlarsınız. Bu röportaj vesilesi ile LC Waikiki’yi de böyle güzel bir organizasyonu düzenledikleri için tebrik ediyorum. Ellerinize sağlık

Son söz olarak, gerçekten kaliteli bir etkinlikti. Özetleyecek olursak,

  • Kaliteli Problemler
  • Kaliteli Jüri ve Danışmanlar
  • Kaliteli altyapı sağlayıcıları ve Teknik Destek
  • Kaliteli mekan
  • CEO’sundan uzmanına kadar sahiplenilmiş bir organizasyon

Bu organizasyonun sonucunda hem LC Waikiki, hem yarışmacılar, hem de servis sağlayıcılar kazandı. Organizasyonu düzenleyen ve ekiplerle yakından ilgilenen Şerafettin Özer Bey ile Ahmet Kalafat’a ve tüm Datathon ekibine tebriklerimi iletiyorum. Perakende sektörüne ve diğer sektörlere örnek olması temennisi ile.

Datahon Websitesi: http://datathon.lcwaikiki.com/

LC Waikiki Analytics Ekibinin yayınladığı medium yazısı: https://medium.com/lcw-analytics/bir-datathonun-anatomisi-lc-waikiki-datathon-2019-a55606117bcb

Boğaziçi Üniversitesi Haberler: https://haberler.boun.edu.tr/tr/haber/verinin-sihirbazlari-datathon-da-buyuk-odulu-aldi

Boğaziçi Üniversitesi MIS Haberler: http://www.mis.boun.edu.tr/new/bolumumuz-ogrencilerinden-yavuz-selim-elmasin-takimi-lc-waikiki-datathonda-birinci-oldu

Ne İş Yapıyorum – Big Data ve Machine Learning – Bölüm 3

“Ne İş Yapıyorum? – Big Data ve Machine Learning” bir yazı dizisidir. 3 yazıdan oluşmaktadır. Bu metin de bu dizinin son yazısıdır. Birinci yazıya ve ikinci yazıya ulaşmak için tıklayabilirisiniz.

Bu yazıyı 2017 yılının ortalarında TRT World’de hala çalışıyorken yazmaya başlamıştım. Sonrasında yazmayı bırakınca bu yazı da taslaklar arasında kaldı. Bir çoğunuz bilmese de yakın zamanda hayatımda yeni bir pencere açtım. Bu sebeple biraz kendime vakit ayırma şansına da eriştim. Bana kalan bu zamanın bir kısmında da yazı yazmaya karar verdim. Eski yazılarımı okurken, “Bu yazıyı da ben mi yazmışım ya, ne güzel yazmışım” dediğim oluyor. Bakalım eskisi gibi güzel yazılar yazabilecek miyim? Göreceğiz 🙂

Bu yazıyı okurken, sanki hala TRT World’de çalışıyormuşum gibi düşünün. (Çünkü yazının dili hala çalışıyormuşum gibi yazılmış. Değiştirmek istemedim) TRT World’de çalışmak hayatımda verdiğim en doğru kararlardan biriydi. Harika insanlarla tanıştım ve hiç bir yerde öğrenemeyeceğim bilgilere vakıf oldum. Bana bu fırsatı veren, vesile olan herkese teşekkür ederim.

-Sabri uyan! Sanırım vakit geldi. Ekrandaki şu değerlere bir baksana.

Saat gece yarısı 03:44’tü. Yaklaşık 6 aydır, kuş uçmaz kervan geçmez bu yerde kalıyorlardı. Yasin, ilk geldiklerinde neden burada olduklarını anlayamıyordu. Tüm dünyadan uzak bir odada, bir şeylerin gerçekleşmesini bekliyorlardı. 3 hafta önce ilk belirtileri ortaya çıkmıştı ve son 1 haftadır bu belirtiler iyicene artmıştı. Ve sonunda saat 03:44’te bekledikleri olaylar gerçekleşti.

Yasin’in dürtmesiyle uyanan Sabri, siyah çerçeveli gözlüğünü taktı ve ekrana baktı. “Sonunda” dedi mırıldanarak. Hemen hazırlanıp eve dönmeleri gerekiyordu. “Ev”. Söylemesi bile garip geliyordu. Malum olaylar olmadan önce “Ev”i çok özlüyordu fakat artık anlamını yitirmişti. Sadece cümle içinde geçen bir kelimeydi Ev. Özne bile değildi. Dolaylı bir tümleçti.

Gerekli hazırlıkları yapıp hemen yola çıktılar. Yasin, “sabaha kadar bekle..” dediyse de, Sabri bunu duymamazlıktan gelerek helikopterin kapısını açıp, pervaneleri çalıştırdı. Yasin apar topar topladığı eşyalarla birlikte kendisini helikoptere attı ve kulaklıkları taktı.

Sabri derin bir nefes aldı. Helikopter havalanana kadar son 6 ay gözünün önünde film şeridi gibi geçmişti. İlk günden itibaren herkes aynı soruyu sormuştu. Neden bırakıp gitmişti, ne bu kadar önemli olabilirdi, orada ne yapacaktı ve ne yapıyordu, geri dönmeyi hiç mi düşünmüyordu. Helikopter havalanmaya başlarken gözlerinden birkaç damla yaş süzüldü. Gerçekten 6 ay boyunca ne yapmıştı ve şu anda neden bu şekilde davranıyordu. Helikopter havalandıktan 5 dk sonra, Sabri cebindeki kumandayı çıkardı ve kırmızı mı yoksa yeşil mi olduğuna emin olamadığı tuşa bastı.

Booooom!!!!

Yaptığım işleri abartarak anlatmayı çok severim. Abartmayı çıkarsak bu cümle yine doğru olur. Hatta yaptığım işleri de çıkaralım. Evet Anlatmayı çok severim. Sosyal çevremde iyi bir dinleyici olsam da, iş hayatında anlatmayı çok seven, bildiklerini paylaşan birisiyim. Hatta çok sevdiğim bir arkadaşım (Melih), bana Barış Özcan gibi bir kanal açıp insanlara bir şeyler anlatmam konusunda çok telkinde bulunsa da, ben bunu yapacak cesareti kendimde bulamamıştım ki hala bulamıyorum. Ben iyi yaptığımı düşündüğüm şeyi yapayım. Anlatacağım şeyleri yazarak anlatayım.

6 ay önce, önemli bir kariyer değişikliği yaparak TRT World’de Data & Insight Lead olarak göreve başladım. Bu değişiklik benim hayatımın tamamen değişmesine sebep oldu. Bugüne kadar hiç bilmediğim, hiç duymadığım, hiç görmediğim şeyleri öğrenme fırsatım olmuştu. Tabi sudan çıkmış balık gibiydim. Sanki yeni mezun olmuş bir mühendis gibiydim ve bunun sonucu olarak çok zorlandım.

Yazdıkça yazacaklarımı toparlayamayacığımı farkediyorum. Bu sebeple yazıyı bir kaç bölüme ayırmaya karar verdim. Birinci bölüm Yaptıklarım(ız) ve Yapmaya Çalıştıklarım(ız), ikinci bölüm Yapmak İstediklerim(iz), üçüncü bölüm Öğrendiklerim, ve son bölüm yaşadıklarım / duygularım olacak.

Yaptıklarım(ız) ve Yapmaya Çalıştıklarım(ız)
Yeni Medya. Aslında sorumlu olduğumuz her şey yeni medya ile ilgili. Peki nedir bu Yeni Medya? Yeni Medyayı anlamak için öncelikle yeni olmayan medya nedir onu bilmek gerekiyor.

Geleneksel Medya, günümüzde yaygın olarak kullanılan, gazete, dergi, televizyon gibi araçlarla tek yönlü iletişim kuran bir alandır. Herkese aynı içerik sunulur. Sadece ünlü olan kişilere yer verilir. (Zeki Müren espirisi) Televizyon hariç ulaşılması zordur. (Yakınınızda bakkal olmadığını varsayıyorum) Yapım aşaması uzundur ve yüksek maliyetlidir.

Yeni Medya, internetin birbirine bağladığı cihazlar ve sistemler arasında enformasyon akışının bireyin ve işletmelerin hayatında etki ettiği her noktayı inceleyen ve iletişimin çok yönlü olduğu bir alandır. Yeni medyada her şey kişiye özel tasarlanabilir. Ünlü olmanıza gerek yoktur, yeni medya da herkese yer vardır. Hatta özgün olursanız yeni medya ünlüsü bile olabilirisiniz. Bir mesaj ile herkese ulaşabilirsiniz. Maliyetler düşüktür ve kayıt düğmesine basmanız yeterlidir.

Aşağıda IDC konferansında yer verdiğim, Yeni Medya ve Geleneksel Medya arasındaki farkları anlatan slayta ulaşabilirsiniz.

yeni medya

Yeni medya, derya deniz. Sosyal medya hesapları, web-siteler, micro siteler… Nereye elimizi atsak veri akıyordu. Hatta öyle bir veri akıyordu ki, bu kadar veri ile ne yapacağımızı düşünmeden önce biz bu verileri nasıl tutacağız diye sorgulamaya başladık.

sosyal medya

TRT World’de küçük ve çok harika bir ekibe sahibim. Ekibimde 3 kişi var. Yasin, Mehmet Emin ve Burak. Ekibimde olmasa da, tüm projelerde birlikte çalıştığımız Data Canavarı Berk de ekibin fahri üyesi. İkinci bir fahri üyemiz de Dijital ekibinden iletişim konusunda üstat Yavuz Selim. (2020 Edit: CRAWLERS)

TRT World’ün dijital hesaplarından akan milyonlarca veri var. Bu verilerin üzerine kurgulayacağımız projeler için öncelikle onları sürdürebilir bir şekilde elde etmemiz ve tutmamız gerekiyordu.

Bilgi İşlem ve Insight ekibi olarak, açık kaynak kodlu araçlar (open source tools) kullanarak bir veri akışı (data pipeline) oluşturduk. Bir cümle ile anlatmak ne kadar kolaymış. Ama yaparken gerçekten çok uğraştık. İşin ilginci, bu gibi projelerde en zor kısım kod yazmak değil bu işin mimarisi ve sürdürebilir bir şekilde çalışmasını sağlamaktır. Türkiye’de bir medya grubu bu işi daha önce yapmadığı için de her şeyi, kendimiz keşfedip yapmamız gerekti. Tekrar tekrar yazdığımız kodlar, altyapılar, tablolar, mimariler sonunda veri akışımızı ve üstüne kurduğumuz yapıyı kısmen tamamlamış olduk.

veri akışı

Sosyal Medya, web-siteler ve uygulamalar üzerinden akan veri, API kullanımı, scraping, vb. gibi yöntemlerle alınıp Kafka ile veri akışı sağlandıktan sonra, hem yapısal hem de yapısal olmayan yerlere kaydediliyor. Ardından bu verileri kullanılarak projelerimizi yapıyoruz. (Farkettiyseniz her şeyi çok detaylı anlatan ben, bu kısmı çok basit ve detaya girmeden anlattım. Hatta teknik terimleri kullanmaktan kaçındım. Bunun en büyük sebebi, bu bilginin “Fikri Mülkiyeti” olmasından kaynaklanıyor. Emeğe saygı, V1’e selam)

Şimdi geldik en heyecanlı kısma. TRT World’de bir çok projeye imza attık. Fakat bu projelerden 3 tanesi hem çok değerli hem de anlatması çok keyifli.

1- İçerik Potansiyel Tahmini

TRT World’deki 3. ayımda bir öğlen yemeği yerken “V1” ile karşılaştım. Hem yemek yiyor hem de muhabbet ediyorduk. Konudan konuya atlarken “Bir içeriğin ne kadar hit olacağını tahmin edebilseydik her şey daha kolay olurdu” minvalinde bir şey söyledi. Bu konuyu daha derinlemesine konuşmaya başladık ve perakendedeki ürünlerin attributelerini kullanarak tahmin edilmesine kadar geldik. Soru şuydu, bir içeriğin tüm bileşenlerini ayrı ayrı belirleyebilirsek ve bundan yola çıkarak geçmişteki içeriklerin etkileşimlerinden yola çıkarak bir model kurabilir miydik? Harika bir fikirdi. Ta ki, “V1” güzel fikir ama bunu siz yapamazsınız diyene kadar. Kafamdan kaynar sular döküldü. Bunu da yapamıyorsak, bizim orada ne işimiz vardı?

Kedi videoları her zaman çok izlenir. Fakat bir politik video her zaman çok yüksek etkileşim almayabilir. Soru şu: Bir kedi videosunun çok izlenmesindeki sebep her zaman kedi midir? Bir politikacının kedi ile tartıştığı bir video, sıradan bir kedi videosundan daha az mı izlenir? (Tabiki soru bu değil ama buna benziyor 🙂 )

icerik potansiyel tahmini

Hemen ekibi topladım. Projeyi anlattım. Herkes çok heyecanlandı. Fakat nereden başlayacağımız ve nasıl yapacağımız konusunda hiç birimizin bir fikri yoktu. Daha doğrusu bu projeyi sürdürebilir bir şekilde kurgulamakta zorlanıyorduk. Önce amacımızı belirledik:

Bir editör, yeni bir içerik ürettiğinde, bu içeriğin alacağı etkileşimi 100 üzerinden tahmin edip, CMS’de (içerik yönetim sisteminde) bunu görmesini sağlayacak, yeni girilen her içeriğin sonucunu algoritmaya dahil ederek, kendini geliştiren bir model yazmak.

Bu amaç için proje adımlarmızı belirledik,

  1. Bugüne kadar yayınlanan tüm içeriklerin bileşenlerinin çıkarılması
  2. Bugüne kadar yayınlanan tüm içeriklerin etkileşimlerinin bulunması
  3. Bileşenler ve etkileşim kullanılarak tahmin algoritmasının geliştirilmesi
  4. Veri akışının oluşturularak, bu sistemin sürdürebilir bir şekilde çalışmasının sağlanması

İlk iş içeriklerin bileşenlerinin çıkarılmasını sağladık. İçerik Yönetim Sistemindeki her bir makaleyi ön işlem (pre-process), API ve son işlem (post-process) geçirerek parçalar ayırdık.

Ön ve son işlemler konusunda çok detaya girmeyeceğim. Metin madenciliği yapan kişilerin çokca bildiği, veri düzeltmelerin bol bol olduğu, her şeyin tamam olduğunu düşündüğüz an bir problem gördüğünüz, bir çok kural yazdığınız bir süreç. Hem zahmetli hem de yorucu bir süreçtir.

Makalede geçen ülkeler, şehirler, kurumlar, kişiler, önemli günler, önemli olaylar, ilgi alanları, konusu, resim olup olmaması, video olup olmaması, videonun süresi, vb. gibi bir çok kategoride bileşenlerine ayırdık.

Her bir içeriğin, bulunduğu mecraya göre, sayfa görüntülenme, etkileşimi, RT, FAV değerlerini topladık.

bileşenlere ayırma

Çoğu kategorik olan bu bileşenleri modelleme sürecine giriştik. Bugüne kadar perakende sektöründe daha çok numerik değişkenlerle muhattap olmuştum. Bu sebeple kategorik değişkenlerin modellenmesi açıkçası biraz zorladı. Özellikle bu kategorik değişkenlerin Ordinal (sıralı) olmayışı, tamamen Nominal (atanmış) olması işleri daha da zorluyordu.

İki konu üzerine çok zaman harcadık. Dummy değişken oluşturulması ve Faktor Analizleri. (Yazar Notu: Yıl olmuş 2020 ve bunlar sizin için çok normal geliyor olabilir. Fakat 2016 yılında Türkiye’de bunları konuşan kişi sayısı emin olun çok azdı) Her bir kategorinin altında bir çok farklı alt başlık olduğu için ön işlem kısmında bunların çoğunu birleştirmiştik. Fakat yine de yüzlerce dummy değişkenimiz oluyordu. Faktör Analizleri ile en anlamlı olanları ile (yine 100 civarında) modelimizi kurmayı başardık.

İşin her aşaması zordu. Fakat en zoru, bu işin sürdürebilir bir şekilde çalışması ve ürüne dönüşmesiydi. Her yeni makale eklendiğinde, bileşenlerine ayrılması, tahmin yapılması, yazara sunulması, içerik yayınlandıktan sonra etkileşimlerin kaydedilmesi, modelin tekrardan buna göre çalışması ve bu sürecin problemsiz bir şekilde devam etmesi…

icerik potansiyel tahmini 2

Peki bu proje ne işe yaradı daha doğrusu nerede niçin kullanılacak?

  1. Yazının başarı puanına göre, o yazı için ne kadar reklam harcanmasının hesaplanması
  2. Yazarların başarısının ölçülmesi
  3. Bileşen ve kategorik ölçüm sonuçlarına göre içerik önerisinin yapılması

2- Twitter’da Benzer Kişilerin Bulunması Algoritması

Twitter’ın bendeki yeri ayrıdır. Tüm sosyal medya araçları bir yana twitter bir yanadır. Çünkü Twitter API’sı tüm sosyal medya araçlarının API’lerini döver, ikiye böler, beşle çarpar. Hem kullanması kolaydır hem dokumantasyonu iyidir hem de diğerlerinin vermediği bir çok bilgiyi size sunar. Bu sebeple bir çok projemizin temelinde Twitter bulunuyor.

Bu proje ar-ge olarak başlayıp, ardından bir teze ve sonrasında farklı makalelere temel oluşturan, ufuk açıcı, öğretici, şaşırtıcı bir projedir. (V1 tarafından verilen bir görev neticesinde ortaya çıkmıştır. Fikir babası V1’dir.)

Öneri algoritmaları içinde çok popüler ve kimsenin dilinden düşürmediği iki örnek vardır. Birincisi Amazon’un kitap öneri sistemi. Ben de kaç sene sunumlarımda bu örneği vermişimdir. İkincisi Netflix’in öneri algoritması. Hadi bir üçüncüsü de benden olsun. Spotify’ın şarkı öneri sistemi. (Diğer ikisini sanki mahallenin muhtarı söyledi?)

Bu algoritmalar, sizin daha önceki alışveriş, izleme ve dinleme geçmişinize göre ya da oluşturduğunuz beğeni vb. listelerinize göre, benzer kullanıcıların aktiviteleriyle eşleştirip, bunu seven bunu da sever mantığıyla çalışır. Anlatırken ne kadar da kolay 🙂 Bir cümle anlatabildiğime inanamıyorum.

Twitter’da da sizin ilgilendiğiniz konulara ve o zamana kadar takip ettiğiniz kişilere göre, kimleri takip edebileceğinizi önerir. Farkettiyseniz, Amazon, Spotify, Netflix, Twitter ve diğer tüm araçlar, sizin hareketlerinize göre öneri veriyor. Bu öneriler size özel. Sizin hareketlerinize özel. Peki soru şu, ben şu 3 kitabı sevdiysem acaba hangi kitabı okusam çok severim sorusunun cevabını veriyor mu? (Bunu veren harika bir uygulama var. GoodReads’i kullanmıyorsanız tavsiye ederim. Yine kişiye özel listelere göre çözüm üretse de, farklı listeler oluşturarak başarabilirsiniz.) Ya da şu 3 şarkı benim hayatımın şarkısı, bu şarkıları döndüre döndüre dinliyorum. Bunun gibi seveceğim 3 şarkı daha olsa of ki ne of.

İşte biz bunu Twitter için yaptık. Biribine benzediğini düşündüğünüz N tane kişi girdiğinizde, size benzer M tane kullanıcı veren bir algoritma geliştirdik. Hatta test etmek için, TRT World’de çalışan 5 editörün kullanıcı adlarını girdik, bize diğer editörleri ve TRT World’de çalışsa ne güzel olur diyeceğiniz editör ihtimallerini verdi.

Bu algoritmanın detaylarını burada anlatmayı çok isterdim. Kullanıcıların aktiviteleri, takip ettikleri, takipçileri, içinde bulunduğu networkler, istatistikleri, vb. bir çok bilgi kullanılarak kurulan bu model sayesinde doğru kaynaklara ulaşmayı başardık. Peki bu ne işe yarayacak ki?

Bir aktivite düzenlediğimizi varsayalım. Veri Bilimi hakkında olsun. Bu aktiviteyi herkesi çağırmak yerine sadece ilgili olan kişileri çağırmak istiyorsunuz. Bunu yapabilmek için tek tek arama yapmanız gerekecek. Fakat bu algoritma sayesinde, veri bilimi ile ilgili yazan ya da ilgilenen bir çok kişiye 90sn gibi bir sürede ulaşabiliyorsunuz.

Tanzanya’da Politik haber yapan 5 kişiden yola çıkarak, 60 farklı kişi daha bulup bunların her gün tweetlerini çekiğinizi düşünün. Bu tweetleri anlık bir dahsboard üzerinde yayınlayarak, Tanzanya’nın politik haberlerini takip edebilirsiniz ve içerik üretme konusunda kaçırdığınız noktaları tek noktadan takip edebilirsiniz. Tüm ülkeler için bunu yapıp, Dünya Atlası üzerinde kişi başına atılan tweet sayısını da renklendirirseniz, son 1 saat içindeki tweetler sayesinde, Politik olarak dalgalanan ülkeleri rahatlıkla yakalayıp bir hikaye oluşturabilirsiniz. Bu sadece bir örnek. Biraz önce bahsettiğimiz örnekteki gibi, işe alım yapacağımız kişilerin belirlenmesinde de kullanabiliriz 😛

3- Referandum

2017 yılının en büyük olaylarından biri de Referandum’du. Türkiye, Anayasa değişikliği için referanduma gitti ve biz de ekip olarak bu tarihi olayı yakından takip ederek çeşitli projelere imza attık.

Birincisi, Twitter’da referandum için kullanılan hashtaglerin geçtiği tweetleri anlık olarak (Stream) çekip bunları Evet, Hayır ve Nötr olarak kategorize edip, yine anlık olarak dahsboardlarda yayınlamaktı.

İkinci proje biraz ilginç bir projeydi. Biliyorsunuz ki, her seçim sonrasında açılan sandıklarla ilgili büyük bir tartışma başlar. İlk başta açılan sandıktaki yüzdelerle sondaki yüzdeler neden farklı olduğu konuşulur. Bunun bir gizli bir oyun olduğundan falan bahsedilir. Biz de Referandum özelinde, yasak kalktığı ilk andan itibaren, anlık olarak AA tarafından gönderilen veriyi görselleştirdik. Sandıkların açılış yüzdeleri ve şehirlerdeki referanduma verilen oy değişimini aşağıdaki şekilde görebilirsiniz. Ortada oyun falan yok gençler rahat olun 🙂

Referandum 2017

Yapmak İstediklerim(iz) ve Yapamadıklarım(ız)

Yazının buraya kadar olan kısmı 2017 yılında yazıldı. Yani TRT World’den  ayrılmadan önce. Buradan sonraki kısmı ise bugün yazıyorum. Aradan 3 sene geçmesine rağmen hala yapmak istediklerimiz aklımda.

Yukarıda yaptıklarımızın hepsinin bir amacı vardı. Bu amaçlara giden temel projelerdir. Haber Üreten Bir Araç yapmak istiyorduk. Yeni bir haberi yakalayacak, bu haberin kilit kelimelerini çıkaracak, bu kilit kelimelerinin üzerine bir metin yazacak ve bunu editörün önüne koyacak. Editör incelemeyi yaptıktan sonra yayınlayacak. Bu haberi yakalamak için, Twitter Network aracını geliştirmiştik. Bir sonraki aşamamız buydu

Her bir içeriğin, etkileşiminin tahmin edilmesini projesinin bir sonraki aşaması, hangi içeriğe ne kadar reklam verilmesinin otomatik karar verilmesiydi. İçeriklerin başarısının tahminin zaman ekseninde yapılması (yani bir içerik yayınlandıktan sonra tahminden sapmasının anlık olarak takip edilmesi) ve hangi içeriğe ne kadar reklam bütçesinin ayrılmasının optimize edilmesi olacaktı.

reklam yönetimi

Bir diğer proje hedefimiz, Sosyal Medya üzerinden kişilerin yazdıkları metinlerden, saykometrik (Psychometric) profillerin çıkarılması ve bunların kategorize edilerek, hangi içerğin kime yönlendirilmesi gerektiğinin A/B testing ile karar verilmesiydi. 2016-2017 yıllarında Facebook – Cambridge Analytica skandalı ortaya çıkmıştı ve bizde bu konuda çalışmaya başlamıştık.

Bu projeleri anlatırken gerçekten çok güzel fakat, ilk 6 ayımda çok büyük bir ikilemle karşılaştım. Veri Bilimci ikilemi.

Veri Bilimci İkilemi. Bence günümüz piyasasında da yaşanan en büyük ikilemlerden biri de bu. Şöyle anlatayım. Sizden iyi bir veri bilimci tanımı yapmanızı istesem nasıl tanımlarsınız. En az 1 yazılım dilini bilsin, matematik, istatistik ve algoritmalar konusularına hakim olsun yeterli (mi acaba?) İşte günümüzde bu ikisini bilen insanlar kendini Veri Bilimci olarak tanımlıyor. Ama burada büyük bir eksiklik var. İş Bilgisi! (Domain Knowledge) Eğer yapılan iş hakkında hiç bir bilginiz yok ise, problemi çözmek için sadece algoritmalar ve programlama beceriniz sizin için yeterli olmayacaktır.

TRT World’de işe başladığımda, kendimi sudan çıkmış balık gibi hissediyordum. Tam 10 senelik sektör tecrübem vardı. 10 sene dile kolay. Çok iyi algoritma yazarım, kod bilgim var, veri akışı ile ilgili efsane tecrübelerim var, mimari desen benden sorulur ama “Geleneksel Medya, Yayın (Broadcasting), Sosyal Medya” problemleri hakkında hiç bir fikrim olmadığı için 100 olan gücüm otomatik olarak 50’ye düşmüş oldu. Bir çok makale okudum, AJ+ başarı hikayelerini inceledim, çeşitli danışman firmalarının çözümlerine baktım ama her şey havada kalıyordu. İşin içine girmeden, amiyane tabirle elinizi kirletmeden bu iş olmuyor, olmaz, olmayacak. Benim ne yaptığımı anlamam ve verimli bir şeyler ortaya çıkarmam 3 ay sürdü. Biliyorum 3 ay çok uzun bir süre. Bu kadar uzun sürmesinin sebeplerinden biri, Medya sektöründe yeni olmam, diğeri ise tamamen farklı bir kültüre adapte olup yepyeni şeyler öğrenmek oldu. 3 ay içinde o kadar çok şey öğrendim ve deneyimledim ki, sanırım hayatımdaki en öğretici zamanlar oldu.

Öğrendiklerim

2016-2017 senesi benim için çok öğretici geçmişti. San Francisco gezisi ve NRF konferansından sonra TRT World de eklenince, öğrendiklerim arşa değmişti. 2020 yılından baktığınız zaman, çok etkileyici olmasa da 2016 yılı için zamanın ilerisindeydi.

TRT World haberleşmesini Slack, proje yönetimlerini de Trello ve Jira üzerinden yapıyordu. O zamana kadar çalıştığım şirketlerde bu uygulamaları bu kadar verimli kullananın görmemiştim. Proje yönetiminde Agile (Çevik) yönetim hakimdi ve haftalık, günlük toplantılarla projeler dolu dizgin ilerliyordu. Açık kaynak kodlu geliştirmeye önem veriliyordu ve Github’ı ilk orada kullandım. Python’da proje geliştirme ve bu geliştirilen projenin devreye alınmasındaki aşamalar harika bir tecrübeydi.

O güne kadar PC kullanan ben, Mac kullandım. İlk 2 hafta gerçekten çok zordu fakat sonrasında çok memnun kaldım. Oyun oynamıyor, kod yazıyor ve Excelle hiç işim olmaz diyorsanız Mac harika bir cihaz. Fakat oyun ve excel sizin için önemliyse, Mac’den uzak durun. Diğer herşey için Mac.

Son olarak, TRT World’deki en farklı deneyimim iletişim oldu. İletişim dili İngilizce olan bir yerde çalışmamıştım. Direktörüm Riyad (Güney Afrika), diğer yönetici arkadaşlar Ned (GA), Mak (GA), Derrick (ABD) ve Hüseyin (Türk). Güney Afrika İngilizcesini anlamak gerçekten uzun sürdü. LAGli yaşıyordum. Hele ilk zamanlarda toplantılarda konuşulanları anlayamıyordum. Her hafta pazartesi günleri yapılan toplantıları pür dikkat dinliyordum fakat anlamam 5sn gecikmeli oluyordu. Herkes bir espriye güldükten 5 sn sonra gülüyordum. Fakat 2 aydan sonra artık alışmıştım. Güzel bir tecrübeydi.

Duygularım ve Son Söz

15 Temmuz sonrasında bana kapılarını açan, harika bir ekiple çalışma fırsatı veren, İstanbul’un en güzel manzaralı ofisine sahip, çok güzel insanlarla tanıştığım güzide yer TRT World.

Çok uzun bir serüven değildi. LC Waikiki benim doğduğum yerse, TRT World gençliğimi geçirdiğim yer olarak tarihe geçti. (Koton da gençliğimi elimden aldı 😀 10 yaş yaşlandım. O güzel ekibim olmasaydı 20 yaş yaşlanırdım) Start-up kültüründe çalışmak, büyüyen bir organizasyonun parçası olmak, Türkiye’de ilk defa yapılan işlere imza atmak benim için harika bir tecrübeydi.

TRT World’e girmeme vesile olan üstat Uğur T.’ye, V1’e, Riyad’a ayrı bir teşekkür etmek istiyorum.

Duvarlar, ofisler, bahçeler, manzaralar… Hepsi iyi ve güzel insanlarla anlamlı oluyor. Yıllar sonra tekrar birlikte çalıştığımız sevdiğim insan Abdurrahman Abi, cuma yoldaşları güzel insanlar Fatih Abi ve Mustafa Abi, renk körü olduğuma benden daha çok üzülen UX Magician Burak, Hüseyin başkan ve güzel ekibi, V1, V2 ve tabiki Datahon Fatihi Crawlers. Yasin, Yavuz, Berk, Mehmet Emin ve Burak. Sadece bu 5’li ile tanışmak bile TRT World’de çalışmam için yeterliydi.

Böylece, 3 yazıdan oluşan ve tamamlanması 3 sene süren yazı dizimize de burada nokta koyuyoruz. Umarım keyifli ve faydalı bir yazı olmuştur. Eminim ben 296 defa daha bu yazıyı okuyacağım. Yazının burasına kadar geldiyseniz bir yorum yazar mısınız? Yazmak çok güzel, fakat okunduğunu bilmek çok daha güzel 🙂

Ne İş Yapıyorum – Big Data ve Machine Learning – Bölüm 2

Yazının birinci bölümünü okumadıysanız buradan ulaşabilirsiniz.

Ali, Veli ve Pelin kim olduğunu bilmiyorsanız, bu yazıyı okuyabilirsiniz.

Bir önceki bölümde, kısaca Big Data, Machine Learning kavramlarının ne olduğunu ve ayrı ayrı düşünüldüğünde Perakendede nasıl uygulanabileceğinin üzerinde durmuştuk. Şimdi ise bunlar birleştiğinde Perakendede nasıl olacağını hayal edeceğiz ve bu hayalimizi de bir hikaye ile anlatacağız. Başrolünde Pelin’in olduğu, Truman Show, Terminatör, Starbucks, Augmented Reality gibi birbirinden ilginç konuların bulunduğu bu hikayeyi tek solukta okuyacaksınız. İyi okumalar

Haydi bir hikaye yazalım. Hikayemiz Pelin hakkında. Pelin’i bilenler bilir. Analything dergisinin 3 yıldızından bir tanesiydi. Hani şu planner olan. Hikayemizin ismi de “Gelin Pelin Jacqueline”

Pelin işten çıkıp eve gittiğinde, hemen uyumak istiyordu. Çok yorulmuştu. Yaklaşan düğün heyecanı ve işlerin yoğunluğu artık son noktaya gelmişti. Bir taraftan gelinlik hakkında araştırma yapıyor, bir taraftan balayı programını en eksiksiz bir şekilde hazırlamaya çalışıyor, bir taraftan alması gereken hediyeleri araştırıyor, bir taraftan da planlama ile ilgili olan işleri yapıyordu. Yemeğini yedi, televizyonu açtı, koltuğa uzandı ve gözlerini kapattı.

06:15‘de çalan alarm ile güne gözlerini açtı. Gözlerini açtığında hala gün(düz) değildi. Gözlerini tekrar kapatmak istedi fakat servisi kaçırırsa vereceği taksi parasını düşündükçe bu fikrinden uzaklaşıyordu. Telefonunu eline aldı. LCSO (LC Waikiki Servis Otomasyonu) adlı uygulamayı açtı. Servisin 25 dakika mesafede odluğunu gördü. Şu anki yol durumuna göre her zamanki vaktinde gelecekti. Evinden servis bekleme yerine yürüme mesafesi de 2 dakika gösteriyordu. Uygulama üzerinden son 5 dakika hatırlatmalı alarmı kurdu ve hazırlanmaya başladı. “5 dakika kaldı” alarmı çaldığında hazırdı. Acele etmeyerek yavaş yavaş servis bekleme noktasına yürümeye başladı. LCSO’ya göre Ali (the Allocator) bugün servise binmemişti. Hasta olduğunu düşünerek mi üzülse yoksa işlerin bir kısmı kendisine kalacağına mı üzülse bilemedi. Neyse ki Veli kendini çok geliştirmişti. O yüzden bu konuyu düşünmeden yürümeye devam etti. Servisi 1-2 dakika bekledikten sonra geldi. servise bindiğinde kısık bir dıt sesi çıktı ve yerine geçip oturdu. LCSO’dan gelen yeni bir push notfication dikkatini çekti. (İşe gelmeyecekleri zaman, uygulama üzerinden işaretleme yapıyorlardı ve bu sayede, şoför dinamik rotalama yapabiliyordu. Çalışanlara servise binecekleri saatlerin değişmesi durumunda push notification ile haber verilebiliyordu) İşe geldiği son 10 gündür servisi hiç bekletmediği ve hep zamanında geldiği için, 1 adet tall mochasını, aşağıda bulunan kare kodu kullanarak şirketin içinde bulunan starbuckstan alabileceğini belirtiyordu. Mutlu oldu. Arkasına yaslandı.
35 dakikalık bir yolculuk onu bekliyordu. Uyumak ya da uyumamak arasında gidip geldikten sonra düşünmeyi tercih etti.

Çalışma hayatının belki de en büyük zorluklarından bir tanesi sabah erken kalkma ve servisle geçirdiğin bu koca vakitti. Düşünsene her gün gidiş geliş 1.5 saat vakit harcıyordun. Yine de bir işe sahip olmak ve sevdiğin bir işe sahip olmak bu günlerde bulunmaz nimetlerden bir tanesiydi. Son 3 sene çok hızlı geçmişti.

Allocatorlıktan plannerlığa geçmişti, ilk başta çok zor gelse de zamanla alışmıştı. Plannerlıktaki 3. senesini tamamlamıştı. Araba ve ev alma konusunda gidip gelmiş ve sonunda bir ev almaya karar vermişti. Eşyalar, taşınma, vs. derken 1 sene geçmişti bile.

Yeni hobiler edinmişti. Terrarium ile uğraşıyordu ve stresini bu şekilde atmaya çalışıyordu.
Geçen sene bir arkadaşı vasıtasıyla tanıştığı “Patrick Jacqueline” adlı kişi ile 6 ay sonra evlenecekti. Aşık olmuştu ama doğru mu yapıyorum diye de sormadan edemiyordu kendine.

Bunları düşünürken, iş yerine ulaştı. Servis kapalı otoparka girerken, yavaşçana toparlandı. Yeni bina eski binadan daha modern olmasına rağmen, arada eski binayı özlediğini farketti. Simit yemek istiyordu ama bu kadar üşengeçken çok mümkün değildi. Yavaş yavaş yukarı çıkmaya başladı. Aklına Starbucks hediyesi geldi. Starbucks’a doğru yürürken 2 şey aklına takılmıştı.
“Birincisi, son 10 gündür servise zamanında geldiğimi nereden biliyorlardı?”
“İkincisi, Mocha’yı ben sevdiğim için mi hediye etmişlerdi yoksa bu bir rastlantı mıydı?”

Tabiki rastlantıydı. Herkesin ne sevdiğini nereden bilebilirlerdi ki? Tam bu cümleyi aklından geçirirken, karşıdan Melih’in ona doğru yürüdüğünü gördü. Ağzı kulaklarına varmıştı. Söze ilk giren o oldu:

“Pelin, sana çok ilginç bir şey söyleyeceğim. Benim hep servise geç kaldığımı biliyorsun. Fakat son 5 gündür geç kalmıyordum. Bugün bir mesaj aldım. Tahmin et ne yazıyordu?”
Bu soru cümlesi cevap bekleyen bir cümle miydi, yoksa devam etmesi için doğrulaması mı gerekiyordu bilemiyordu. Sadece kafasını sağa sola çevirdi. O da devam etti.
“Bana gönderdikleri mesajı dinle: “Senin başarın diğer kişilerin başarısından daha değerli. Azmini tebrik ediyoruz. 5 kere üst üste geç kalmadın. Vanilya Cafe Latte (Yumuşak İçim) kahve bugün bizden. Afiyet olsun.” İnanabiliyor musun? En sevdiğim kahveyi hediye etmişler. Rastlantının böylesi ve bu kadarı”
“Vay be” diyebildi sadece. İçinde hem sıcak hem de soğuk bir rüzgar esti.

Kahvesini almaktan vaz geçerek masasına gitti. Masasına oturdu. (Neden sandelyede oturulmuyordu hala bilmiyordu) Veli çoktan yerine oturmuş ve çalışmaya başlamıştı. Maillerini açtı ve teker teker okumaya başladı. Günlük raporların dışında bir mail gözüne çarptı:

“WGSN Fotoğraları ile Trend Analizleri”

Reklamdır diye düşünüp devam etmek istedi fakat bir şans vermeye karar verdi. Raporu anlatan kısa bir yazı bulunuyordu:

“WGSN Worth Global Style Network, Dünyadaki her markanın vitrininden tutun da, moda dergilerinin kapaklarına kadar, önemli moda şehirlerinde yolda yürüyen insanların giydiği kıyafetlerden, “bu da moda mı yav” diyeceğiniz defilelere kadar, dünyanın modasının nabzını tutan bir portaldır. Biz Data’cılar bu siteye girdiğimizde hiç bir şey anlamıyoruz. Moda ne kadar “değişik” bir şey diyoruz. Fakat Data’nın yalan söylemeyeceğini de biliyoruz. Bu sebeple, bu sitede bulunan fotoğrafları analiz eden, sınıflandıran, kategorilere ayıran, birbirleri arasındaki ilişkiyi ortaya çıkaran bir yapı geliştirdik. Bu yapı sayesinde,

  • Yıl (Zaman)
  • Şehir, Ülke (Yer)
  • Cinsiyet (Kadın, Erkek, ?)
  • Yaş Grubu (Çocuk, Büyük)
  • Marka (X, Y, Z)

boyutlara göre, Renk ve Range bilgilerine ulaşabilirsiniz. moda olan renklerin dışında, Range bilgisi sayesinde o sene hangi tarz kıyafetlerin (Kısa kollu, uzun kollu, çizgili, düz, vs.) ve Klasman detayında analizler (Elbise, T-shirt, Etek, Pantolon, vs.) yapabileceksiniz.
Rapor test aşamasında olduğu için, herhangi bir problemle karşılaşırsanız lütfen bize iletin.”

Bu nasıl mümkün olabilirdi? Şirkette ilginç bir ekip vardı ve hep böyle değişik analizler yapıyorlardı. Geçen ay da, Sosyal medya üzerinde ünlülülerin giydiği kıyafetlerle ilgili bir veritabanı oluşturmuşlardı. Yer yerinden oynamıştı.

Bu verileri kullanarak, tasarımcılarla çok daha verimli toplantılar yapabileceğini düşündü. “Sence Bu Kaç Satar?” adlı uygulama ile bu analizler birleştirince tamamen akıllı bir planlama yapılabilirdi.

“Sence bu kaç satar” uygulaması geçmiş veriden beslenen bir uygulamaydı. Önceki senelerde üretilen ürünlerin bileşenleri ve satışa detlerine göre, her bir bileşenin satışa etkisini buluyordu. Şimdi bu sistemle, gelecek verisi birleşecekti. Dünyada bir numara olmaya çok az kalmıştı.

Morali yerine geldi. “Şimdi gidip kahvemi alabilirim” dedi. Masaüstündeki, bir uygulamayı çalıştırdı. Ekrana çıkan text alanına, “gelinlik, bride, bridal gown, wedding gown” yazdı ve kahvesini almaya gitti.

Kahvesini alıp geldiğinde, bilgisayarının ekranı dolmaya başlamıştı. Yazdığı kelimelerle ilgili, sosyal medyada en çok paylaşılanlar, instagramda en çok beğenilen fotolar, bunla bağlantılı olan web sitelerin listesi, bir liste ve klasörün içinde duruyordu. Öğlen yemeğinden sonra incelerim diyerek programı durdurdu. Tam işe başlayacaktı ki, aklına Patrick’in doğum günü için hiç bir hediye almadığı geldi. Ne alacağını düşünmüştü ve karar vermişti ama fiyat araştırması yapmamıştı. Alacağı hediye, Playstation 4’tü. Son zamanlarda kendisi de biraz oyun oynadığı için, evlendikten sonra da işe yarar bişey almak istemişti.

Bir kaç fiyat araştırma sitesine girdi, Önde gelen firmaların web sitelerine girecekti ki trading toplantısının başlayacağı aklına geldi. Hemen apar topar koştura koştura toplantı odasına gitti. Toplantı başlamıştı. Fast seller ürünlerin artık duvara dizilmek yerine hologram ile duvarların üzerinde belirmesi çok hoş olmuştu. Herkes buna hologram diyordu fakat bu bildiğin “augmented reality”di. O hafta VR ekibi tarafından hazırlanıyor ve 1 hafta boyunca bu şekilde duvarlarda bu ürünler duruyordu. (Bunun otomatik ve filtrelenebilir bir hale getirilmesi için çalışmalar devam ediyormuş. Bittiğinde sanırım çok daha güzel olacak)

Toplantıya konsantre olmadan önce başladığı içi bitirmeye karar verdi. Teknö adlı siteye girdi, satın alma işlemi için ürünü seçti, üyelik işlemlerini tamamladı, kredi kartını cebinde ararken… kalbi hızla atmaya başladı. Kımıldayamıyordu. Toplantı odasındaki herkes ona dönmüştü. Kafalarında ilginç cihazlarla ona bakıyorlardı. Olayın ne olduğunu kısa sürede anlayıp, cep telefonunu cebine koyup, duvarın önünden çekildi. Siparişi sonra tamamlarım dedi ve toplantıya konsantre oldu.

Akşam iş çıkışında, arkadaşlarıyla AVM’de yemek yemeye karar verdi. Evine yakın bir AVM seçilmesi için, baya naz yapması gerekmişti. Yemeği yedikten sonra, AVM dolaşmaya başladılar. Telefonuna bir mesaj geldi daha doğrusu bir push notification. Mesaj şu şekildeydi:
“Merhaba Pelin. Daha önce ilgilendiğin fakat almadığın Playstation 4, şu anda mağazamızda sana özel %10 indirimle” Kafasını kaldırdı ve Teknö mağazasının o turkuaz tabelasını gördü. İçini yine o sebebini bildiği korku kaplasa da hoşuna da gitmişti. Hemen mağazaya girdi. Playstationların nerede olduğunu tam soracakken, telefonuna bir uyarı daha geldi.

“Televizyonların arasındaki koridordan Düz devam et”

“Hoydaaa” dedi. Bu kadar da olamaz herhalde diye düşündü. Kafasını yavaşça yukarı kaldırdı. Kameraların kendisini farketmemesi için şüpheli hareketlerden kaçınmaya çalışıyordu ama daha çok şüphe çekiyordu. Evet anlamıştı. Evet kesinlikle anlamıştı. Bunu nasıl fark edememişti. Ali, Veli, Patrick, Melih, hepsi profesyonel oyuncuydu (sinema oyuncusu). Truman Show adlı filmin ikincisi çekiliyordu ve kendisi de başrol oyuncusuydu. Ama bir dakika, böyle bir durum olsa kendisinin haberi olması gerekmez miydi? Tamam, yeni nesil sinemacılık bu olsa gerekti. Haberi bile olmadan çekiliyordu. Filmin çıkacağını geçen sene duymuştu. Kesin bu filmin bir sahnesiydi. Anladığımı belli etmemeliyim diye düşündü. Tam hareket edecekti ki, önünde durduğu televizyonlardan bir tanesinde Truman Show 2 filminin fragmanı çıktı. (Yazar burada abarttığının farkında ama siz onun kusuruna bakmayın)
“Oha canlı fragman yayınlıyorlar” diye düşündü. Ama başrolündeki kendisi değil, hatta başrolündeki hintli bir erkek oyuncuydu. Omzuna birisinin dokunmasıyla çığlığı bastı.

“(Ciyak) AAAAALiiiii!”

Ali biraz hasta olduğu için işe gidememişti. Kendini biraz iyi hissedince, hem biraz hareket etmek için hem de bir çorba içmek için evinin yanındaki bu AVM’ye gelmişti. Pelin’i hareketsiz bir şekilde görünce de merak edip yanına gelip bir süre izledikten sonra kötü bir şey olduğunu düşünüp omzuna dokunmaya karar vermişti.

Pelin, Ali’yi görünce çok sevindi. Bir çırpıda olanları ona anlattı. Ali kahkahalarla ona gülüyor ve dalga geçiyordu. Pelin gıcık oluyor ama bozuntuya vermiyordu. Anlatması bitince Ali söze girdi.
“In-Store Analytics” dedi ve devam etti:

“Bu kullanılan sistemlerden sadece bir tanesi! Müşterilerin kullandığı wi-fi ya da hücresel veri sayesinde, mağaza önünde ya da içinde hareketlerini takip edebiliyorsun. Eğer kayıtlı müşteri ise ve mağaza içi izleme için gerekli izinler de verilmişse (uygulaması varsa ve kullanıyorsan büyük ihtimalle vermişsindir) sen mağazaya girdiğinde otomatik haberleri oluyor. Sana özel gönderilen kampanya mesaj zamanı ve senin mağazaya girişin arasındaki süre de hesaba katıldığında, gitmek istediğin yer aşikar. Tüm bu sistemler birleşince, sadece senin ürünü alman kalıyor”

Pelin şoku üzerinden atmıştı. Playstation 4 hediye paketi olurken, bugün olan olayları düşünüyordu. Dünya çok hızlı değişiyordu. Perakende de bu hıza ayak uydurmaya çalışıyordu. Bir planner olarak sadece bu olaylara şahit olmuştu. Fakat her gün bunun gibi bir çok yenilik çıkıyordu. Hoşuna gitse de, korkuyordu. Korkuyordu çünkü kontrolü kaybettiğini düşünüyordu. Her şeyi tadında yaşamak lazımdı.

“Robotlar bizi ele geçirir mi dersin Ali?” dedi

Ali cevap vermedi. Sadece sağ gözündeki led kırmızı yandı. Ta tan tan ta tan!

Umarım hikayemi beğenmişsinizdir. Perakendede big data ve machine learning uygulamarını içeren hikayemizi bitirdikten sonra kısa bir kaç söz söylemeden geçemeyeceğim. Evet LC Waikiki’de çalışırken Machine Learning’i tam anlamıyla yapamadık ama Analitik çözümler konusunda sektörün çok ilerisindeydik. 550 mağazalık (şimdi 650’yi geçmiştir) bir perakende zincirinin Otomatik Sevkiyat Sistemlerini kurduk, Optimizasyon ile çalışan Otomatik Transfer sistemini devreye aldık, Dünya devi rota optimizasyon firmalarından daha iyi sonuç çıkaran çözümler ürettik. Bu yaptıklarımız, Machine Learning’den çok daha önemli ve çok daha katma değerliydi (Büyük ihtimalle) Beni yol ayrımına getiren yaptığımız işin büyüklüğü ya da başarısı değildi. Zaten öyle olsa hala çalışıyor olurdum.

Beni yol ayrımına getiren, Gelecek kaygısıydı! Evet bu yaptıklarımla çok paralar kazanabilirdim. 5 sene daha, hadi bilemedin 10 sene daha. Fakat sonra bu sistemleri yazmak ne beni mutlu edecekti ne de karnımı doyuracaktı. (Mutlu etmesi daha önemli) Farkında değil misiniz? Dünya değişiyor. Alışveriş alışkanlıkları, hayat tarzlarımız, günlük aktivitelerimiz, çocuklarımız, gençlerimiz hatta yaşlılarımız. Herşey değişiyor. Perakende de değişiyor. 10 sene önceki gibi değil, 10 sene sonra da bugün gibi olmayacak.

Bundan 10 sene önce kariyerime ilk başladığımda, bu alanda çalışırken şu cümleyi kuruyordum: Şimdi bu yaptığımız işin değerini anlamıyorlar ama 5-10 sene sonra anlaşılacak. Evet şu anda anlaşılıyor. Fakat 5-10 sene sonra? Ben şu anda bulunduğum alana geçmekte geç bile kaldım. Ama yine de bu alanda olmak, bu işi yapmak çok güzel.

Evet sonunda yazımızın son kısmına yani ne iş yapıyorum sorusunun cevabına geldik.
Yazı dizisinin en başında dediğim gibi, kaç senelik perakende tecrübemi bir kenera bırakıp, bilmediğim bir sektöre adımımı attım. Karar vermek gerçekten çok zor oldu. İstişareler, fırsatlar, düşünceler, korkular, swatlar, eksiler, artılar, tablolar, hesaplamalar, vs. Ve tabi bunların yanında işe kabul edilme ve edilmeme ihtimalleri…

Yazının devamı haftaya 🙂

Ne İş Yapıyorum – Big Data ve Machine Learning – Bölüm 1

Not: Yazıya klasik kendi iç konuşmalarımı yazma niyetiyle başladım. Ardından TRT World’de ne iş yaptığımı anlatayım dedim. Sonra onu anlatmak için Big Data’nın ne olduğunu anlatmam gerektiğini fark ettim. Fakat bunu anlatmak için perakende bilgimi kullanmanın faydalı olacağını düşündüm (Nedenini okuyunca anlayacaksınız) Sonra Machine Learning derken yazı uzadı da uzadı. Hatta TRT World’de yapmak istediğimiz işlere global örnekler vermeye çalışırken yazı bitmek bilmedi. Bu sebeple yazıyı üçe bölmeye karar verdim. Yazının tamamı bittiği için 5-6 gün arayla yazı yayınlanacak ve bitecektir. Okuduğunuz için teşekkür ederim. Tekrar yazmak çok güzel. Günde 1 saat yazmak iyi gelir, herkese tavsiye ederim.

-Ooooo Müdür naber? Hiç görüşemiyoruz.
-Ben artık müdür değilim bu birincisi. Görüşemiyorsak, bu çift taraflı bir problem değil mi sence de?
-Haydaa, ben mi seni müdürlükten aldım. Neden kızıyorsun ki? Hala 4 saat yollarda sürünüyor musun?
-Hee senin haberin yok mu? Ben iş değiştirdim, yeni çalıştığım yer Ortaköy’de. Akşam 6’da eve oluyorum.
-Vay vay vay. Öyle iş mi var ya. Bize de iş bulsana oradan.
-Yok abi bulamam ben sana iş.
-Neresi orası?
TRT World.
-TRT mi? Ne yapıyorsun ki abi sen orada? Sen perakendeci değil miydin? Hayır yani ne alaka?
-Uzun hikaye…
-Gerçi iyi olmuş, perakendeye hep parakende diyordun.
-…
-Anlat anlat, vaktim var benim. Eski Parakande Analitiği Müdürü 😀
-…….

9 sene. Dile kolay. Perakendede dirsek çürütülmüş 9 sene. TRT World’de çalıştığımı söylediğimde aynı tepkiyi veren sizler, haksız değilsiniz? “Neden böyle saçma bir şey yapmış” diye içinizden geçirdiğinizi biliyorum. “O kadar senelik emeğini bir kenara atmış” dediğinizi de biliyorum. “En verimli olacağı zamanda bu sektör bırakılır mı?” diye beni düşündüğünüzü de biliyorum. Ama durun bir dinleyin söyleyeceklerim var.

Anlatmaya nereden başlasam. LC Waikiki’deki son 1 sene başlangıç için iyi olacak. 2014-2017 yılları arasında bir çok üniversiteye konuşmacı olarak gittim. İki amacımız vardı, birincisi yaptığımız işi anlatıyorduk ikincisi ise çalıştığımız şirketin bize bu imkanı verdiğinden bahsediyorduk. Anlattığımız konular, Optimizasyon (Matematiksel Modelleme), Simülasyon, Otomatik Sevkiyat Sistemleri, İş Zekası, İş Analitiği, Big Data, Veri Madenciliği, Machine Learning gibi konulardı. Saydığım konuların çoğunu çalıştığım şirketlerde yapıyorduk. Fakat konu Big Data ve Machine Learning’e geldiğinde, ne yazık ki sadece konuşuyordum. Çok güzel anlatıyordum ama yaptığım elle tutulur bir örnek yoktu. İşin garibi, iş dışında da bu konularla ilgili bir gelişme kaydedemiyordum. (Silikon Vadisine ve NRF’e gitmeseydim bunlar olmayacaktı)

Acaba ML ve BD uygulaması yapmamış olmam, uygulama alanı olmadığı için olabilir mi? Hadi bunu sorgulayalım.

Perakende sektöründe Big Data var mıdır?
Bugüne kadar hep data ile uğraştım. Akşam yattım data, gece rüyamda data, sabah kalktım data, gün boyu data, data, data (20 defa arka arkaya data deyince traktör sesi çıkıyor 🙂 )
Uğraştığım data hep yapılandırılmıştı. Daha doğrusu ben yapılandırılmış data üzerinden analizlerimi yapıyordum. Satış, Stok, Mağaza, Müşteri gibi datalardı. Ne, Nerede, Ne kadar gibi soruların cevabı netti ve tekti.

Kısa bir bilgi vermek gerekirse, yapılandırılmış veriler incelenirken dimension (boyut) ve measure (ölçüm) ile incelenir. Perakendedeki verilerin boyutlarına bakacak olursak,

  • Lokasyon (Ülke, Şehir, Mağaza, vs.)
  • Zaman (Yıl, Hafta, Ay, Gün, Saat, vs.)
  • Ürün (Kategori, Buyer Grup, Klasman, vs.)
  • Müşteri (Müşteri No, İsim, Adres, Telefon, vs.)
  • Plasiyer – Satış Danışmanı (İsim, Yaş, Çalıştığı sene, vs.)

Ölçümlere bakacak olursak,

  • Satış
  • Stok
  • Fiyat
  • Vs.

Bu boyutlar ve ölçümler kullanılara, çeşitli hesaplanmış alanlar oluşturulabilir ve farklı boyutlarda farklı analizler yapılabilir.

Peki, bu büyük veri midir? Elimizde bu verilerden milyonlarca olsa büyük veri mi olur? Peki ya milyarlarca olsa? Şimdi literatürde büyük veri ne demek kısaca ona bakalım.

İlk tanım: Big Data, zamanla elde edilen, yapılandırılmış ya da yapılandırılmamış, yani henüz geleneksel yöntem veya araçlarla işlenerek kullanılabilir hale getirilmemiş verilerdir.
İkinci tanım: Büyük veri, tek bir sunucuya sığmayacak ölçüde büyük, yapılandırılmamış veya statik bir veri ambarına sığmayacak şekilde sürekli akan veriler için kullanılır.
2012 yılında dünyada 2,8 zetabayt’dan daha fazla veri tutulmuş. Bu verilerin sadece %0,5’i analiz edilmiştir. Bunun en büyük nedeni, bu verinin satır sütun formatında olmamasıdır.(2,8 trilyon gigabyte) Bu veri boyutunun exponential arttığı düşünülürse 2016 yılında kaç olduğunu hadi siz tahmin edin 😛

Big Data ile ilgili en az bir konferansa katıldıysanız aşağıdaki tanım size hiç yabancı gelmeyecektir.

Big Data 5V’den oluşur:
Volume: Verinin büyüklüğü artıyor ve büyük veriyi bir yere yazmak lazım
Velocity: Verinin elde edilme hızı artıyor. Veri çok hızlı büyüyor. Hızlı okumak hızlı yazmak lazım.
Variety: Elde edilen verinin %80’i yapısal değil. Her kaynağın verisi farklı formatta.
Value: Verinin üretilmesi ve işlenmesi sonucunda ortaya çıkan değer.
Veracity: Hakikat! Doğruluk! Elde edilen verinin içindeki gerçek anlamı ve hakikatı ortaya çıkarmak. (Örneğin Twitter gibi bir mecrada yazılmış 140 karakterli bir yazıdan anlamlı bir şey çıkarmak olarak yorumlanabilir)

Şimdi düşünelim, elimizdeki milyarlarca data big data mıdır? (Bu analizler geleneksel perakendeciler için yazılmıştır. Zaten yazının ilerleyen yerlerinde geleneksel perakende, big data ve machine learning birleşiminden bahsedeceğim.)

Volume: Verimiz hızla artıyor fakat tek bir veriambarında bu veriyi tutabiliyoruz. X
Velocity: Verinin elde edilme hızı, mağaza sayısı ile doğru orantılıdır. Bu sebeple mağaza sayısının artmadığı durumlarda hızı da artmaz. X
Variety: Elde edilen veri yapısal veridir. Satış stok bunlar yapısal veriler. X
Value: Analizler ve çeşitli teknikler değerin kralını üretir. Otomatik sistemler, karar destek sistemleri çıkar. V
Veracity: Bu terim sonradan çıkarıldı. Hala bende oturmayan yerler var. Rakamları anlama dönüştürebilmek olarak alırsak, bunu da dahil etmeliyiz. V

Sonuç olarak 2/5 büyük veri olmadığını görüyoruz. Peki perakendede büyük veri nedir? (İki saattir ne değildir diye anlatıp duruyorsun be adam, zaman kazanmayı bırak da anlat bize)
2015 yılında Big Data nedir diye internet üzerinde ararken hep aynı şeyler karşıma çıkıyordu. Aradığım tanımı bulamıyordum. LC Waikiki vasıtasıyla Boğaziçi Üniversitesi’nde bir etkinliğe juri olarak katıldım. Sunum yapan çocuklardan bir tanesinin konusu, makinelerin bakım zamanlarının tahminini big data yardımı ile yapılmasıydı. İlk cümlesi şuydu:

Big Data nedir? Big Data, şu ana kadar ölçmediğiniz veridir.

Dediğinden hiç bir şey anlamadım. Sonra aklıma şu özlü söz geldi.
Ölçtüysen senindir, ölçmediysen hiç senin olmamıştır.
Evet evet! Anlıyordum, aydınlanıyordum! Evreka Evreka diyerek bağırmaya başladım. Sanırım bağırmak yerine horlamışım ve yanımdaki adam beni dürterek uyandırdı. Utanarak sunumu dinlemeye devam ettim.

Ölçmek ya da ölçmemek! İşte bütün mesele bu.

Perkanedeyi oluşturan her bir öğenin içinde bir big data kırıntısı bulunabilir.
Lojistik: Araç takip sistemleri ve araç sensörleri ile oluşan veri. (Araç güzergah bilgileri, aracın hızı, aracın kalma durma süreleri, araç iç sıcaklık, vs.)
Depo: RFID, beacon gibi teknolojiler ile, depo içerisinde her bir ürünün hareketinin tespit edilmesi.
Mağaza: In-Store Analytics dediğimiz, mağaza içindeki müşterilerin hareketlerinin takip edilmesi, sıcaklık ölçen kameralar ile mağaza içi heatmapler, mağaza shiftlerinin daha iyi oluşturulması için personellerin giriş çıkışlarının otomatik yapılması, RFID ile ürünlerin mağaza içindeki hareketler
Merchandising: Sosyal Medyadaki trendlerin takip edilmesi
CRM: Müşterilerin ihtiyaçlarının tespiti, kişiye özel süpriz çözümler

Evet çok kısa kısa ve biraz da altını boş bıraktığımın farkındayım. Fakat sadece Sosyal Medya ile ilgili big data kavramını 4-5 sayfada anlatabilirim. Onun yerine yazının ilerleyen kısmında kısa bir hikaye anlatacağım. Perkande, Big Data ve Machine Learning ile ilgili bu güzel hikayede, olayları daha iyi kafanızda canlandırabileceksiniz. (Şimdilik bir virgül koyuyoruz)

Perakende sektöründe Machine Learning uygulaması var mıdır?
Öğrenme, bireyin yaşantılar sonucu davranışlarda meydana gelen oldukça uzun süreli değişmelerdir. En yalın tanımla Bilebilme ve Yapabilme eylemidir. Yapay Zeka, Bir bilgisayarın veya bilgisayar kontrolündeki bir robotun çeşitli faaliyetleri zeki canlılara benzer şekilde yerine getirme kabiliyetine denir. Yapay Zeka’nın alt bir dalı olan Makine Öğrenmesi (Machine Learning) ise, bilgisayarın “öğrenme” işlemini sağlayacak algoritma ve tekniklerin gelişimi ile ilgili bir çalışma alanıdır. ML, geçmiş deneyimleri veya örnek verileri kullanarak daha iyi sonuçlar üretmek üzere gerçekleştirilmiş bilgisayar yazılımları oluşturma tekniğidir. ML tekniklerine bir kaç örnek verecek olsak, Kredi Taleplerini Değerlendirme, Yüz tanıma sistemleri, Spam Mail belirleme, IBM Watsons, vs.

Şimdi perakende sektöründeki ML uygulamalarını düşünelim. İlk aklıma gelen, CRM ile ilgili konular.

  1. Recommendation Engine : Türkçe’de bilinen adıyla “Bunu alan bunu da aldı” sistemi. Recommendation Engine ile ilgili bir konu olduğunda, Amazon örnek olarak verilir.
  2. Customer Churn : Müşterinizin sizi terk edip etmeyeceğini öngörerek buna göre aksiyon almanıza yardımcı olur.
  3. Market-Basket Analysis : Sepet analizi yaparak, en çok birlikte satan ürünleri tespit ederek, bu ürünleri paket (bundle) şeklinde satmanıza yardımcı olabilir.
  4. Cluster Analysis : Müşteri, ürün ya da mağazalarınızı gruplayarak, karar mekanizmalarını güçlendirebileceğiniz bir yöntem. Örneğin, müşterileri LTV ve Karlılığa göre gruplayarak onları isimlendirebilir ve kampanyaları gruplara özel çıkabilirsiniz.
  5. Müşterilerin stillerinin belirlenmesi : Bu cluster analizin içine dahil edilebilse de, yaptığı alışverişe göre, hangi renkleri, hangi kıyafet tarzlarını, ürün bilgisi ile birleştirip, birinci maddedeki öneri sistemlerinde kullanılabilir. Eğer elinizde ürün bilgisi yok ise, opencv gibi teknikler kullanarak, ürünün resminden bu bilgiyi çıkarabilirsiniz.
    CRM dışında örneklere bakacak olursak
  6. Kombinli Satışın Plasiyer etkisi : Kombinli olarak satılan ürünlerde, plasiyer (satış danışmanı) etkisinin olup olmadığının tespit edilmesi
  7. Başarılı Plasiyer Sistemi : Bağımsız değişkenlerin, plasiyer başarısına etkisinin olup olmadığının tespit edilerek, yeni eleman alımlarında bunun göz önünde bulundurulması
  8. Ürün başarı nedenleri : Satılan ürünün başarısının, bileşenleri ile analizi ve yeni ürün geliştirmede kullanılması (a.k.a. Besim)
  9. Yeni mağaza açma : Yeni açılacak mağazanın yerinin, nüfus, gelir seviyesi, aynı caddede bulunan diğer mağazalar gibi bağımsız değişkenlerle tespit edilmesi
  10. Çalışan Terketme 😛 : Çalışanlarınızın istifa edeceğini önceden tespit etmek. Bu mümkün mü evet mümkün ama bence çok zor ve riskli bir uygulama 🙂
  11. Çocuklar büyüyor : Çocuklar için alışveriş yapan müşterilerin, veri ile çocuklarının büyümesinin tespit edilip, önerilerde bu verinin kullanılması.
  12. Biten ürün : Raf ömrü belli olan ürünlerde, müşterinin ürünü bittiğinde kendisine o ürünü (uygun fiyatla) önerilmesi.

Hem Big Data hem de Machine Learning ile ilgili ayrı ayrı bilgi edindik. Şimdi geldi bunları Perakende ocağında pişirip birleştirmeye. Fakat yazımızın ilk bölümü burada bitiyor. Bir sonraki bölümde Pelin the Planner ile ilgili bir hikaye ile BD ve ML uygulamalarından bahsedeceğiz. İkinci yazı önümüzdeki hafta bugünlerde yayınlanır diye düşünüyorum. Görüşmek üzere.