Data science workflow a radaradat-elemzésben

Abstract

Az adatelemzés a 21. század egyik leginkább felkapott szakterülete. Ennek egyik oka vélhetően a fejlett, neurális hálózatokon alapuló gépi tanulási algoritmusok megjelenése, amivel a lehetőségek látszólag korlátlanok. Ebből következően azon cégeknek, amelyek nem szeretnének a versenyben lemaradni, komoly energiákat kell ebbe a területbe fektetni. Sokszor azonban elsikkadnak a gépi tanuló algoritmus futtatása előtti teendők, az adatok tisztítása, transzformálása, a felhasználni kívánt modellnek megfelelő magyarázó változók előállítása, amelyek sok esetben nagyobb hatást gyakorolnak az eredményre, mint a választott gépi tanuló algoritmus vagy annak paraméterei [1]. Számos ingyenes eszköz elérhető több különböző programozási nyelvben, amivel ezek a munka­folyamatok hatékonyan végezhetők, de az ATM1-fókuszú radaradat-elemzésben egyedi elemző eszközök fejlesztése is szükséges lehet. A cikk célja, hogy egy ilyen eszközzel szemben támasztott követelmények egy részhalmazát konkrét példákon keresztül bemutassa.

Data science is one of the hottest topics in the 21st century. The reason for this is probably the emergence of advanced machine learning algorithms based on neural networks, with which the possibilities seem to be endless. Therefore, those companies which do not want to be left behind, have to invest in this field heavily. However, most of the time the tasks that need to be done before applying machine learning algorithms do not get enough attention. These are data cleaning, filtering, transforming, feature engineering, which can affect the accuracy of the model more than the selection of the algorithm or its parameters. Quite a few tools are available for free, which makes the data science workflow efficient, although in data analysis focusing on ATM developing bespoke software is often necessary. The article aims to present the most common requirements of that through examples and a small case study.