Technológia
Kattints a nagyobb képért
A LogDrill először indexeli a betöltött logokat. Ennek köszönhetően bármikor le lehet fúrni az eredeti logsorokig az elemzés későbbi szakaszaiban.
- Ezután azonos alakra hozza őket (normalizáló funkció). Ennek köszönhető a kiemelkedő elemzési sebesség (akár 130 000 EPS/core) és a különböző forrásból származó logokat összekapcsolhatósága.
- A LogDrill ezután számosság-kockát készít a logokból, és az elemző által meghatározott parancsokból. Ezen az információcsomagon sokszor és gyorsan futtathatók lekérdezések.
- A lekérdezések eredménye azonnal vizualizálható, riportolható, az eredmények pedig importálhatók más elemzőeszközökbe.
Nagy adathalmazok esetében még egy tapasztalt elemző számára isproblémát okozhat, hogy megtalálja egy-egy probléma forrását, ezért több elemzést kell lefuttatni ugyanazon az adathalmazon, több különböző megközelítést ellenőrizni. Ha egy lekérdezés óráik tart, az összességében jelentős késést és rengeteg problémát okoz, például hackertámadás esetén. A LogDrill képes lerövidíteni az elemzési folyamatokat, mivel különleges működési elvének köszönhetően párbeszédet tesz lehetővé az elemző és az óriási adathalmaz közt. Az első konfiguráció után azonnal elemezhetőek a terabájtnyi adathalmazok, és a LogDrill percek alatt kimutatja az eredményeket.
Tekintse meg rövid oktatóvideónkat a LogDrill felhasználói felületéről!
A LogDrill lehetővé teszi a lekérdezések azonnali finomhangolását, így párbeszédet teremt elemző és adatbázis közt.
LogDrill Normalizáló
Mára már egy közepes méretű vállalat IT rendszere is képes napi több GB mennyiségű strukturálatlan adatot termelni. A különböző forrásból származó naplófájlok információértéke óriási, viszont a különböző formátumok miatt elemzésük nehézségekbe ütközik. Még a legelterjedtebb normalizációs eszközök esetében is nagyon lelassulhat a műveletek végrehajtása, ez pedig kihat a teljes elemzési folyamatra. Néhány száz GB adat esetén, nyelvtől függően akár napokkal is kitolódhat az elemzés ideje. A gyorsaság mellett pedig szintén elvárt funkció a standard formátumok automatikus felismerése, viszont tapasztalataink szerint ez sem megy gördülékenyen az esetek többségében.
A LogDrill Normalizálót az ilyen problémák kiküszöbölésére hoztuk létre. Késés nélkül képes elemezhető formára hozni a folyamatosan áramló nyers logokat, így lehetővé teszi a rendszer azonnali vizsgálatát, a különböző forrású adatok összekapcsolt elemzését. Ezen kívül előkészítettük a leggyakoribb logformátumok automatikus felismerésére, konfigurációs modulja segítségével pedig könnyen igazítható minden újabb formátumhoz.
Kompatibilis
A LogDrill Normalizáló különböző csomagokban érhető el, Linux és Windows platformokon egyaránt.
- Egyszerűen integrálható SQL parancssori felület.
- Flume alapú loggyűjtés az elosztott elemzési folyamatok integrálásáért.
- Hadoop integráció az adatok gyors, párhuzamos feldolgozásért.
- A normalizáló képes CSV formátumúra alakítani a nyers logokat, így azok táblázatba illeszthetők, és tovább elemezhetők.
Skálázható
A LogDrill Normalizáló Hadoop infrastruktúrán érhető el, amely lehetővé teszi a fájlok párhuzamos feldolgozását. Ez TB mennyiségű adatok elemzése esetén is csupán néhány percet jelent, így sokkal gyorsabb és megbízhatóbb elemzési feltételeket biztosít, mint a centralizált rendszerek. A terhelés váratlan változásai azonnal kezelhetőek nagyobb erőforrás befektetése vagy a rendszer újrakonfigurálása nélkül.
Egyszerű konfigurálás
A komplex reguláris kifejezések rendkívül hasznosak arra, hogy az eseményeket gyorsan, precízen, formális nyelven rögzítsék, viszont az ilyen leírások későbbi szerkesztése nem megoldható. A LogDrill Normalizálóban ezt a nehézkes megoldást felhasználóbarát moduláris nyelvre cseréltük, így a normalizációs szabályok egyszerűen módosíthatóak.