Statistische eigenschappen van Turkse woorden

Voor spraakherkenning, OCR, etc. is het bepalen van de structurele eigenschappen van een natuurlijke taal essentieel. Deze eigenschappen kunnen onder twee verschillende categorieën worden geanalyseerd; morfologische en statistische analyse. Voor statistische analyse is een corpus nodig dat een representatieve steekproef is van de natuurlijke taal. Woord-n-gram-frequenties van dat corpus kunnen worden bepaald met behulp van geschikte algoritmen en ontbrekende n-grammen kunnen worden geschat met behulp van afvlakkingstechnieken. In deze studie werd een corpus genaamd TurCo gecreëerd om afvlakkingstechnieken op het Turks te vergelijken en toe te passen. Om woord-n-grammen te berekenen, zijn verschillende algoritmen getest. Na het vinden van woordenlijsten van n gram, werden hun kenmerken geanalyseerd. Voor generalisatie werd de wet van Zipf toegepast, en om de nauwkeurigheid van de wet van Zipf te vergroten, werd de wet van Mandelbrot toegepast door de juiste constanten van Mandelbrot te vinden. Omdat het corpus niet groot genoeg kon zijn om de hele taal weer te geven, werden afvlakkingstechnieken gebruikt om het onzichtbare woord n-gram te schatten. Deze studie kan professionals helpen die werken aan spraakherkenning, cryptanalyse en auteurherkenning in het Turks.