Propriedades estatísticas de palavras turcas

Para reconhecimento de voz, OCR, etc., a determinação das propriedades estruturais de uma linguagem natural é essencial. Essas propriedades podem ser analisadas em duas categorias diferentes; análise morfológica e estatística. Para a análise estatística, é necessário um corpus que seja uma amostra representativa da linguagem natural. As frequências de n-gramas de palavras desse corpus podem ser determinadas usando algoritmos adequados e n-gramas ausentes podem ser estimados usando técnicas de suavização. Neste estudo, para comparar e aplicar técnicas de suavização ao turco, foi criado um corpus denominado TurCo. Para calcular a palavra n-gramas, diferentes algoritmos foram testados. Depois de encontrar listas de palavras n-grama, suas características foram analisadas. Para generalização, a Lei de Zipf foi aplicada, e para aumentar a precisão na Lei de Zipf, a Lei de Mandelbrot foi aplicada encontrando as constantes apropriadas de Mandelbrot. Como o corpus não pode ser grande o suficiente para representar toda a linguagem, técnicas de suavização foram usadas para estimar a palavra invisível n-gramas. Este estudo pode ajudar os profissionais que trabalham com reconhecimento de fala, criptanálise e reconhecimento de autor em turco.