Application of F-test Method on Model Order Selection and Related Problems (M.Sc. Thesis)

Keywords

Signal Modeling, Linear Models, Parameter Estimation, Model Order Selection, Model Validity, Analysis Window Length Selection, Test of Significance, F-test, Nested Models, Zero-Crossing Estimation, Segmentation.

Abstact

Signal modeling is one of the important topics of signal processing area. The input signal should be modeled with a suitable mathematical model first. In statistics related disciplines, there are information theory based criteria for model order selection topic. In this thesis work, F-test based methods are proposed on model order selection and related problems. F-test is used in statistics related disciplines. However, it is not so widely used in signal processing related problems. Solution approaches for signal processing related problems based on known F-test are contributions of this thesis work. This work is focused on signals in linear spaces.

Fundamentally, F-test is a test of significance. It is used to test whether a signal model is sufficient to model the signal of interest or higher order models are needed. This test is made by using two nested models with different orders. RSS (Residual Sum of Squares) values are calculated for each model and they are compared using F-test. According to the test result, it is determined that whether the lower order model is almost good as the higher order model or the higher order model improves the accuracy significantly. The proposed method is basically an iterative application of F-test. It selects the suitable model order by applying F-test many times.

In this work, some problems related with model order selection topic are solved using F-test based approaches. An analysis window length selection method for zero-crossing point estimation problem using line fit is proposed as the first example. Secondly, a method is proposed for the segmentation of multi tone signals. Similar approach is given as the third example for segmentation of FM signals. As the fourth example, a number of pole selection algorithm is proposed for all-pole signal modeling using Prony’s method. Lastly, a segmentation method for damped sinusoidal signals with Prony’s method is proposed. Simulation results are provided for each five problems.

Download as PDF.

Anahtar Kelimeler

İşaret Modellemesi, Doğrusal Modeller, Parametre Kestirimi, Model Derecesi Seçimi, Model Geçerliliği, Analiz Penceresi Uzunluğu Seçimi, Önemlilik Testi, F-testi, İçiçe Modeller, Sıfır Kesim Noktası Kestirimi, Bölümleme.

Özetçe

İşaret modellemesi, işaret işleme alanının en önemli konularından biridir. Giriş işareti ilk olarak uygun bir matematiksel model ile gösterilmelidir. İstatistik ile ilgili alanlarda, model derecesi seçimi ile ilgili bilgi kuramı tabanlı çeşitli kriterler bulunmaktadır. Bu tez çalışmasında, model derecesi seçimi ve ilgili problemler için F-testi tabanlı bir yöntem önerilmiştir. F-testi, istastik ile ilgili alanlarda kullanılan bir yöntemdir. Bu tez çalışmasının temel katkısı, çeşitli işaret işleme problemleri için F-testi tabanlı çözümler sunmasıdır. Bu çalışma doğrusal uzaylarda bulunan işaretler üzerinedir.

Temel olarak F-testi bir önemlilik testidir. Bu test, bir modelin ilgilenen işareti gösterebilmek için yeterli olup olmadığını, daha yüksek dereceli modellere ihtiyaç duyulup duyulmadığını anlamak için yapılır. Test için farklı derecelerde iki adet içiçe modele ihtiyaç duyulmaktadır. Her iki model için de RSS (Residual Sum of Squares) veya AKT (Artık Kareler Toplamı) değerleri hesaplanır ve bu değerler F-testi kullanılarak karşılaştırılır. Test sonucuna göre, düşük dereceli modelin neredeyse yüksek dereceli model kadar iyi olduğu veya yüksek dereceli modelin modelleme doğruluğunu önemli bir biçimde iyileştirdiği kararı verilir. Önerilen yöntem temel olarak F-testi yönteminin tekrarlamalı olarak kullanmaktadır. Yöntem, uygun olan model derecesini birden fazla F-testi yaparak seçmektedir.

Bu çalışmada, model derecesi seçimi ile ilgili bazı probemler F-testi tabanlı yaklaşımlarla çözülmüştür. İlk olarak, doğru oturtularak yapılan sıfır kesim noktası kestirimi problemi için analiz penceresi uzunluğu seçimi problemine bir yöntem önerilmiştir. İkinci örnek problem olarak, çok tonlu işaretlerin bölümlenmesi problemi incelenmiştir. Benzer bir yaklaşımın FM işaretler için uygulanması üçüncü örnek problem olarak verilmiştir. Dördüncü örnek olarak da, bir işaretin Prony yöntemi ile sadece kutuplu süzgeç çıktısı olarak modellenmesi probleminde kutup sayısı seçimi için bir yöntem önerilmiştir. Son problem ise, sönümlü sinüs işaretlerinden oluşan bir işaretin Prony yöntemi kullanılarak bölümlenmesi üzerinedir. Örnek problemler için benzetim sonuçları sunulmuştur.

PDF olarak indirin. (İngilizce)

Created:

Updated: