source: orange/Orange/testing/unit/tests/test_svm.py @ 10698:cde0f38fd92f

Revision 10698:cde0f38fd92f, 8.4 KB checked in by Ales Erjavec <ales.erjavec@…>, 2 years ago (diff)

Doctest fix.

RevLine 
[10641]1try:
2    import unittest2 as unittest
3except:
4    import unittest
5   
[8971]6import Orange
[10617]7from Orange.classification.svm import SVMLearner, SVMLearnerSparse, \
[10680]8                            ScoreSVMWeights, LinearSVMLearner, \
9                            MultiClassSVMLearner, RFE, \
[10617]10                            get_linear_svm_weights, \
[10584]11                            example_weighted_sum
[10641]12from Orange.classification import svm                           
[7903]13from Orange.classification.svm.kernels import BagOfWords, RBFKernelWrapper
[10655]14from Orange.testing import testing
15from Orange.testing.testing import datasets_driven, test_on_datasets, test_on_data
[7903]16import orange
17
[10579]18import copy
19
[10573]20import pickle
[10579]21import numpy as np
[10573]22
[10641]23def multiclass_from1vs1(dec_values, class_var):
[10579]24    n_class = len(class_var.values)
25    votes = [0] * n_class
26    p = 0
27    for i in range(n_class - 1):
28        for j in range(i + 1, n_class):
29            val = dec_values[p]
30            if val > 0:
31                votes[i] += 1
32            else:
33                votes[j] += 1
34            p += 1
35    max_i = np.argmax(votes)
36    return class_var(int(max_i))
37   
38   
[10573]39def svm_test_binary_classifier(self, data):
40    if isinstance(data.domain.class_var, Orange.feature.Discrete):
41        # Test binary classifiers equivalence. 
42        classes = data.domain.class_var.values
43        bin_cls = []
44        # Collect all binary classifiers
45        for i in range(len(classes) - 1):
46            for j in range(i + 1, len(classes)):
47                bin_cls.append(self.classifier.get_binary_classifier(i, j))
48               
49        pickled_bin_cls = pickle.loads(pickle.dumps(bin_cls))
50       
51        indices = Orange.data.sample.SubsetIndices2(p0=0.2)
[10579]52        sample = data.select(indices(data), 0)
53       
[10664]54        learner = copy.copy(self.learner)
[10579]55        learner.probability = False 
56        classifier_no_prob = learner(data)
[10573]57       
58        for inst in sample:
59            d_val = list(self.classifier.get_decision_values(inst))
60            d_val_b = [bc.get_decision_values(inst)[0] for bc in bin_cls]
61            d_val_b1 = [bc.get_decision_values(inst)[0] for bc in pickled_bin_cls]
62            for v1, v2, v3 in zip(d_val, d_val_b, d_val_b1):
63                self.assertAlmostEqual(v1, v2, places=3)
64                self.assertAlmostEqual(v1, v3, places=3)
[10579]65           
66            prediction_1 = classifier_no_prob(inst)
67            d_val = classifier_no_prob.get_decision_values(inst)
[10641]68            prediciton_2 = multiclass_from1vs1(d_val, classifier_no_prob.class_var)
[10579]69            self.assertEqual(prediction_1, prediciton_2)
70           
[8378]71datasets = testing.CLASSIFICATION_DATASETS + testing.REGRESSION_DATASETS
72@datasets_driven(datasets=datasets)
[7903]73class LinearSVMTestCase(testing.LearnerTestCase):
74    LEARNER = SVMLearner(name="svm-lin", kernel_type=SVMLearner.Linear)
[10278]75
[10573]76    @test_on_data
77    def test_learner_on(self, dataset):
78        testing.LearnerTestCase.test_learner_on(self, dataset)
79        svm_test_binary_classifier(self, dataset)
80       
[10584]81   
[10641]82    # Don't test on "monks" the coefs are really large and
83    @test_on_datasets(datasets=["iris", "brown-selected", "lenses", "zoo"])
84    def test_linear_classifier_weights_on(self, dataset):
[10584]85        # Test get_linear_svm_weights
86        classifier = self.LEARNER(dataset)
87        weights = get_linear_svm_weights(classifier, sum=True)
88       
89        weights = get_linear_svm_weights(classifier, sum=False)
90       
91        n_class = len(classifier.class_var.values)
92       
93        def class_pairs(n_class):
94            for i in range(n_class - 1):
95                for j in range(i + 1, n_class):
96                    yield i, j
97                   
98        l_map = classifier._get_libsvm_labels_map()
[10641]99   
100        for inst in dataset[:20]:
101            dec_values = classifier.get_decision_values(inst)
102           
103            for dec_v, weight, rho, pair in zip(dec_values, weights,
104                                    classifier.rho, class_pairs(n_class)):
105                t_inst = Orange.data.Instance(classifier.domain, inst)                   
106                dec_v1 = example_weighted_sum(t_inst, weight) - rho
107                self.assertAlmostEqual(dec_v, dec_v1, 4)
108                   
109    @test_on_datasets(datasets=testing.REGRESSION_DATASETS)
110    def test_linear_regression_weights_on(self, dataset):
111        predictor = self.LEARNER(dataset)
112        weights = get_linear_svm_weights(predictor)
[10584]113       
[10641]114        for inst in dataset[:20]:
115            t_inst = Orange.data.Instance(predictor.domain, inst)
116            prediction = predictor(inst)
117            w_sum = example_weighted_sum(t_inst, weights)
118            self.assertAlmostEqual(float(prediction), 
119                                   w_sum - predictor.rho[0],
120                                   places=4)
[10584]121       
[10641]122
[8378]123@datasets_driven(datasets=datasets)
[7903]124class PolySVMTestCase(testing.LearnerTestCase):
125    LEARNER = SVMLearner(name="svm-poly", kernel_type=SVMLearner.Polynomial)
[10573]126   
127    @test_on_data
128    def test_learner_on(self, dataset):
129        testing.LearnerTestCase.test_learner_on(self, dataset)
130        svm_test_binary_classifier(self, dataset)
131       
[10278]132
[8378]133@datasets_driven(datasets=datasets)
[7903]134class RBFSVMTestCase(testing.LearnerTestCase):
135    LEARNER = SVMLearner(name="svm-RBF", kernel_type=SVMLearner.RBF)
[10573]136   
137    @test_on_data
138    def test_learner_on(self, dataset):
139        testing.LearnerTestCase.test_learner_on(self, dataset)
140        svm_test_binary_classifier(self, dataset)
[10664]141
[8378]142@datasets_driven(datasets=datasets)
[7903]143class SigmoidSVMTestCase(testing.LearnerTestCase):
144    LEARNER = SVMLearner(name="svm-sig", kernel_type=SVMLearner.Sigmoid)
[10573]145   
146    @test_on_data
147    def test_learner_on(self, dataset):
148        testing.LearnerTestCase.test_learner_on(self, dataset)
149        svm_test_binary_classifier(self, dataset)
[10278]150
[8971]151
[10617]152def to_sparse(data):
153    domain = Orange.data.Domain([], data.domain.class_var)
154    domain.add_metas(dict([(Orange.core.newmetaid(), v) for v in data.domain.attributes]))
155    return Orange.data.Table(domain, data)
[10278]156
[10617]157def sparse_data_iter():
158    for name, (data, ) in testing.datasets_iter(datasets):
159        yield name, (to_sparse(data), )
[10278]160
[10617]161@testing.data_driven(data_iter=sparse_data_iter())
162class SparseSVMTestCase(testing.LearnerTestCase):
163    LEARNER = SVMLearnerSparse(name="svm-sparse")
164   
165    @test_on_data
166    def test_learner_on(self, dataset):
167        testing.LearnerTestCase.test_learner_on(self, dataset)
168        svm_test_binary_classifier(self, dataset)
169
[10664]170
[8378]171@datasets_driven(datasets=datasets)
[7903]172class CustomWrapperSVMTestCase(testing.LearnerTestCase):
173    LEARNER = SVMLearner
[10278]174
[8136]175    @test_on_data
[7903]176    def test_learner_on(self, data):
177        """ Test custom kernel wrapper
178        """
[10574]179        if data.domain.has_continuous_attributes():
180            dist = orange.ExamplesDistanceConstructor_Euclidean(data)
181        else:
182            dist = orange.ExamplesDistanceConstructor_Hamming(data)
[8378]183        self.learner = self.LEARNER(kernel_type=SVMLearner.Custom,
[10574]184                                    kernel_func=RBFKernelWrapper(dist, gamma=0.5))
[10278]185
[8378]186        testing.LearnerTestCase.test_learner_on(self, data)
[10574]187        svm_test_binary_classifier(self, data)
[10278]188
[8136]189@datasets_driven(datasets=testing.CLASSIFICATION_DATASETS)
[7903]190class TestLinLearner(testing.LearnerTestCase):
[10680]191    LEARNER = LinearSVMLearner
192   
193   
194@datasets_driven(datasets=testing.CLASSIFICATION_DATASETS)
195class TestMCSVMLearner(testing.LearnerTestCase):
196    LEARNER = MultiClassSVMLearner
[10278]197
198
[8378]199@datasets_driven(datasets=datasets)
[10617]200class TestScoreSVMWeights(testing.MeasureAttributeTestCase):
201    MEASURE = ScoreSVMWeights()
202   
[10685]203@datasets_driven(datasets=testing.CLASSIFICATION_DATASETS)
204class TestScoreSVMWeightsWithMCSVM(testing.MeasureAttributeTestCase):
205    MEASURE = ScoreSVMWeights(learner=MultiClassSVMLearner())
206   
[8136]207@datasets_driven(datasets=["iris"])
[8378]208class TestRFE(testing.DataTestCase):
[8136]209    @test_on_data
[7903]210    def test_rfe_on(self, data):
211        rfe = RFE()
212        num_selected = min(5, len(data.domain.attributes))
213        reduced = rfe(data, num_selected)
214        self.assertEqual(len(reduced.domain.attributes), num_selected)
[10249]215        scores = rfe.get_attr_scores(data, stop_at=num_selected)
[7903]216        self.assertEqual(len(data.domain.attributes) - num_selected, len(scores))
217        self.assertTrue(set(reduced.domain.attributes).isdisjoint(scores.keys()))
[10278]218
[7903]219    def test_pickle(self):
220        import cPickle
221        rfe = RFE()
[10249]222        copy = cPickle.loads(cPickle.dumps(rfe))
[7903]223
[10664]224def load_tests(loader, tests, ignore):
225    import doctest
[10698]226    tests.addTests(doctest.DocTestSuite(svm))
[10664]227    return tests
[10641]228
[7903]229if __name__ == "__main__":
[10278]230    unittest.main()
Note: See TracBrowser for help on using the repository browser.