source: orange/Orange/testing/unit/tests/test_svm.py @ 10655:a228b55811a4

Revision 10655:a228b55811a4, 7.9 KB checked in by markotoplak, 2 years ago (diff)

Moved testing from utils into testing.

Line 
1try:
2    import unittest2 as unittest
3except:
4    import unittest
5   
6import Orange
7from Orange.classification.svm import SVMLearner, SVMLearnerSparse, \
8                            ScoreSVMWeights, LinearLearner, RFE, \
9                            get_linear_svm_weights, \
10                            example_weighted_sum
11from Orange.classification import svm                           
12from Orange.classification.svm.kernels import BagOfWords, RBFKernelWrapper
13from Orange.testing import testing
14from Orange.testing.testing import datasets_driven, test_on_datasets, test_on_data
15import orange
16
17import copy
18
19import pickle
20import numpy as np
21
22def multiclass_from1vs1(dec_values, class_var):
23    n_class = len(class_var.values)
24    votes = [0] * n_class
25    p = 0
26    for i in range(n_class - 1):
27        for j in range(i + 1, n_class):
28            val = dec_values[p]
29            if val > 0:
30                votes[i] += 1
31            else:
32                votes[j] += 1
33            p += 1
34    max_i = np.argmax(votes)
35    return class_var(int(max_i))
36   
37   
38def svm_test_binary_classifier(self, data):
39    if isinstance(data.domain.class_var, Orange.feature.Discrete):
40        # Test binary classifiers equivalence. 
41        classes = data.domain.class_var.values
42        bin_cls = []
43        # Collect all binary classifiers
44        for i in range(len(classes) - 1):
45            for j in range(i + 1, len(classes)):
46                bin_cls.append(self.classifier.get_binary_classifier(i, j))
47               
48        pickled_bin_cls = pickle.loads(pickle.dumps(bin_cls))
49       
50        indices = Orange.data.sample.SubsetIndices2(p0=0.2)
51        sample = data.select(indices(data), 0)
52       
53        learner = copy.copy(self.LEARNER)
54        learner.probability = False 
55        classifier_no_prob = learner(data)
56       
57        for inst in sample:
58            d_val = list(self.classifier.get_decision_values(inst))
59            d_val_b = [bc.get_decision_values(inst)[0] for bc in bin_cls]
60            d_val_b1 = [bc.get_decision_values(inst)[0] for bc in pickled_bin_cls]
61            for v1, v2, v3 in zip(d_val, d_val_b, d_val_b1):
62                self.assertAlmostEqual(v1, v2, places=3)
63                self.assertAlmostEqual(v1, v3, places=3)
64           
65            prediction_1 = classifier_no_prob(inst)
66            d_val = classifier_no_prob.get_decision_values(inst)
67            prediciton_2 = multiclass_from1vs1(d_val, classifier_no_prob.class_var)
68            self.assertEqual(prediction_1, prediciton_2)
69           
70
71datasets = testing.CLASSIFICATION_DATASETS + testing.REGRESSION_DATASETS
72@datasets_driven(datasets=datasets)
73class LinearSVMTestCase(testing.LearnerTestCase):
74    LEARNER = SVMLearner(name="svm-lin", kernel_type=SVMLearner.Linear)
75
76    @test_on_data
77    def test_learner_on(self, dataset):
78        testing.LearnerTestCase.test_learner_on(self, dataset)
79        svm_test_binary_classifier(self, dataset)
80       
81   
82    # Don't test on "monks" the coefs are really large and
83    @test_on_datasets(datasets=["iris", "brown-selected", "lenses", "zoo"])
84    def test_linear_classifier_weights_on(self, dataset):
85        # Test get_linear_svm_weights
86        classifier = self.LEARNER(dataset)
87        weights = get_linear_svm_weights(classifier, sum=True)
88       
89        weights = get_linear_svm_weights(classifier, sum=False)
90       
91        n_class = len(classifier.class_var.values)
92       
93        def class_pairs(n_class):
94            for i in range(n_class - 1):
95                for j in range(i + 1, n_class):
96                    yield i, j
97                   
98        l_map = classifier._get_libsvm_labels_map()
99   
100        for inst in dataset[:20]:
101            dec_values = classifier.get_decision_values(inst)
102           
103            for dec_v, weight, rho, pair in zip(dec_values, weights,
104                                    classifier.rho, class_pairs(n_class)):
105                t_inst = Orange.data.Instance(classifier.domain, inst)                   
106                dec_v1 = example_weighted_sum(t_inst, weight) - rho
107                self.assertAlmostEqual(dec_v, dec_v1, 4)
108                   
109    @test_on_datasets(datasets=testing.REGRESSION_DATASETS)
110    def test_linear_regression_weights_on(self, dataset):
111        predictor = self.LEARNER(dataset)
112        weights = get_linear_svm_weights(predictor)
113       
114        for inst in dataset[:20]:
115            t_inst = Orange.data.Instance(predictor.domain, inst)
116            prediction = predictor(inst)
117            w_sum = example_weighted_sum(t_inst, weights)
118            self.assertAlmostEqual(float(prediction), 
119                                   w_sum - predictor.rho[0],
120                                   places=4)
121       
122
123@datasets_driven(datasets=datasets)
124class PolySVMTestCase(testing.LearnerTestCase):
125    LEARNER = SVMLearner(name="svm-poly", kernel_type=SVMLearner.Polynomial)
126   
127    @test_on_data
128    def test_learner_on(self, dataset):
129        testing.LearnerTestCase.test_learner_on(self, dataset)
130        svm_test_binary_classifier(self, dataset)
131       
132
133@datasets_driven(datasets=datasets)
134class RBFSVMTestCase(testing.LearnerTestCase):
135    LEARNER = SVMLearner(name="svm-RBF", kernel_type=SVMLearner.RBF)
136   
137    @test_on_data
138    def test_learner_on(self, dataset):
139        testing.LearnerTestCase.test_learner_on(self, dataset)
140        svm_test_binary_classifier(self, dataset)
141       
142       
143@datasets_driven(datasets=datasets)
144class SigmoidSVMTestCase(testing.LearnerTestCase):
145    LEARNER = SVMLearner(name="svm-sig", kernel_type=SVMLearner.Sigmoid)
146   
147    @test_on_data
148    def test_learner_on(self, dataset):
149        testing.LearnerTestCase.test_learner_on(self, dataset)
150        svm_test_binary_classifier(self, dataset)
151       
152
153
154def to_sparse(data):
155    domain = Orange.data.Domain([], data.domain.class_var)
156    domain.add_metas(dict([(Orange.core.newmetaid(), v) for v in data.domain.attributes]))
157    return Orange.data.Table(domain, data)
158
159def sparse_data_iter():
160    for name, (data, ) in testing.datasets_iter(datasets):
161        yield name, (to_sparse(data), )
162
163@testing.data_driven(data_iter=sparse_data_iter())
164class SparseSVMTestCase(testing.LearnerTestCase):
165    LEARNER = SVMLearnerSparse(name="svm-sparse")
166   
167    @test_on_data
168    def test_learner_on(self, dataset):
169        testing.LearnerTestCase.test_learner_on(self, dataset)
170        svm_test_binary_classifier(self, dataset)
171
172 
173@datasets_driven(datasets=datasets)
174class CustomWrapperSVMTestCase(testing.LearnerTestCase):
175    LEARNER = SVMLearner
176
177    @test_on_data
178    def test_learner_on(self, data):
179        """ Test custom kernel wrapper
180        """
181        if data.domain.has_continuous_attributes():
182            dist = orange.ExamplesDistanceConstructor_Euclidean(data)
183        else:
184            dist = orange.ExamplesDistanceConstructor_Hamming(data)
185        self.learner = self.LEARNER(kernel_type=SVMLearner.Custom,
186                                    kernel_func=RBFKernelWrapper(dist, gamma=0.5))
187
188        testing.LearnerTestCase.test_learner_on(self, data)
189        svm_test_binary_classifier(self, data)
190
191
192@datasets_driven(datasets=testing.CLASSIFICATION_DATASETS)
193class TestLinLearner(testing.LearnerTestCase):
194    LEARNER = LinearLearner
195
196
197@datasets_driven(datasets=datasets)
198class TestScoreSVMWeights(testing.MeasureAttributeTestCase):
199    MEASURE = ScoreSVMWeights()
200   
201
202@datasets_driven(datasets=["iris"])
203class TestRFE(testing.DataTestCase):
204    @test_on_data
205    def test_rfe_on(self, data):
206        rfe = RFE()
207        num_selected = min(5, len(data.domain.attributes))
208        reduced = rfe(data, num_selected)
209        self.assertEqual(len(reduced.domain.attributes), num_selected)
210        scores = rfe.get_attr_scores(data, stop_at=num_selected)
211        self.assertEqual(len(data.domain.attributes) - num_selected, len(scores))
212        self.assertTrue(set(reduced.domain.attributes).isdisjoint(scores.keys()))
213
214    def test_pickle(self):
215        import cPickle
216        rfe = RFE()
217        copy = cPickle.loads(cPickle.dumps(rfe))
218
219
220if __name__ == "__main__":
221    unittest.main()
Note: See TracBrowser for help on using the repository browser.