Ignore:
Timestamp:
02/06/12 17:39:53 (2 years ago)
Author:
lanumek
Branch:
default
rebase_source:
aeea356a746ae91cb578766fe56376f160e20257
Message:

documentation for regression: lasso, linear, pls

File:
1 edited

Legend:

Unmodified
Added
Removed
  • Orange/regression/linear.py

    r9725 r9776  
    66.. index:: regression, linear model 
    77 
    8 .. _`Linear regression`: http://en.wikipedia.org/wiki/Linear_regression 
    9  
    10 Example :: 
    11  
    12     >>> from Orange.regression import linear 
    13     >>> table = Orange.data.Table("housing") 
    14     >>> c = linear.LinearRegressionLearner(table) 
    15     >>> print c 
    16      
    17       Variable  Coeff Est  Std Error    t-value          p 
     8.. `Linear regression`: http://en.wikipedia.org/wiki/Linear_regression 
     9 
     10 
     11`Linear regression <http://en.wikipedia.org/wiki/Linear_regression>`_ is a statistical regression method 
     12which tries to predict a value of a continuous response (class) variable based on the values of several predictors. 
     13The model assumes that the response variable is a linear combination of the predictors, the task of linear regression 
     14is therefore to fit the unknown coefficients. 
     15 
     16To fit the regression parameters on housing data set use the following code: 
     17 
     18.. literalinclude:: code/linear-example.py 
     19   :lines: 7,9,10,11 
     20    
     21 
     22.. autoclass:: LinearRegressionLearner 
     23    :members: 
     24 
     25.. autoclass:: LinearRegression 
     26    :members: 
     27 
     28Utility functions 
     29----------------- 
     30 
     31.. autofunction:: stepwise 
     32 
     33 
     34======== 
     35Examples 
     36======== 
     37 
     38========== 
     39Prediction 
     40========== 
     41 
     42Predict values of the first 5 data instances 
     43 
     44.. literalinclude:: code/linear-example.py 
     45   :lines: 13-15 
     46 
     47The output of this code is 
     48 
     49:: 
     50 
     51    Actual: 24.000, predicted: 30.004  
     52    Actual: 21.600, predicted: 25.026  
     53    Actual: 34.700, predicted: 30.568  
     54    Actual: 33.400, predicted: 28.607  
     55    Actual: 36.200, predicted: 27.944    
     56 
     57========================= 
     58Poperties of fitted model 
     59========================= 
     60 
     61 
     62Print regression coefficients with standard errors, t-scores, p-values 
     63and significances  
     64 
     65.. literalinclude:: code/linear-example.py 
     66   :lines: 17 
     67 
     68The code output is 
     69 
     70:: 
     71 
     72    Variable  Coeff Est  Std Error    t-value          p 
    1873     Intercept     36.459      5.103      7.144      0.000   *** 
    1974          CRIM     -0.108      0.033     -3.287      0.001    ** 
     
    3186         LSTAT     -0.525      0.051    -10.347      0.000   *** 
    3287    Signif. codes:  0 *** 0.001 ** 0.01 * 0.05 . 0.1 empty 1 
    33         
    34     >>>  
    35  
    36  
    37 .. autoclass:: LinearRegressionLearner 
    38     :members: 
    39  
    40 .. autoclass:: LinearRegression 
    41     :members: 
    42  
    43 Utility functions 
    44 ----------------- 
    45  
    46 .. autofunction:: stepwise 
     88 
     89 
     90 
     91=================== 
     92Stepwise regression 
     93=================== 
     94 
     95To use stepwise regression initialize learner with stepwise=True. 
     96The upper and lower bound for significance are contolled with 
     97add_sig and remove_sig. 
     98 
     99.. literalinclude:: code/linear-example.py 
     100   :lines: 20-23,25 
     101 
     102As you can see from the output the non-significant coefficients 
     103have been removed from the output 
     104 
     105:: 
     106 
     107    Variable  Coeff Est  Std Error    t-value          p 
     108     Intercept     36.341      5.067      7.171      0.000   *** 
     109         LSTAT     -0.523      0.047    -11.019      0.000   *** 
     110            RM      3.802      0.406      9.356      0.000   *** 
     111       PTRATIO     -0.947      0.129     -7.334      0.000   *** 
     112           DIS     -1.493      0.186     -8.037      0.000   *** 
     113           NOX    -17.376      3.535     -4.915      0.000   *** 
     114          CHAS      2.719      0.854      3.183      0.002    ** 
     115             B      0.009      0.003      3.475      0.001   *** 
     116            ZN      0.046      0.014      3.390      0.001   *** 
     117          CRIM     -0.108      0.033     -3.307      0.001    ** 
     118           RAD      0.300      0.063      4.726      0.000   *** 
     119           TAX     -0.012      0.003     -3.493      0.001   *** 
     120    Signif. codes:  0 *** 0.001 ** 0.01 * 0.05 . 0.1 empty 1 
     121 
    47122 
    48123 
     
    57132    from scipy import stats 
    58133except ImportError: 
    59     import Orange.statc as stats 
     134    import statc as stats 
    60135 
    61136from numpy import dot, sqrt 
     
    97172            regression model. If None (default) all variables are used 
    98173        :type use_vars: list of Orange.data.variable or None 
    99         :param stepwise: if True, _`stepwise regression`: 
    100             http://en.wikipedia.org/wiki/Stepwise_regression 
     174        :param stepwise: if True, `stepwise regression 
     175            <http://en.wikipedia.org/wiki/Stepwise_regression>`_ 
    101176            based on F-test is performed. The significance parameters are 
    102177            add_sig and remove_sig 
     
    268343    .. attribute:: coefficients 
    269344 
    270         list of regression coefficients. If the intercept is included 
    271         the first item corresponds to the estimated intercept 
     345        Regression coefficients stored in list. If the intercept is included 
     346        the first item corresponds to the estimated intercept. 
    272347 
    273348    .. attribute:: std_error 
    274349 
    275         list of standard errors of the coefficient estimator.     
     350        Standard errors of the coefficient estimator, stored in list.     
    276351 
    277352    .. attribute:: t_scores 
    278353 
    279         list of t-scores for the estimated regression coefficients     
     354        List of t-scores for the estimated regression coefficients.     
    280355 
    281356    .. attribute:: p_vals 
    282357 
    283         list of p-values for the null hypothesis that the regression 
     358        List of p-values for the null hypothesis that the regression 
    284359        coefficients equal 0 based on t-scores and two sided 
    285         alternative hypothesis     
     360        alternative hypothesis.     
    286361 
    287362    .. attribute:: dict_model 
    288363 
    289         dictionary of statistical properties of the model. 
     364        Statistical properties of the model in a dictionary: 
    290365        Keys - names of the independent variables (or "Intercept") 
    291366        Values - tuples (coefficient, standard error, 
     
    294369    .. attribute:: fitted 
    295370 
    296         estimated values of the dependent variable for all instances 
    297         from the training table 
     371        Estimated values of the dependent variable for all instances 
     372        from the training table. 
    298373 
    299374    .. attribute:: residuals 
    300375 
    301         differences between estimated and actual values of the 
    302         dependent variable for all instances from the training table 
     376        Differences between estimated and actual values of the 
     377        dependent variable for all instances from the training table. 
    303378 
    304379    .. attribute:: m 
    305380 
    306         number of independent variables     
     381        Number of independent (predictor) variables.     
    307382 
    308383    .. attribute:: n 
    309384 
    310         number of instances     
     385        Number of instances.     
    311386 
    312387    .. attribute:: mu_y 
    313388 
    314         the sample mean of the dependent variable     
     389        Sample mean of the dependent variable.     
    315390 
    316391    .. attribute:: r2 
    317392 
    318         _`coefficient of determination`: 
    319         http://en.wikipedia.org/wiki/Coefficient_of_determination 
     393        `Coefficient of determination 
     394        <http://en.wikipedia.org/wiki/Coefficient_of_determination>`_. 
     395 
    320396 
    321397    .. attribute:: r2adj 
    322398 
    323         adjusted coefficient of determination 
     399        Adjusted coefficient of determination. 
    324400 
    325401    .. attribute:: sst, sse, ssr 
    326402 
    327         total sum of squares, explained sum of squares and 
    328         residual sum of squares respectively 
     403        Total sum of squares, explained sum of squares and 
     404        residual sum of squares respectively. 
    329405 
    330406    .. attribute:: std_coefficients 
    331407 
    332         standardized regression coefficients 
     408        Standardized regression coefficients. 
    333409 
    334410    """    
     
    467543@deprecated_keywords({"addSig": "add_sig", "removeSig": "remove_sig"}) 
    468544def stepwise(table, weight, add_sig=0.05, remove_sig=0.2): 
    469     """ Performs _`stepwise linear regression`: 
    470     http://en.wikipedia.org/wiki/Stepwise_regression 
     545    """ Performs `stepwise linear regression 
     546    <http://en.wikipedia.org/wiki/Stepwise_regression>`_: 
    471547    on table and returns the list of remaing independent variables 
    472548    which fit a significant linear regression model.coefficients 
Note: See TracChangeset for help on using the changeset viewer.