Ignore:
Timestamp:
02/06/12 17:39:53 (2 years ago)
Author:
lanumek
Branch:
default
rebase_source:
aeea356a746ae91cb578766fe56376f160e20257
Message:

documentation for regression: lasso, linear, pls

File:
1 edited

Legend:

Unmodified
Added
Removed
  • Orange/regression/lasso.py

    r9671 r9776  
    1010 
    1111 
    12 Example :: 
    13  
    14     >>> from Orange.regression import lasso 
    15     >>> table = Orange.data.Table("housing") 
    16     >>> c = lasso.LassoRegressionLearner(table) 
    17     >>> print c 
    18      
    19       Variable  Coeff Est  Std Error          p 
    20      Intercept     22.533 
    21           CRIM     -0.044      0.030      0.510       
    22             ZN      0.013      0.010      0.660       
    23          INDUS     -0.003      0.023      0.980       
    24           CHAS      2.318      1.304      0.200       
    25            NOX     -7.530      2.803      0.370       
    26             RM      4.231      0.819      0.000   *** 
    27            DIS     -0.710      0.130      0.070     . 
    28            RAD      0.074      0.029      0.510       
    29            TAX     -0.004      0.002      0.560       
    30        PTRATIO     -0.821      0.095      0.000   *** 
    31              B      0.007      0.002      0.170       
    32          LSTAT     -0.503      0.085      0.000   *** 
    33     Signif. codes:  0 *** 0.001 ** 0.01 * 0.05 . 0.1 empty 1 
    34  
    35  
    36     For 1 variable the regression coefficient equals 0:  
    37     AGE 
    38         
    39     >>>  
    40  
     12`The Lasso <http://www-stat.stanford.edu/~tibs/lasso/lasso.pdf>`_ is a shrinkage 
     13and selection method for linear regression. It minimizes the usual sum of squared 
     14errors, with a bound on the sum of the absolute values of the coefficients.  
     15 
     16To fit the regression parameters on housing data set use the following code: 
     17 
     18.. literalinclude:: code/lasso-example.py 
     19   :lines: 7,9,10,11 
    4120 
    4221.. autoclass:: LassoRegressionLearner 
     
    4625    :members: 
    4726 
     27 
     28.. autoclass:: LassoRegressionLearner 
     29    :members: 
     30 
     31.. autoclass:: LassoRegression 
     32    :members: 
     33 
    4834Utility functions 
    4935----------------- 
     
    5440 
    5541.. autofunction:: permute_responses 
     42 
     43 
     44======== 
     45Examples 
     46======== 
     47 
     48To predict values of the response for the first five instances 
     49use the code 
     50 
     51.. literalinclude:: code/lasso-example.py 
     52   :lines: 14,15 
     53 
     54Output 
     55 
     56:: 
     57 
     58    Actual: 24.00, predicted: 24.58  
     59    Actual: 21.60, predicted: 23.30  
     60    Actual: 34.70, predicted: 24.98  
     61    Actual: 33.40, predicted: 24.78  
     62    Actual: 36.20, predicted: 24.66  
     63 
     64To see the fitted regression coefficients, print the model 
     65 
     66.. literalinclude:: code/lasso-example.py 
     67   :lines: 17 
     68 
     69The output 
     70 
     71:: 
     72 
     73    Variable  Coeff Est  Std Error          p 
     74     Intercept     22.533 
     75          CRIM     -0.000      0.023      0.480       
     76         INDUS     -0.010      0.023      0.300       
     77            RM      1.303      0.994      0.000   *** 
     78           AGE     -0.002      0.000      0.320       
     79       PTRATIO     -0.191      0.209      0.050     . 
     80         LSTAT     -0.126      0.105      0.000   *** 
     81    Signif. codes:  0 *** 0.001 ** 0.01 * 0.05 . 0.1 empty 1 
     82 
     83 
     84    For 7 variables the regression coefficient equals 0:  
     85    ZN 
     86    CHAS 
     87    NOX 
     88    DIS 
     89    RAD 
     90    TAX 
     91    B 
     92 
     93shows that some of the regression coefficients are equal to 0.     
     94 
     95 
     96 
     97 
    5698 
    5799""" 
     
    265307    .. attribute:: coef0 
    266308 
    267         intercept (sample mean of the response variable)     
     309        Intercept (sample mean of the response variable).     
    268310 
    269311    .. attribute:: coefficients 
    270312 
    271         list of regression coefficients.  
     313        Regression coefficients, sotred in list.  
    272314 
    273315    .. attribute:: std_errors_fixed_t 
    274316 
    275         list of standard errors of the coefficient estimator for the fixed 
     317        Standard errors of the coefficient estimator for the fixed 
    276318        tuning parameter t. The standard errors are estimated using 
    277319        bootstrapping method. 
     
    279321    .. attribute:: p_vals 
    280322 
    281         list of p-values for the null hypothesis that the regression 
    282         coefficients equal 0 based on non-parametric permutation test 
     323        List of p-values for the null hypothesis that the regression 
     324        coefficients equal 0 based on non-parametric permutation test. 
    283325 
    284326    .. attribute:: dict_model 
    285327 
    286         dictionary of statistical properties of the model. 
     328        Statistical properties of the model stored in dictionary: 
    287329        Keys - names of the independent variables 
    288330        Values - tuples (coefficient, standard error, p-value)  
     
    290332    .. attribute:: mu_x 
    291333 
    292         the sample mean of the all independent variables     
     334        Sample mean of the all independent variables.     
    293335 
    294336    """  
Note: See TracChangeset for help on using the changeset viewer.