source: orange/Orange/OrangeWidgets/Data/OWPythonScript.py @ 10462:f615f9bb8348

Revision 10462:f615f9bb8348, 22.2 KB checked in by Ales Erjavec <ales.erjavec@…>, 2 years ago (diff)

Added unicode filename support for save/load widgets.

Line 
1"""
2<name>Python Script</name>
3<description>Executes python script.</description>
4<icon>icons/PythonScript.png</icon>
5<contact>Miha Stajdohar (miha.stajdohar(@at@)gmail.com)</contact> 
6<priority>3150</priority>
7"""
8from OWWidget import *
9
10import sys, traceback
11import OWGUI
12import Orange
13
14import code
15
16
17class PythonSyntaxHighlighter(QSyntaxHighlighter):
18    def __init__(self, parent=None):
19        self.keywordFormat = QTextCharFormat()
20        self.keywordFormat.setForeground(QBrush(Qt.blue))
21        self.keywordFormat.setFontWeight(QFont.Bold)
22        self.stringFormat = QTextCharFormat()
23        self.stringFormat.setForeground(QBrush(Qt.darkGreen))
24        self.defFormat = QTextCharFormat()
25        self.defFormat.setForeground(QBrush(Qt.black))
26        self.defFormat.setFontWeight(QFont.Bold)
27        self.commentFormat = QTextCharFormat()
28        self.commentFormat.setForeground(QBrush(Qt.lightGray))
29        self.decoratorFormat = QTextCharFormat()
30        self.decoratorFormat.setForeground(QBrush(Qt.darkGray))
31       
32        self.keywords = ["def", "if", "else", "elif", "for", "while", "with", "try", "except",
33                         "finally", "not", "in", "lambda", "None", "import", "class", "return", "print",
34                         "yield", "break", "continue", "raise", "or", "and", "True", "False", "pass",
35                         "from", "as"]
36        self.rules = [(QRegExp(r"\b%s\b" % keyword), self.keywordFormat) for keyword in self.keywords] + \
37                     [(QRegExp(r"\bdef\s+([A-Za-z_]+[A-Za-z0-9_]+)\s*\("), self.defFormat),
38                      (QRegExp(r"\bclass\s+([A-Za-z_]+[A-Za-z0-9_]+)\s*\("), self.defFormat),
39                      (QRegExp(r"'.*'"), self.stringFormat),
40                      (QRegExp(r'".*"'), self.stringFormat),
41                      (QRegExp(r"#.*"), self.commentFormat),
42                      (QRegExp(r"@[A-Za-z_]+[A-Za-z0-9_]+"), self.decoratorFormat)]
43                     
44        QSyntaxHighlighter.__init__(self, parent)
45       
46    def highlightBlock(self, text):
47        for pattern, format in self.rules:
48            exp = QRegExp(pattern)
49            index = exp.indexIn(text)
50            while index >= 0:
51                length = exp.matchedLength()
52                if exp.numCaptures() > 0:
53                    self.setFormat(exp.pos(1), len(str(exp.cap(1))), format)
54                else:
55                    self.setFormat(exp.pos(0), len(str(exp.cap(0))), format)
56                index = exp.indexIn(text, index + length)
57               
58        ## Multi line strings
59        start = QRegExp(r"(''')|" + r'(""")')
60        end = QRegExp(r"(''')|" + r'(""")')
61        self.setCurrentBlockState(0)
62        startIndex, skip = 0, 0
63        if self.previousBlockState() != 1:
64            startIndex, skip = start.indexIn(text), 3
65        while startIndex >= 0:
66            endIndex = end.indexIn(text, startIndex + skip)
67            if endIndex == -1:
68                self.setCurrentBlockState(1)
69                commentLen = len(text) - startIndex
70            else:
71                commentLen = endIndex - startIndex + 3
72            self.setFormat(startIndex, commentLen, self.stringFormat)
73            startIndex, skip = start.indexIn(text, startIndex + commentLen + 3), 3
74               
75class PythonScriptEditor(QPlainTextEdit):
76    INDENT = 4
77    def lastLine(self):
78        text = str(self.toPlainText())
79        pos = self.textCursor().position()
80        index = text.rfind("\n", 0, pos)
81        text = text[index: pos].lstrip("\n")
82        return text
83   
84    def keyPressEvent(self, event):
85        if event.key() == Qt.Key_Return:
86            text = self.lastLine()
87            indent = len(text) - len(text.lstrip())
88            if text.strip() == "pass" or text.strip().startswith("return"):
89                indent = max(0, indent - self.INDENT)
90            elif text.strip().endswith(":"):
91                indent += self.INDENT
92            QPlainTextEdit.keyPressEvent(self, event)
93            self.insertPlainText(" " * indent)
94        elif event.key() == Qt.Key_Tab:
95            self.insertPlainText(" " * self.INDENT)
96        elif event.key() == Qt.Key_Backspace:
97            text = self.lastLine()
98            if text and not text.strip():
99                cursor = self.textCursor()
100                for i in range(min(self.INDENT, len(text))):
101                    cursor.deletePreviousChar()
102            else:
103                QPlainTextEdit.keyPressEvent(self, event)
104               
105        else:
106            QPlainTextEdit.keyPressEvent(self, event)
107       
108class PythonConsole(QPlainTextEdit, code.InteractiveConsole):
109    def __init__(self, locals = None, parent=None):
110        QPlainTextEdit.__init__(self, parent)
111        code.InteractiveConsole.__init__(self, locals)
112        self.history, self.historyInd = [""], 0
113        self.loop = self.interact()
114        self.loop.next()
115       
116    def setLocals(self, locals):
117        self.locals = locals
118       
119    def interact(self, banner=None):
120        try:
121            sys.ps1
122        except AttributeError:
123            sys.ps1 = ">>> "
124        try:
125            sys.ps2
126        except AttributeError:
127            sys.ps2 = "... "
128        cprt = 'Type "help", "copyright", "credits" or "license" for more information.'
129        if banner is None:
130            self.write("Python %s on %s\n%s\n(%s)\n" %
131                       (sys.version, sys.platform, cprt,
132                        self.__class__.__name__))
133        else:
134            self.write("%s\n" % str(banner))
135        more = 0
136        while 1:
137            try:
138                if more:
139                    prompt = sys.ps2
140                else:
141                    prompt = sys.ps1
142                self.new_prompt(prompt)
143                yield
144                try:
145                    line = self.raw_input(prompt)
146                except EOFError:
147                    self.write("\n")
148                    break
149                else:
150                    more = self.push(line)
151            except KeyboardInterrupt:
152                self.write("\nKeyboardInterrupt\n")
153                self.resetbuffer()
154                more = 0
155               
156    def raw_input(self, prompt):
157        input = str(self.document().lastBlock().previous().text())
158        return input[len(prompt):]
159       
160    def new_prompt(self, prompt):
161        self.write(prompt)
162        self.newPromptPos = self.textCursor().position()
163       
164    def write(self, data):
165        cursor = QTextCursor(self.document())
166        cursor.movePosition(QTextCursor.End, QTextCursor.MoveAnchor)
167        cursor.insertText(data)
168        self.setTextCursor(cursor)
169        self.ensureCursorVisible()
170       
171    def push(self, line):
172        if self.history[0] != line:
173            self.history.insert(0, line)
174        self.historyInd = 0
175        more = 0
176        saved = sys.stdout, sys.stderr
177        try:
178            sys.stdout, sys.stderr = self, self
179            return code.InteractiveConsole.push(self, line)
180        finally:
181            sys.stdout, sys.stderr = saved
182           
183    def setLine(self, line):
184        cursor = QTextCursor(self.document())
185        cursor.movePosition(QTextCursor.End)
186        cursor.setPosition(self.newPromptPos, QTextCursor.KeepAnchor)
187        cursor.removeSelectedText()
188        cursor.insertText(line)
189        self.setTextCursor(cursor)
190       
191    def keyPressEvent(self, event):
192        if event.key() == Qt.Key_Return:
193            self.write("\n")
194            self.loop.next()
195        elif event.key() == Qt.Key_Up:
196            self.historyUp()
197        elif event.key() == Qt.Key_Down:
198            self.historyDown()
199        elif event.key() == Qt.Key_Tab:
200            self.complete()
201        elif event.key() in [Qt.Key_Left, Qt.Key_Backspace]:
202            if self.textCursor().position() > self.newPromptPos:
203                QPlainTextEdit.keyPressEvent(self, event)
204        else:
205            QPlainTextEdit.keyPressEvent(self, event)
206           
207    def historyUp(self):
208        self.setLine(self.history[self.historyInd])
209        self.historyInd = min(self.historyInd + 1, len(self.history) - 1)
210       
211    def historyDown(self):
212        self.setLine(self.history[self.historyInd])
213        self.historyInd = max(self.historyInd - 1, 0)
214       
215    def complete(self):
216        pass
217   
218from OWItemModels import PyListModel, ModelActionsWidget
219
220class Script(object):
221    Modified = 1
222    MissingFromFilesystem = 2 
223    def __init__(self, name, script, flags=0, sourceFileName=None):
224        self.name = name
225        self.script = script
226        self.flags = flags
227        self.sourceFileName = sourceFileName
228        self.modifiedScript = None
229
230class ScriptItemDelegate(QStyledItemDelegate):
231    def __init__(self, parent):
232        QStyledItemDelegate.__init__(self, parent)
233       
234    def displayText(self, variant, locale):
235        script = variant.toPyObject()
236        if script.flags & Script.Modified:
237            return QString("*" + script.name)
238        else:
239            return QString(script.name)
240   
241    def paint(self, painter, option, index):
242        script = index.data(Qt.DisplayRole).toPyObject()
243        tmp_palette = None
244        if script.flags & Script.Modified:
245            option = QStyleOptionViewItemV4(option)
246            option.palette.setColor(QPalette.Text, QColor(Qt.red))
247            option.palette.setColor(QPalette.Highlight, QColor(Qt.darkRed))
248        QStyledItemDelegate.paint(self, painter, option, index)
249
250       
251    def createEditor(self, parent, option, index):
252        return QLineEdit(parent)
253   
254    def setEditorData(self, editor, index):
255        script = index.data(Qt.DisplayRole).toPyObject()
256        editor.setText(script.name)
257       
258    def setModelData(self, editor, model, index):
259        model[index.row()].name = str(editor.text())
260       
261class OWPythonScript(OWWidget):
262   
263    settingsList = ["codeFile", "libraryListSource", "currentScriptIndex", "splitterState"]
264                   
265    def __init__(self, parent=None, signalManager=None):
266        OWWidget.__init__(self, parent, signalManager, 'Python Script')
267       
268        self.inputs = [("in_data", ExampleTable, self.setExampleTable), ("in_distance", orange.SymMatrix, self.setDistanceMatrix), ("in_network", Orange.network.Graph, self.setNetwork), ("in_learner", orange.Learner, self.setLearner), ("in_classifier", orange.Classifier, self.setClassifier)]
269        self.outputs = [("out_data", ExampleTable), ("out_distance", orange.SymMatrix), ("out_network", Orange.network.Graph), ("out_learner", orange.Learner), ("out_classifier", orange.Classifier, Dynamic)]
270       
271        self.in_data = None
272        self.in_network = None
273        self.in_distance = None
274        self.in_learner = None
275        self.in_classifier = None
276       
277        self.codeFile = ''
278        self.libraryListSource = [Script("Hello world", "print 'Hello world'\n")]
279        self.currentScriptIndex = 0
280        self.splitterState = None
281        self.loadSettings()
282       
283        for s in self.libraryListSource:
284            s.flags = 0
285       
286        self._cachedDocuments = {}
287       
288        self.infoBox = OWGUI.widgetBox(self.controlArea, 'Info')
289        label = OWGUI.label(self.infoBox, self, "<p>Execute python script.</p><p>Input variables:<ul><li> " + \
290                    "<li>".join(t[0] for t in self.inputs) + "</ul></p><p>Output variables:<ul><li>" + \
291                    "<li>".join(t[0] for t in self.outputs) + "</ul></p>")
292        self.libraryList = PyListModel([], self, flags=Qt.ItemIsSelectable | Qt.ItemIsEnabled | Qt.ItemIsEditable)
293#        self.libraryList.append(Script("Hello world", "print 'Hello world'\n"))
294        self.libraryList.wrap(self.libraryListSource)
295       
296        self.controlBox = OWGUI.widgetBox(self.controlArea, 'Library')
297        self.controlBox.layout().setSpacing(1)
298        self.libraryView = QListView()
299        self.libraryView.pyqtConfigure(editTriggers=QListView.DoubleClicked | QListView.SelectedClicked)
300        self.libraryView.setSizePolicy(QSizePolicy.Ignored, QSizePolicy.Preferred)
301        self.libraryView.setItemDelegate(ScriptItemDelegate(self))
302        self.libraryView.setModel(self.libraryList)
303        self.connect(self.libraryView.selectionModel(), SIGNAL("selectionChanged(QItemSelection, QItemSelection)"), self.onSelectedScriptChanged)
304        self.controlBox.layout().addWidget(self.libraryView)
305        w = ModelActionsWidget()
306       
307        self.addNewScriptAction = action = QAction("+", self)
308        action.pyqtConfigure(toolTip="Add a new script to the library")
309        self.connect(action, SIGNAL("triggered()"), self.onAddScript)
310        new_empty = QAction("Add a new empty script", action)
311        new_from_file = QAction("Add a new script from a file", action)
312        self.connect(new_empty, SIGNAL("triggered()"), self.onAddScript)
313        self.connect(new_from_file, SIGNAL("triggered()"), self.onAddScriptFromFile)
314        menu = QMenu(w)
315        menu.addAction(new_empty)
316        menu.addAction(new_from_file)
317       
318#        action.setMenu(menu)
319        button = w.addAction(action)
320       
321        self.removeAction = action = QAction("-", self)
322        action.pyqtConfigure(toolTip="Remove script from library")
323        self.connect(action, SIGNAL("triggered()"), self.onRemoveScript)
324        w.addAction(action)
325       
326        action = QAction("Update", self)
327        action.pyqtConfigure(toolTip="Save changes in the editor to library")
328        action.setShortcut(QKeySequence(QKeySequence.Save))
329        self.connect(action, SIGNAL("triggered()"), self.commitChangesToLibrary)
330        b = w.addAction(action)
331#        b.setSizePolicy(QSizePolicy.MinimumExpanding, QSizePolicy.Fixed)
332       
333        action = QAction("More", self)
334        action.pyqtConfigure(toolTip="More actions") #, icon=self.style().standardIcon(QStyle.SP_ToolBarHorizontalExtensionButton))
335       
336        self.openScriptFromFileAction = new_from_file = QAction("Import a script from a file", self)
337        self.saveScriptToFile = save_to_file = QAction("Save selected script to a file", self)
338        save_to_file.setShortcut(QKeySequence(QKeySequence.SaveAs))
339       
340        self.connect(new_from_file, SIGNAL("triggered()"), self.onAddScriptFromFile)
341        self.connect(save_to_file, SIGNAL("triggered()"), self.saveScript)
342       
343        menu = QMenu(w)
344        menu.addAction(new_from_file)
345        menu.addAction(save_to_file)
346        action.setMenu(menu)
347        b = w.addAction(action)
348        b.setPopupMode(QToolButton.InstantPopup) 
349        ## TODO: set the space for the indicator
350       
351        w.layout().setSpacing(1)
352       
353        self.controlBox.layout().addWidget(w)
354                   
355#        OWGUI.button(self.controlBox, self, "Open...", callback=self.openScript)
356#        OWGUI.button(self.controlBox, self, "Save...", callback=self.saveScript)
357       
358        self.runBox = OWGUI.widgetBox(self.controlArea, 'Run')
359        OWGUI.button(self.runBox, self, "Execute", callback=self.execute)
360       
361        self.splitCanvas = QSplitter(Qt.Vertical, self.mainArea)
362        self.mainArea.layout().addWidget(self.splitCanvas)
363       
364        self.defaultFont = defaultFont = "Monaco" if sys.platform == "darwin" else "Courier"
365        self.textBox = OWGUI.widgetBox(self, 'Python script')
366        self.splitCanvas.addWidget(self.textBox)
367        self.text = PythonScriptEditor(self)
368        self.textBox.layout().addWidget(self.text)
369       
370        self.textBox.setAlignment(Qt.AlignVCenter)
371        self.text.setTabStopWidth(4)
372       
373        self.connect(self.text, SIGNAL("modificationChanged(bool)"), self.onModificationChanged)
374       
375        self.saveAction = action = QAction("&Save", self.text)
376        action.pyqtConfigure(toolTip="Save script to file")
377        action.setShortcut(QKeySequence(QKeySequence.Save))
378        action.setShortcutContext(Qt.WidgetWithChildrenShortcut)
379        self.connect(action, SIGNAL("triggered()"), self.saveScript)
380       
381        self.consoleBox = OWGUI.widgetBox(self, 'Console')
382        self.splitCanvas.addWidget(self.consoleBox)
383        self.console = PythonConsole(self.__dict__, self)
384        self.consoleBox.layout().addWidget(self.console)
385        self.console.document().setDefaultFont(QFont(defaultFont))
386        self.consoleBox.setAlignment(Qt.AlignBottom)
387        self.console.setTabStopWidth(4)
388       
389        self.openScript(self.codeFile)
390        try:
391            self.libraryView.selectionModel().select(self.libraryList.index(self.currentScriptIndex), QItemSelectionModel.ClearAndSelect)
392        except Exception:
393            pass
394        self.splitCanvas.setSizes([2, 1])
395        if self.splitterState is not None:
396            self.splitCanvas.restoreState(QByteArray(self.splitterState))
397       
398        self.connect(self.splitCanvas, SIGNAL("splitterMoved(int, int)"), lambda pos, ind: setattr(self, "splitterState", str(self.splitCanvas.saveState())))
399        self.controlArea.layout().addStretch(1)
400        self.resize(800,600)
401       
402    def setExampleTable(self, et):
403        self.in_data = et
404       
405    def setDistanceMatrix(self, dm):
406        self.in_distance = dm
407       
408    def setNetwork(self, net):
409        self.in_network = net
410       
411    def setLearner(self, learner):
412        self.in_learner = learner
413       
414    def setClassifier(self, classifier):
415        self.in_classifier = classifier
416       
417    def selectedScriptIndex(self):
418        rows = self.libraryView.selectionModel().selectedRows()
419        if rows:
420            return  [i.row() for i in rows][0]
421        else:
422            return None
423       
424    def setSelectedScript(self, index):
425        selection = self.libraryView.selectionModel()
426        selection.select(self.libraryList.index(index), QItemSelectionModel.ClearAndSelect)
427       
428    def onAddScript(self, *args):
429        self.libraryList.append(Script("New script", "", 0))
430        self.setSelectedScript(len(self.libraryList) - 1)
431       
432    def onAddScriptFromFile(self, *args):
433        file = QFileDialog.getOpenFileName(self, 'Open Python Script', self.codeFile, 'Python files (*.py)\nAll files(*.*)')
434        file = unicode(file)
435        if file:
436            name = os.path.basename(file)
437            self.libraryList.append(Script(name, open(file, "rb").read(), 0, file))
438            self.setSelectedScript(len(self.libraryList) - 1)
439   
440    def onRemoveScript(self, *args):
441        index = self.selectedScriptIndex()
442        if index is not None:
443            del self.libraryList[index]
444            self.libraryView.selectionModel().select(self.libraryList.index(max(index - 1, 0)), QItemSelectionModel.ClearAndSelect)
445   
446    def onSaveScriptToFile(self, *args):
447        index = self.selectedScriptIndex()
448        if index is not None:
449            self.saveScript()
450           
451    def onSelectedScriptChanged(self, selected, deselected):
452        index = [i.row() for i in selected.indexes()]
453        if index:
454            current = index[0] 
455            if current >= len(self.libraryList):
456                self.addNewScriptAction.trigger()
457                return
458            self.text.setDocument(self.documentForScript(current))
459            self.currentScriptIndex = current
460           
461    def documentForScript(self, script=0):
462        if type(script) != Script:
463            script = self.libraryList[script]
464        if script not in self._cachedDocuments:
465            doc = QTextDocument(self)
466            doc.setDocumentLayout(QPlainTextDocumentLayout(doc))
467            doc.setPlainText(script.script)
468            doc.setDefaultFont(QFont(self.defaultFont))
469            doc.highlighter = PythonSyntaxHighlighter(doc)
470            self.connect(doc, SIGNAL("modificationChanged(bool)"), self.onModificationChanged)
471            doc.setModified(False)
472            self._cachedDocuments[script] = doc
473        return self._cachedDocuments[script]
474   
475    def commitChangesToLibrary(self, *args):
476        index = self.selectedScriptIndex()
477        if index is not None:
478            self.libraryList[index].script = self.text.toPlainText()
479            self.text.document().setModified(False)
480            self.libraryList.emitDataChanged(index)
481           
482    def onModificationChanged(self, modified):
483        index = self.selectedScriptIndex()
484        if index is not None:
485            self.libraryList[index].flags = Script.Modified if modified else 0
486            self.libraryList.emitDataChanged(index)
487       
488    def updateSelecetdScriptState(self):
489        index = self.selectedScriptIndex()
490        if index is not None:
491            script = self.libraryList[index]
492            self.libraryList[index] = Script(script.name, self.text.toPlainText(), 0)
493           
494    def openScript(self, filename=None):
495        if filename == None:
496            filename = unicode(QFileDialog.getOpenFileName(self, 'Open Python Script',
497                               self.codeFile, 'Python files (*.py)\nAll files(*.*)'))
498            self.codeFile = filename
499        else:
500            self.codeFile = filename
501           
502        if self.codeFile == "":
503            return
504           
505        self.error(0)
506        try:
507            f = open(self.codeFile, 'r')
508        except (IOError, OSError), ex:
509            self.text.setPlainText("")
510            return
511       
512        self.text.setPlainText(f.read())
513        f.close()
514   
515    def saveScript(self):
516        index = self.selectedScriptIndex()
517        if index is not None:
518            script = self.libraryList[index]
519            filename = script.sourceFileName or self.codeFile
520        else:
521            filename = self.codeFile
522        filename = QFileDialog.getSaveFileName(self, 'Save Python Script',
523                            filename, 'Python files (*.py)\nAll files(*.*)') 
524        self.codeFile = unicode(filename)
525       
526        if self.codeFile:
527            fn = ""
528            head, tail = os.path.splitext(self.codeFile)
529            if not tail:
530                fn = head + ".py"
531            else:
532                fn = self.codeFile
533           
534            f = open(fn, 'w')
535            f.write(self.text.toPlainText())
536            f.close()
537           
538    def execute(self):
539        self._script = str(self.text.toPlainText())
540        self.console.write("\nRunning script:\n")
541        self.console.push("exec(_script)")
542        self.console.new_prompt(sys.ps1)
543        for out in self.outputs:
544            signal = out[0]
545            self.send(signal, getattr(self, signal, None))
546
547if __name__=="__main__":   
548    appl = QApplication(sys.argv)
549    ow = OWPythonScript()
550    ow.show()
551    appl.exec_()
552    ow.saveSettings()
Note: See TracBrowser for help on using the repository browser.