Дерева рішень є найдавнішим алгоритмом аналізу даних. Роботи в цьому напрямку розчали Ховленд (Hoveland) та Хант (Hunt) у 1950-х роках.

Дерева рішень – це спосіб представлення правил в ієрархічно послідовній структурі, де кожному об’єкту відповідає лише єдиний кінцевий вузол, що надає відповідь.

Під правилом розуміють логічну конструкцію, що надана у вигляді «Якщо А, Тоді Б»

Термінологія

• Об’єкт – Приклад, шаблон, спостереження
• Атрибут – Властивість, ознака, незалежна змінна
• Мітка класу – Залежна змінна, цільова змінна, ознака, що визначає клас об’єкту.
• Вузол – Внутрішній вузол дерева, вузол перевірки.
• Лист – Кінцевий вузол дерева, вузол відповіді.
• Перевірка – умова у вузлі.

Для прикладу розглянемо задачу оцінювання ризику при кредитуванні фізичних осіб, тобто визначення кредитоспроможності потенційного клієнта.