Machine Learning (ML) Hadoop система, базирана на Python
Предоставяне на лицензиран софтуер, програмен код в първичен вид (C#, Python) и конфигурационни файлове, служещи като база за бъдещо развитие на Machine Learning (ML) Hadoop система.
Запитване за лиценз
Какво включва лицензът
- Лицензиран софтуерГотова система за работа с тригери по данни в Hadoop и ML управление.
- Програмен код в първичен видИзходен код на C# и Python.
- Конфигурационни файловеВключително конфигурацията за „OLTP in-memory“.
Процедура за работа с набор от тригери по данни в Hadoop
Процедурата се изпълнява през определен период от време (ОПВ) – например първоначално 1 секунда. ОПВ може да се променя периодично от ML системата според характера на данните (напр. средната величина до момента).
- Създаване на външна таблица от данните в Hadoop, от които се правят тригерите. Една външна таблица съдържа от 1 до n тригера, т.е. представлява набор от тригери. Допустимо е да има групи от такива външни таблици, създадени от различни множества от данни. Всяко множество е съставено от данни в Hadoop с единен параметър „date-timestamp“, който служи като Primary Key на външната таблица.
- Добавяне на нов ред в таблица със същата структура, но in-memory – създава се многоредова таблица с Primary Key параметъра „date-timestamp“.
- Сравнение на последния добавен ред с предишния. Резултатът от сравнението е флаг equal или different.
- При different за съответния тригер се активира зададената Stored Procedure (при дефинирането на тригера се задава името на Stored Procedure, която да се изпълни при промяна на съдържанието му). Разликата между двата „date-timestamp“ на двата реда (PM2P) се подава към ML системата.
ML система
ML системата се състои от интерфейс с процедурата за работа с тригери (написана на Python, описана по-горе), която чрез управляващ Python код се свързва с Python библиотека, например Scikit-learn или TensorFlow:
- Нова PM2P (получена от процедурата)
- Обучена PM2P (получена от Python библиотеката)
- ОПВ = { средна величина | (обучена PM2P) / 4 | … }
- Новият ОПВ се предава на процедурата
Конфигурация „OLTP in-memory“
Стъпки на конфигурацията:
- Идентифициране на таблицата „in-memory“
- Създаване на Columnstore индекси за всеки тригер
- Свързване на SQL Server 2017 Analysis Services с таблицата in-memory
Имате интерес към лиценз за ML Hadoop?
Свържете се с нас, за да обсъдим условията на лиценза и внедряването в вашата среда.
Свържете се с нас