Пропускане към основното съдържание

перфектният ми.не английски

Easy Connect [the crawler]


Software Specification

The purpose of this document is to describe the required software development in order to be created a software instrument (a tool for crawling) that includes the following parts:





•    Gathering information for companies and making profiles of them with the products they offer. (Crawling)

•    User interface for managing – the crawler and the information which is gathered. 

•    Sending offers via e-mail.

•    Sorting the results.



















Date:     20.09.2015
Version:    1.0
Document Owner:     todor.panayotov@gmail.com



















Software Architecture:


As a solution we are using three different types of crawlers written on Perl/ Python or NodeJS.
Redis as a temporary storage while we are building the companies profiles.
NoSQL and Node Webkit for the User Interface.


•    The following Diagram 0-A explains how the tool should work on:

Diagram 0 A




Crawlers and back end:


This chapter describes why we need three types of crawlers and Redis as middle layer storage.
No matter from the chosen technology the logic should be as it’s shown on:
Diagrams 0-B, 0-C, 0-D    

Wide Range Crawler:

Diagram 0 B

Network Crawler:

Diagram 0 C

Website Crawler:



Diagram 0 D


Use cases:


General use case is shown on Diagram 0-E
But there can be and will be plenty and diverse use cases for managing the user interface.






Diagram 0 E



User Interface:


We use the Node Webkit as a technology for building the User Interface.
Based on the rule keep it simple, design should be intuitive and UX oriented.



Diagram 0 F



NB: On Diagram 0-F, I show only a Wire Frame, not actual design!  


Development:



Depends on human resources we may have various approaches:
In Diagram 0-G it is shown one example how the project can be plan and executed with 4 people.
•    Project Manager
•    UI/UX Designer with knowledge of Node Webkit
•    Backend Developer with knowledge of Perl/Python or NodeJS for the Crawlers
•    Data Base Developer with knowledge of NoSQL, Redis and Big Data technologies 




Diagram 0 G


Document Information:


   
Date:     20.09.2015
Version:    1.0
Document Owner:     todor.panayotov@gmail.com

Коментари

Популярни публикации от този блог

Не равносметката ми за 2015!

Живота нито е равен, нито може да му се държи сметка! От къде да започна? От обаждането на бившата ми приятелка на връх Коледа, за да ми каже, че три годишният ни лабрадор Барт е бил блъснат от кола и починал на празника? От това, че само шест месеца по-рано казахме последно сбогом на обичната ни баба? От това, че през живота ми премина синеоко момиче, което така обичаше да си играе с ръцете ми, че душата ми ставаше по-мека?   За нечовешкият труд и разочарованието от непосилната задача да видиш мечтите си в реалност? За семейството и приятелите ми, които не ми обръщат гръб , нищо че понякога дори аз не мога да се понасям? За това, че ще ставам чичо за първи път и за прекрасният човек, с който семейството ни се увеличи и който застава рамо до рамо с брат ми по пътя на живота? За това, че в сърцето ми все още има музика, ръцете ми са пълни с работа, а мечтите не спират да рисуват цветното бъдеще за всичко, което винаги съм искал? Как да тегля чертата? Кое от кое трябва да

Mестен феодал през 2011г?

Дата е 29.09.2011г. - Докато аз се готвя за протестите на 08.10.2011, против добива на шистовият  газ в  България, основната тема са размириците за случая Катунуца. Местен феодал? Това словосъчетание, някак си ме притесни. Дали защото в България все още има феодали или защото самите ние даваме титли. Както титла, която се дава след битка с неприятел или враг и победения признава правото на победителя за Феодал, Деспот, Цар или Диктатор. Очевидно когато бойното поле е вътре във нас ние винаги ще сме победените и ще трябва да признаваме правото на други хора да са господари над бита ни, с титли или без. А титлите са много, някой се използват и сега, други са забравени във времето или се появяват когато най-малко ги очакваш, но има и титли които все още не са дошли. Такива титли си чакат човека сам да ги извика. Иска ми се да видя малко повече титли като господа и дами, да се разхождат покрай мен вместо сегашните генерал, командир или феодал през 2011г.

Яж , нали си свободен!

Вълкът, все се хвалел пред кучето, че може да е гладен, но поне е свободен. Все така му разправял. - Свобода братко, свобода. Само свободата е истински важна в този живот. Но ти не цениш свободата, защото теб те хранят и все на топло спиш, там в стадото. Нали те виждаме всяка вечер. Мислело си кучето, мислело и наистина живота му се строил празен. Слугува я на господаря си, я на неговите овце, че и го бият от време на време. И така на кучето му се приискало на вълк да става. И то да гледа от горе на живота, да скита в планината, без господар и без грижи. Макар и малко гладно и да записва на студено , само свободно да е. Решило се и избягало посред нощ и право при вълците да каже, че е един от тях. - Яж, нали си свободен.- Му казал вълкът , когато глутницата се спуснала към беззащитното стадо. Измаменото куче си помислило, че вълкът нрава си не мини , но и то няма да стане свободено, ако се нахвърли върху своите.