城市管理數據治理與分析展示系統需求說明

城市管理數據治理與分析展示系統需求說明1、城市管理數據治理與分析展示系統升級改造1.1 數據匯聚對接為加快完善以環衛全流程為核心的業務數據專題、數據分析專題數據庫建設，本期項目需對新建垃圾分類、環衛系統產生的數據進行匯聚，動態更新數據資源目錄清單，并保障好與“穗智管”平臺的數據對接。1.1.1 數據采集服務垃圾分類數據管理系統、市城市管理智慧環衛系統于2021年建設完成，本期項目建設主要是對升級改造功能產生的數據進行清洗和梳理工作，對城市管理數據質量進行全面的監控和提升。綜合性城市管理數據庫作為市智慧城市管理的數據資源中心，用于歸集城市管理信息模塊的格式化和非格式化數據，并通過現有已建立的信息系統元數據標準規范，對分散、多樣化的數據進行清洗、轉換、分類、集成等操作，對數據質量進行全面的監控和提升，加載到對應的數據庫中，并對所有數據資源進行實時監控和異常監控。同時，由于綜合性城市管理數據庫歸集了所有的核心數據，相關數據的服務接口統一通過數據管理平臺，向各業務系統、可視化展示分析輸出數據服務。1、數據總體架構數據源：數據源包括新建的垃圾分類數據管理系統、市城市管理智慧環衛系統。數據梳理：根據已有數據標準規范，采用已建的大數據平臺，對接入的系統數據進行處理。（1）結構化數據對于結構化數據，經過加載、抽取、轉換、清洗、比對等處理后，按照數據分類和分層進行存儲。（2）非結構化數據對于非結構化數據，按數據來源和數據類型（如文檔類、圖片類、音頻類、視頻類等）進行存儲目錄規劃，并按數據分析需求進行預處理（如關鍵字標簽）后分別存入結構化數據庫和對象存儲庫中。資源庫：對數據進行處理后形成業務管理子專題庫、業務運行子專題庫。（1）業務管理子專題庫包括分類小區數據、分類投放點數據、投放人數據等。（2）業務運行子專題庫包括清掃保潔數據、機械化作業數據、公廁保潔數據等。2、數據匯聚范圍本次匯聚的系統范圍如下：序號模塊名稱主要數據項1垃圾分類數據管理系統垃圾收集點數據、各類垃圾量數據等2市城市管理智慧環衛系統公廁數據、保潔數據等3、數據調研對本期需要接入的系統，涉及的業務對象和業務范疇進行梳理，包括業務對象梳理和精細化業務梳理兩部分內容。業務對象梳理：對本期接入的各個數據系統按照管理業務、基本對象、子對象、公用屬性、對象屬性等維度進行詳細梳理，為數據規范化提供支撐。精細化業務梳理：對本期接入的各個數據系統按照管理業務、業務大類、業務數據對應系統等維度進行詳細梳理，為數據規范化提供支撐；調研的內容包括數據和業務流程兩部分。業務部門的數據都與其業務密切相關，在調研報告的輸出中，需要詳細闡述被調研部門的業務現狀。4、數據匯聚流程數據采集是將綜合性城市管理數據庫所需要的業務數據從本次新建的業務應用系統中采集出來并建立原始庫的過程。數據采集的方式通常有以全量/增量方式從各類主流數據庫、各類文件（txt、excel、csv等）采集的結構化數據；5、數據采集方式配置在確定需要進行采集的數據后，通過判斷將要采集數據類型，使用已建的大數據平臺-采集任務配置工具來配置相應的數據采集方式，其中結構化數據采用數據庫直接采集方式，非結構化數據采用文件采集方式，單機數據和紙質文檔數據采用手工輸入方式。6、數據采集頻率配置默認采用T+1的采集周期方式，在每天凌晨零點30分（為了消除各業務系統和采集系統時間不一致導致的增量數據丟失問題，不以0點開始，往后推遲30分鐘）的時候開始進行數據采集。對于有特殊時間要求，但未達到實時的數據，根據業務系統的壓力和采集時間等情況進行綜合分析，采用準實時(時間單位為分鐘或小時)的采集周期。對于實時性要求比較高的數據，采用實時(時間單位為秒或分鐘)的采集周期，各業務系統將數據實時推送到前置機。數據同步方式選擇為了最大程度減少對原始業務系統的影響和最大程度減少采集任務配置的復雜度，本次采用業內常用的標準，1百萬條記錄為平衡點：對于數量小于1百萬以下的數據表，采用全量采集方式。采集速度快，配置簡單。對于數據量大于1百萬的表，采用增量同步方式。如果有時間戳字段，采用時間戳的方式。不需要每次都同步全表數據，提高采集效率。考慮到業務的影響以及部署的復雜性等相關因素，本次項目將結合接入系統的實際情況，主要采取時間戳的方式進行數據增量同步。7、數據采集任務配置對不同采集源數據的采集作業進行圖形化配置，包括關系型數據庫、非關系數據庫、業務文件、服務接口數據等。1.1.2 數據處理服務數據處理服務主要實現對數據采集庫數據的清洗、轉換、翻譯、校驗、去重、合并處理，并將相關的表合并成標準表和寬表，將雜亂的數據變為有序、干凈和高質，提升數據價值，為主題庫的創建和數據分析應用提供基礎。1、數據清洗數據清洗是對數據校驗出不符合標準的數據進行清洗處理的過程。（1）清洗規則配置清洗規則配置是按照數據規范標準要求，根據實際業務情況，配置清洗的規則，不同數據源數據的清洗規則配置通過模板、標識進行管理。數據清洗包括但不限于以下內容：缺失值清洗：對每個字段都計算其缺失值比例，然后按照缺失比例和字段重要性，分別制定策略。格式內容清洗：格式不一致：日期、全半角等顯示格式不一致，要統一成統一的格式。內容中有不該存在的字符：去除首尾空格或者出現了格式之外的字符，以半自動半人工的方式找出問題，去掉不需要的字符。邏輯錯誤清洗：主要是去掉一些使用簡單邏輯推理就可以直接發現問題的數據，去除不合理值。（2）清洗任務調度清洗任務調度主要針對已配置的清洗任務進行實時調度或周期性調度，包括任務的啟動、停止、暫停、重啟等調度方式。（3）清洗結果查詢清洗結果查詢提供每次清洗工作完成后，對形成的新數據進行查詢的功能。包括清洗時間、清洗數據條數，清洗前數據值、清洗后數據值等。3、數據加工（1）數據比對數據比對是將采集來源不同的但具有業務關聯性質的數據進行相互比對，通過比對規則配置，篩選出比對不一致數據的過程。比對規則配置：將來源于不同系統但包含同一對象信息的數據源進行比對，不同數據源數據的比對規則配置通過模板、標識進行管理。比對周期配置：比對周期包括實時比對，定期比對。（2）數據轉換數據轉換是將比對出的不一致數據進行針對性圖形化轉換處理的過程。轉換規則配置：轉換規則配置是根據實際業務情況，針對比對不一致數據配置轉換的規則，不同數據源數據的轉換規則配置通過模板、標識進行管理。轉換任務調度：轉換任務調度主要針對已配置的轉換任務進行實時調度或周期性調度，包括任務的啟動、停止、暫停、重啟等調度方式。轉換結果查詢：轉換結果查詢提供每次轉換工作完成后，對形成的新數據進行查詢的功能。包括轉換時間、轉換數據條數，轉換前數據值、轉換后數據值等。（3）數據合并關聯：對關聯表的數據進行相關的JOIN操作，將多張表的數據關聯成一個表。合并：對多來源的表進行合并操作，如案件基本信息表，來自不同系統，需要根據實際業務情況進行合并，并添加數據來源字段。1.2 數據主題庫建設本期項目數據主題庫初步設計如下，具體以項目實施為準：序號數據及數據項1分類小區數據：標識碼、名稱、地址、坐標X、坐標Y、面積、戶數2分類投放點數據：標識碼、名稱、地址、坐標X、坐標Y3分類收集點數據：標識碼、名稱、地址、坐標X、坐標Y4投放垃圾桶數據：標識碼、編號、地址、容量5投放人數據：人員姓名、所示區域、所屬小區等6監督員數據：標識碼、名稱、類型、地址、坐標X、坐標Y、啟用日期、建筑面積、垃圾來源分類、垃圾分類狀態、日均垃圾收集量、日清運次數7清掃保潔路段數據：行政區劃代碼、路段編號、路段名稱、起點、終點、道路走向、道路等級、路段長度、總面積、主路面積、輔路面積、人行道面積、綠化帶面積、隔離帶面積、是否有護欄8運輸企業數據：行政區劃代碼、企業編號、企業名稱、社會信用代碼、公司負責人、負責人電話、停車場所地址、停車場所面積、總車輛數、自有車輛數、駕駛員數、道路運輸許可證編號、道路運輸許可證有效期結束時間、道路運輸許可證有效期開始時間、運輸處置許可證編號、運輸處置許可證有效期結束時間、運輸處置許可證有效期開始時間9運輸車輛數據：行政區劃代碼、車牌號、企業編號、制造廠商、車輛型號、車輛噸位、停車場所、工作場所10運輸司機信息數據：行政區劃代碼、駕駛證號、姓名、身份證號、性別、年齡、工齡、企業編號11清掃保潔作業數據：行政區劃代碼、路段編號、作業開始時間、作業結束時間、作業車輛類型、作業車輛車牌號、作業車速、有效作業次數、有效作業里程、作業完成率、違規次數12機械作業數據：在線車輛數、作業里程數、作業完成率、車輛違規作業告警類型、告警詳細列表、告警處置13車輛行駛軌跡數據：標識號、車牌號、行駛地址、X坐標、Y坐標14車輛行駛行為數據：標識號、車牌號、異常行為類型、異常行為發生時間、異常行為發生地址、X坐標、Y坐標15人員工作數據：上班打卡時間、上班打卡位置。下班打卡時間、下班打卡位置、作業里程、違規信息16人員軌跡數據：標識號、人員編號、人員名稱、X坐標、Y坐標、時間17中轉站地磅稱重數據：地磅編號、地磅名稱。中轉站名稱、中轉站地址、車牌號、凈重、毛重、皮重、進場時間、稱重時間、離場時間18垃圾分類數據：分類垃圾計量、車輛收運記錄、監督員、所屬垃圾站點、所屬小區19垃圾轉運數據：標識號、轉運車牌號、轉運量等20餐廚垃圾數據：餐飲企業數、運輸公司數、收運車輛數、餐廚垃圾產生數、已收運數、已收運企業數、未收運企業數、收運完成進度21公廁運行數據：公廁名稱、公廁位置、異味監測數據、人流量監測數據、用水用電監測數據、保潔記錄、保潔時間、異常告警記錄、異常告警時間22公廁保潔作業數據：標識號、公廁名稱、人員名稱。保潔時間、保潔記錄1.3 環衛數據可視化展示1.3.1 智慧公廁場景（衛）對接公廁數據主題，獲取公廁智能物聯感知設備數據，分析并展示公廁監管數據，綜合展示公廁運營情況，包括：基礎數據展示：公廁數量匯總數據、各等級公廁數據分配情況；公廁男女蹲位情況等；公廁運行數據展示：展示單個公廁平均男女廁人流量、公廁臭氣濃度平均值、溫濕度平均值，展示轄區內公廁使用負荷度；公廁日常運營數據展示：展示公廁用水量、用電量平均值與時間維度變化趨勢，查看是否有異常用水用電情況；公廁保潔人員在崗情況：根據排班信息獲取應在崗人員、實在崗人員；通過人流分析、環境分析、消耗品分析、使用者反饋等維度分析，反應公廁保潔、運營指數。1.3.2 環衛保潔場景（潔）通過接口獲取車輛定位監控系統的定位數據，灑水噴頭開閉與機掃車掃盤落地數據，采集并關聯道路視頻卡口數據，對數據按照預置業務模型進行分析，多維度展示環衛保潔分析場景。1、作業過程數據分析各類型作業完成情況展示：包括機掃作業、灑水作業，顯示當日完成進度；各作業公司車輛狀態統計：顯示查詢時刻各狀態類型車輛數量，包括在線、離線、空駛、作業等；累計作業完成情況展示：展示整個轄區作業完成情況，包括規定里程、行駛里程等；不同道路類型作業完成進度等；顯示各公司作業完成情況：顯示各公司作業完成情況，各標段（公司）作業對比分析；2、異常情況自動分析發現分析車輛是否按規劃作業路線進展機掃、灑水作業，作業車速是否符合要求，是否超長停車，作業次數、作業時間是否符合要求。在地圖上實現顯示車輛運行軌跡，并結合視頻卡口和車載定位數據進行多重考核取證，自動分析研判車輛作業偏離路線，出車不出力等異常行為。根據預設指標或參數，自動發現的超速、越界、超時停泊、油耗異常、未按規定要求啟動開關等事件實時預警。顯示各公司違規情況：各公司違規事件發生數量、各類違規事件占比情況；顯示單車工作時長、有效作業里程，與行業同行標準進行對比分析，分析是否在合理區間；1.3.3 垃圾投放收集場景分析（產）1、全市垃圾分類概覽實現全市范圍垃圾分類工作的區劃管理，以區、街鎮為單位，將行政區劃、定時投放點、誤時投放點、有害垃圾暫存點、兩網融合點、宣傳教育陣地等靜態監管對象在地圖上進行屬性展示，準確的掌握車輛基礎數據、各區域配置的作業人員數量、各處置終端的基礎信息等。在GIS看板中以區為單位統一展示試點小區、社區、單位等整體數據，如參與試點小區/機構的數量、居民/服務人口、參與考核責任單位的數量等。另外，運用數據透傳功能，將基礎數據庫和決策支持模塊中的相關業務數據展示在GIS地圖中，通過數據分析展示出全市垃圾整體運行情況，包括分類覆蓋人口、分類覆蓋率、收運合格率、居民知曉率、居民參與率、試點單位數量、整體平均垃圾減量率等實時數據，并與指標要求對比，查看目前的進展差距。2、各區基本情況以小區、社區或街道為單位統一展示試點小區、社區、單位等詳細數據，如名稱、試點小區/機構名稱、類型、居民/服務人口、考核責任單位及責任人等。另外展示各區垃圾分類工作質量情況，包括區域名稱、垃圾分類開始時間、目前垃圾分類覆蓋率、目前垃圾減量率、垃圾分類質量、區域垃圾分類工作質量排名、區域分類工作存在問題展示，可以時間維度、以圖形或報表的形式輸出統計數據及變化趨勢，直觀展示其垃圾分類整體概況。3、垃圾分類智能分析集成各類垃圾分類投放智能識別數據，對垃圾堆積，廚余垃圾混投、垃圾桶滿冒事件進行歸集、統計、預警，提高市局分類投放業務集中監管能力。4、運行指標及達成情況展示參照市級管理部門頒布的垃圾分類考核標準，通過對監管數據的統計分析，全面展示全市分類運行指標，如分類覆蓋率、居民宣教知曉率、分類正確率等數據。以可視化方式進行靜態數據展示，動態演變過程展示。5、考核數據及排行評比根據市里的垃圾分類考核辦法及各項垃圾分類指標，綜合考核、評價全市各管理單位，形成評比排行榜，并在宣傳平臺和公眾服務平臺進行公示。6、督導員展示展示督導員的GIS分布，統計其督導到崗率和督導履職率，展示其基本信息、督導到崗情況和督導履職情況。7、分類點位展示展示投放點點位的GIS分布情況，展示其基礎信息（包括投放點名稱、投放點負責人、投放點負責人聯系方式等）、投放垃圾桶的配置情況和設備安裝情況，統計分析其垃圾分類投放重量情況、督導到崗情況。8、分類事件展示統計分析投放點的垃圾分類事件情況，展示其總事件數、辦結事件數和辦結率，并展示各類事件詳情。9、分類宣教館展示展示分類宣教館的的GIS分布情況，并展示分類宣教館的名稱、管理員、可預約類型、地址、開館時間等基礎信息。10、分類設備綜合展示展示分類設備的投放點安裝分布情況，并根據設備類型展示不同的設備詳情。若為普通攝像頭，則展示投放點監管視頻；若為智能AI攝像頭，則展示AI攝像頭的不同事件辦結情況和監管視頻。11、視頻綜合展示展示所有投放點的視頻GIS分布情況，并展示其在線/離線狀態，統計其在線率，點擊點位查看具體的實時視頻畫面和視頻回看。1.3.4 環衛收運場景分析（運）1、垃圾收運總覽對生活垃圾車、餐廚垃圾車、密閉式壓縮車和其他垃圾車進行可視化實時監控，并顯示車牌號、車輛類型、所屬公司、產權單位、垃圾來源、當前載重、歷史垃圾收運噸數和垃圾去向等詳情2、生活垃圾收運分析對接垃圾運輸車輛車載終端，獲取車輛運行定位數據與行為數據，對生活垃圾車實現區域作業范圍和運輸路線分析，及時發現車輛跨區作業、直運偏離路線等違規行為；3、餐廚垃圾收運分析對餐廚垃圾車，根據車輛位置停留與餐廚垃圾點匹配，垃圾桶RFID識別、單桶稱重計量等管理手段，分析實現餐廚垃圾收運計量溯源，發現車輛異常路線行駛行為，通過地磅計量與車載計量比對，結合異常停留、偏航，智能分析預警車輛注水等重大違規行為。1.3.5 環衛轉運場景分析（轉）結合垃圾壓縮轉運站智能化建設，以人工智能AI分析等技術手段，提高壓縮轉運環節監管能力；1、轉運高峰分析通過收運車輛進出識別數據分析，關聯收運區域和路線，分析壓縮站能力區域覆蓋范圍，分析車輛高頻進出時段，排隊時長，結合車輛收運路線，為高效調度、錯峰轉運提供優化依據。2、站內行為監督集成壓縮站內清掃、地面沖洗行為智能識別數據，規范壓縮站作業行為，對壓縮轉運站內的空氣環境進行實時監測預警，結合收運車輛進出、定時沖洗，找準異味高發時段的人為影響要素，盡力減少臭氣擾民影響。3、違規及溯源分析集成壓縮站內垃圾桶顏色智能識別數據，發現混收混運的違規行為，智能實時統計壓縮站壓縮垃圾量（按桶），實現一定精度的垃圾分類計量溯源。1.3.6 車輛智能調度場景（調）通過衛星定位、機器視覺識別、車載終端調度等智能化手段，優化調度作業流程。1、智能調度分析監督以車載終端定位數據、垃圾壓縮站和終處理站（入口）攝像機識別的車輛排隊擁堵情況為數據源頭，結合壓縮站和終處理廠出現的設備設施故障，定期檢修計劃，實現場站擁堵態勢監測，關聯處置能力模型和在途車輛位置，實現擁堵排隊情況的預警，實時收集調度任務反饋；2、車輛運行態勢感知可以按照運輸車輛、車隊、場站不同業務視角，展示收運作業完成情況，調度變更執行情況，排隊擁堵持續情況。1.3.7 環衛終處理場景（處）針對當前及未來一定時間垃圾處理設施規劃情況，設計垃圾處理數據專題，綜合垃圾處置方式及垃圾處置量、各區垃圾處理能力等形成數據專題展示；1、處置能力分析按照處理能力分析展示轉運車輛、參與營運單位、歷史處理量、區域分布等情況；2、處置方式分析按照處置方式分類展示焚燒廠、填埋場、循環利用不同方式的日處理能力，最大接收能力，年處理量，耗材用量、飛灰產量（處理量）等。1.3.8 環衛全流程可視化場景（全）基于GIS地圖，實現當前市環衛全流程貫通業務分析展示；1、全流程業務數據分析以分類投放點、收集點、餐廚垃圾點等為源頭，以壓縮站為中間環節，以收運車、壓縮運輸車為連接，至末端終處理廠，按照行政區劃，分析各區垃圾產生量（車、桶），分析收運路線，壓縮站連接的收運線路、轉運線路，壓縮處理量（車、桶），終處理廠連接的收運線路，處理量（車、桶、噸）；可以按照生活垃圾、餐廚垃圾、大件垃圾、廚余垃圾等按不同時間維度進行垃圾流轉分析。2、環衛節點業務分析從分類點、收集點、壓縮站、終處理廠不同環節展開，自動分析出垃圾來源、壓縮環節、收運車輛（企業）、處理量等數據，形成貫穿環衛整個業務流程，覆蓋大部分區域的環衛全流程業務網。1.4系統非功能性要求1.4.1. 系統性能要求（1）數據精度為了保證數據的準確，對用戶輸入的數據必須準確，對于一些標準數據，應提供相應的數據驗證功能。對于輸入數據必須同時遵循相關的國際、國家規定。系統對用戶輸入和接口輸入的相關數據項的校驗將盡量使用國際、國家的相關規定，對于無國際、國家標準的數據項將使用現行的慣例或者用戶的相關規定。輸出的統計分析結果應能夠正確反映實際情況。要求必須保證查詢結果符合查詢條件。對于用戶的每個查詢請求，系統將分析其查詢條件的組合情況，并保證查詢結果與用戶的查詢請求保持一致。與外部接口通信，必須保證通信過程中數據傳輸的準確性。對于所有外部接口，系統將與其定義明確的通信協議，并確定每個數據項的取值范圍以及相關一致性規定。（2）時間特性要求在500個并發用戶訪問時，確定條件的信息查詢響應時間小于3秒鐘；打開一般系統界面的響應時間在3秒內，第一次打開的響應時間不超過5秒。對于一般的系統提交操作，響應時間在3秒內。對于簡單的查詢操作，響應時間應在3秒內，對于較復雜的組合查詢，響應時間在5秒內。在業務高峰時，每分鐘能夠同時處理100條數據更新操作、300條數據查詢操作；（3）靈活性要求系統設計為可以對系統各種關鍵業務參數進行配置，通過不同的配置以滿足不同的業務模式。系統內部設計與外部接口設計必須盡量減少耦合程度，在外部