TIN HỌC VĂN PHÒNG

Dữ liệu mở là gì ?

Dữ liệu mở là một tài nguyên quý và là một tài sản chiến lược của chính phủ và cộng đồng. Giá trị mang lại khi mở dữ liệu là rất lớn, nó không chỉ giúp tăng cường dân chủ, làm tăng năng suất và hiệu quả trong chính phủ mà nó còn có tiềm năng tạo ra cơ hội kinh tế và cải thiện chất lượng sống của công dân.

Dữ liệu mở
Hình mô tả dữ liệu mở

Ví dụ, khi chính phủ Mỹ phát hành dữ liệu về thời tiết và định vị toàn cầu-GPS đến cộng đồng, nó thúc đẩy một ngành công nghiệp mà ngày nay có giá trị hàng chục tỷ USD mỗi năm. Bây giờ Công cụ thời tiết và bản đồ có mặt khắp nơi và giúp người Mỹ điều hướng được cuộc sống của họ

Mục tiêu của dữ liệu mở là gì?

  • Xây dựng Hệ thống Dữ liệu mở cung cấp cho cơ quan Sở/ban/ngành công bố dữ liệu từ kho dữ liệu dùng chung với nhiều định dạng và dễ dàng thiết lập lịch cập nhật dữ liệu lên Cổng dữ liệu mở.
  • Người dân có thể truy cập, tra cứu dữ liệu và tải về các tập dữ liệu
  • Hệ thống cung cấp API và hướng dẫn khai thác để phát triển các ứng dụng từ kho dữ liệu mở.
STTTên mục tiêuChức năng
1Nhóm phân hệ/ chức năng nền tảng cho Website Cổng thông tin Dữ liệu mở:  Trang chủ Giới thiệu Liên hệ Điều khoản sử dụng Đăng ký Đăng nhập Tìm kiếm chung
2Nhóm phân hệ/ chức năng Quản lý dữ liệu:  Quản lý tập dữ liệu Quản lý Harvest source Quản lý tài nguyên dữ liệu Quản lý kho dữ liệu  
3Nhóm phân hệ/ chức năng Quản lý Nội dung:  Quản lý chủ đề Quản lý danh mục thẻ Quản lý tin tức dữ liệu Quản lý Trang  
4Nhóm phân hệ/ chức năng Quản lý hệ thống:    Quản lý menu Quản lý phân quyền Quản lý tài khoản Tùy chỉnh giao diện cho website Quản lý địa chỉ IP truy cập (chặn/mở IP) Quản lý thông tin chung của Cổng dữ liệu Quản lý trạng thái bảo trì hệ thống Quản lý nhật ký (Log)  
5Giám sát hệ thốngBáo cáo tình trạng của hệ thống Báo cáo chi tiết các hoạt động của Cổng dữ liệu mở  
6Nhóm phân hệ/ chức năng Tích hợp thông qua Web API:  Nhóm API đăng nhập / xác thực Nhóm API quản lý nhóm dữ liệu Nhóm API quản lý tập dữ liệu Nhóm API upload dữ liệu từ file Nhóm API lấy Thông tin mô tả dữ liệu Nhóm API lấy Thông tin mô tả nhóm dữ liệu  
Các mục tiêu của cổng dữ liệu mở

Mục đích, phạm vi sử dụng cổng dữ liệu mở

Dự án Cổng dữ liệu mở là một cấu phần cần thiết trong lộ trình chuyển hóa chính quyền điện tử. Là một mắt xích không thể thiếu trong quy trình nghiệp vụ thu thập dữ liệu từ các đơn vị ban ngành, đồng bộ với CSDL chung của thành phố và hiển thị dữ liệu, tạo cầu nối cho người dân, doanh nghiệp và các đơn vị ban ngành khác có thể tiếp cận một nguồn dữ liệu đầy đủ trên nhiều lĩnh vực.

Cổng dữ liệu mở giúp quản lý và xuất bản các tập dữ liệu. Nó được sử dụng bởi các quốc gia, địa phương, viện nghiên cứu và các tổ chức mà thu thập và chia sẻ với số lượng dữ liệu lớn.

Một khi dữ liệu được công bố, người dùng dễ dàng tìm kiếm và tra cứu thông qua tính năng tìm kiếm trên website, người dùng dễ dàng xem dữ liệu ở dạng bản đồ, biểu đồ và lưới. Người sử dụng cổng dữ liệu có thể là nhà phát triển, nhà báo, nghiên cứu sinh, công dân

Nhận định xu hướng thị trường công nghệ

Xu hướng thế giới và các cổng dữ liệu của một số quốc gia

Xu hướng thế giới và các cổng dữ liệu của một số quốc gia

Hiện nay, trên thế giới đã có nhiều quốc gia triển khai dữ liệu mở như Mỹ, Australia, Canada, Thụy Điển, Indonesia, Đan Mạch, Brazil, Anh… Việc cung cấp dữ liệu mở đã trở thành một trong những tiêu chí đánh giá chính trong bộ chỉ tiêu đánh giá của Liên hiệp quốc và các tổ chức quốc tế về xếp hạng phát triển Chính phủ điện tử.

Các cổng thông tin dữ liệu mở của một số quốc gia tiêu biểu:

Quốc giaMô tả
Hoa KỳHoa Kỳ là quốc gia đầu tiên triển khai Dữ liệu mở Chính phủ thông qua cổng thông tin dữ liệu chính phủ https://www.data.gov/. Cổng được chính thức hoạt động vào ngày 21/5/2009 theo sáng kiến của Tổng thống Barak Obama.
Trên cổng thông tin dữ liệu Chính phủ của Hoa Kỳ đã công bố các tập Dữ liệu mở về: nông nghiệp, khí hậu, khách hàng, giáo dục, năng lượng, tài chính, sản xuất, sức khỏe, chính quyền địa phương, chế tạo, hàng hải, đại dương, an toàn, thiên tai, người tiêu dùng, khoa học và nghiên cứu
Các tập dữ liệu này được cập nhật thường xuyên theo chu kỳ hoặc hằng ngày. Tính đến tháng 12/2018 có tổng số khoảng trên 301.643 bộ dữ liệu được báo cáo trên Data.gov đại diện cho khoảng hơn 10 triệu tài nguyên dữ liệu  
Hàn QuốcTính đến 30/12/2018 có 28,183 bộ dữ liệu đưa lên www.data.go.kr. Trên cổng thông tin dữ liệu của hàng quốc đã công cố các tập dữ liệu về: Kiến trúc, Ytế, Giao thông, Thương mại, Thủy sản, Điều tra nông nghiệp, chăn nuôi, Bất động sản, Tài chính,  Hành chính địa phương ….Ở Hàn Quốc đã Thành lập Ủy ban Chiến lược dữ liệu mở nhằm lên kế hoạch cũng như thúc đẩy việc cung cấp và sử dụng dữ liệu mở, kiểm soát chất lượng dữ liệu và xử lý vi phạm về dữ liệu mở  
ÚcCổng thông tin dữ liệu https://data.gov.au đã công bố vào năm 2017, tính đến hết tháng 11/2018 đã có trên 30.000 tập dữ liệu đã công bố.
Úc thông qua Điều lệ Dữ liệu mở quốc tế. Điều lệ này củng cố cam kết của Úc đối với chương trình nghị sự về Dữ liệu mở và cho phép Úc chia sẻ và học cách áp dụng tốt nhất các sáng kiến dữ liệu quốc tế.
Việc thực hiện điều lệ này sẽ được đưa ra ngoài cơ quan chính phủ cùng với sự hợp tác của các cơ quan nghiên cứu, khu vực tư nhân và phi chính phủ củng như công chúng Úc. Úc cam kết thông qua Điều lệ này như là một phần của Kế hoạch hành động Quốc gia chính phủ mở đầu tiên.  
Bảng mô tả các cổng dữ liệu mở của một số quốc gia

Thực trạng dữ liệu mở tại Việt Nam và xu hướng của thị trường

Thực trạng

Nhìn chung hiện nay cơ quan nhà nước nắm giữ đa số dữ liệu của xã hội, hệ thống VBPL quy định danh mục dữ liệu mật cho một số các Bộ/ngành, các dữ liệu còn lại chưa có quy định rõ ràng về việc chia sẻ, khai thác sử dụng như thế nào, hầu hết các dữ liệu chưa khai mở cho ai dùng.

Theo đánh giá về chính phủ điện tử của Liên hiệp quốc 2018, thứ hạng của Việt Nam về Dịch vụ công trực tuyến (Online Service Index) đã rơi từ hạng 92 năm 2012 xuống hạng 59 năm 2018. Lý do chính là một số cơ sở dữ liệu quốc gia như dân cư, đất đai, tài chính vẫn chưa được mở.

Hiện trạng triển khai Dữ liệu mở tại Việt Nam:

Tên cổngMô tả
Thư viện học liệu mở Việt Nam (http://voer.edu.vn)Các lĩnh vực: Kinh tế, Khoa học xã hội – nhân văn; Khoa học và công nghệ; Toán học – Thống kê; Nghệ thuật…Khoảng 22.341 tài liệuKhoảng 523 tuyển tập (tài liệu học tập, bài giảng, tài liệu tham khảo, bài thi, bài thí nghiệm, tạp chí… ) được biên soạn từ 10.903 tác giả.
Điểm truy cập mở thông tin khoa học và công nghệTại địa chỉ http://db.vista.gov.vn/ được thực hiện bởi Cục Thông tin khoa học và Công nghệ quốc gia – Bộ KH&CN Các lĩnh vực như: An toàn thực phẩm, Bưu chính – viễn thông, Cơ quan – nhà nước, Doanh nghiệp – Hộ kinh doanh, Danh sách cơ sở đào tạo lái xe, Dân cư – dân số, Lao động – việc làm, Kinh tế – Xã hội, Giáo dục, Y tế – Sức khỏe, Vui chơi – giải trí, thông tin địa lý, Tài chính ngân hàngGồm khoảng 48 tập dữ liệu. Các định dạng dữ liệu: xlsx, xls, geojson;Cung cấp các API dữ liệu  
Kho truy cập mở  (http://repository.edu.vn) Thực  hiện bởi Trung tâm thư viện – Đại học Quốc gia Hà NộiPhân loại tài liệu: Nhà xuất bản, chuyên đề, tác giả, thời gian xuất bảnDanh mục chuyên đề: Pháp luật Việt Nam, Quản lý giáo dục, Phật giáo, CNTT, Tiếng Anh, Phương pháp giảng dạy, Toán học, Luật, Kinh tế, Doanh nghiệp, Nguồn nhân lực, Quan hệ, Tài chính…Khoảng 59.157 tập tài liệu  
Bảng Hiện trạng triển khai Dữ liệu mở tại Việt Nam

Các yêu cầu của cổng dữ liệu mở

Mô hình chức năng hệ thống

Tính năng danh mục dữ liệu

Danh mục dữ liệu là danh sách các dữ liệu có sẵn, các tập dữ liệu tương ứng với một hoặc nhiều nguồn dữ liệu. Nó thường bao gồm thông tin ở mức cao cho mỗi tập dữ liệu, chẳng hạn như Tiêu đề, Mô tả, Ngày phát hành, Loại và Từ khóa.

Người sử dụng cổng dữ liệu mở

  • Phải có khả năng tìm kiếm tập dữ liệu theo một hoặc nhiều thuật ngữ chứa trong siêu dữ liệu của tập dữ liệu
  • Phải có khả năng truy cập hoặc xem dữ liệu theo phân loại
  • Phải có khả năng tải danh mục dữ liệu xuống theo định dạng mà máy tính có thể đọc được
  • Phải có khả năng xem trang tóm tắt cho từng tập dữ liệu bao gồm chi tiết tài nguyên dữ liệu, siêu dữ liệu và tài liệu có liên quan khác của tập dữ liệu
  • Có thể tìm kiếm các tập dữ liệu theo các thuật ngữ có trong dữ liệu

Người phát hành cổng dữ liệu mở

  • Phải có khả năng thêm, chỉnh sửa hoặc xóa các mục trong danh mục dữ liệu
  • Có thể đánh dấu các mục trong danh mục là riêng tư để chúng không hiển thị công khai

Quản trị viên cổng dữ liệu mở

  • Phải có khả năng tạo, chỉnh sửa và gỡ bỏ danh mục siêu dữ liệu
  • Phải có khả năng cấu hình sắp xếp mặc định cho danh mục dữ liệu
  • Phải có khả năng cấu hình cài đặt chung cho danh mục dữ liệu và màu chủ đề, thương hiệu / biểu tượng, tiêu đề

Tính năng quản lý và lưu trữ dữ liệu mở

Người sử dụng

  • Phải có khả năng tải xuống dữ liệu hàng loạt
  • Có thể truy cập dữ liệu được lưu trữ thông qua giao diện rest api

Người phát hành

  • Phải có khả năng tạo tài nguyên dữ liệu mới
  • Phải có khả năng thay thế hoặc cập nhật tài nguyên dữ liệu hiện có

Quản trị viên

  • Phải có khả năng quản lý quyền cho các quản trị viên và người phát hành khác

Tính năng hiển thị dữ liệu mở

Người sử dụng

  • Phải có khả năng xem trước tài nguyên dữ liệu thông qua trình duyệt internet của họ (ví dụ: thông qua bảng, biểu đồ hoặc bản đồ)
  • Có thể trực quan hóa tài nguyên dữ liệu theo đồ họa, bao gồm bản đồ, đồ thị, biểu đồ, v.v..
  • Có thể lưu hiển thị dữ liệu để xem về sau

Người phát hành

  • Có thể tạo trực quan hóa dữ liệu và làm cho chúng có thể truy cập được thông qua danh mục dữ liệu hoặc trang tài nguyên dữ liệu

Quản trị viên

  • Có thể kiểm soát việc hiển thị dữ liệu theo quyền truy cập của người sử dụng

Tính năng cộng đồng cho cổng dữ liệu mở

Người sử dụng

  • Phải có khả năng cung cấp nhận xét và phản hồi về nguồn dữ liệu mở
  • Có thể đề cử nguồn tài nguyên dữ liệu để phát hành công khai
  • Có thể cung cấp nhận xét và phản hồi về danh mục dữ liệu

Người phát hành

  • Có thể xem, trả lời nhận xét và phản hồi lại với người sử dụng
  • Có thể xem xét và phê duyệt khả năng hiển thị nhận xét và phản hồi của người sử dụng

Quản trị viên

  • Phải có khả năng theo dõi và phân tích phản hồi của người sử dụng

Tài khoản và hồ sơ

Người sử dụng

  • Có thể đăng ký tài khoản bằng địa chỉ email (đọc thêm Cách tạo tài khoản Gmail)
  • Có thể tạo, chỉnh sửa hoặc xóa thông tin tiểu sử mà người sử dụng khác có thể truy cập xem được

Người phát hành

  • Có thể cấp quyền cụ thể cho người sử dụng đã đăng ký để truy cập các tài nguyên dữ liệu cụ thể do người phát hành đó sở hữu

Quản trị viên

  • phải có khả năng quản lý quyền của các quản trị viên và người phát hành khác
  • Phải có khả năng vô hiệu hóa tài khoản người sử dụng

Các yêu cầu về giao diện người sử dụng cổng dữ liệu mở

  • Có giao diện trực quan, hài hòa về màu sắc và bố cục, dễ truy cập các mục tin, dễ tìm kiếm thông tin
  • Có thể tùy chỉnh giao diện, màu sắc, các thông tin cơ bản của một cổng thông tin thông qua giao diện quản trị
  • Hệ thống có giao diện hiện đại, chuyên nghiệp hỗ trợ nhiều kích cỡ màn hình khác nhau: desktop, mobile, …

Các nền tảng mã nguồn mở triển khai Open Data

Tên mã  nguồn mởGiới thiệuCác cổng dữ liệu đã triển khai
CKANCKAN là nền tảng hàng đầu thế giới về mã nguồn mở.
CKAN được phát triển bởi Open Knowledge Foundation nhằm hỗ trợ Open Government Partnership, một chương trình toàn cầu  khuyến khích các chính quyền cung cấp “dữ liệu mở” của riêng họ.
Ckan được coi là tiêu chuẩn vàng cho dữ liệu mở và được sử dụng bởi chính quyền và các tổ chức trên khắp thế giới
-Vương quốc Anh data.gov.uk -US: data.gov -Cộng đồng châu Âu publicdata.eu, -Brazin dados.gov.br, -Cổng thông tin chính phủ Hà Lan, cũng như nhiều website ở Mỹ, Anh Argentina, Phần Lan và nhiều nước khác….  
DKANDKAN là một nền tảng dữ liệu mở, miễn phí và do cộng đồng điều hành, mang lại cho các tổ chức và cá nhân quyền tự do xuất bản và tiêu thụ thông tin có cấu trúc. DKAN được phát triển trên nền tảng Drupal(PHP và Mysql) nó dễ dàng sử dụng cho bất cứ ai có môi trường lưu trữ rẻ tiền để tạo ra một danh mục dữ liệu mở.
-Thư viện quốc gia về nông nghiệp ở Mỹ: https://data.nal.usda.gov/ -California: https://data.ca.gov -Các thành phố khác:http://docs.getdkan.com/en/latest/introduction/dkan-sites.html  
Các nền tảng mã nguồn mở triển khai dữ liệu mở

Vậy là hôm nay Tin Học Văn Phòng chia sẻ một vài nghiên cứu về dữ liệu mở. Liên hệ góp ý xin để lại bình luận bên dưới