# เครื่องมือที่ศิริราชใช้ในการจัดการข้อมูล



![Data Stack](https://cdn.hashnode.com/res/hashnode/image/upload/v1650810737997/pIA2amVNf.png)

### Sources

แหล่งข้อมูล มาจาก 
- Database ของ Applications โปรแกรมต่าง ๆ ภายในคณะฯ ทั้งที่เป็น SQL และ NoSQL
- File spreadsheets ที่หน่วยงานต่าง ๆ เก็บข้อมูล และส่งมาให้
- Data Service Layer (DSL) ที่ทำหน้าที่เป็น Integration Gateway และส่งผ่านข้อมูลจากระบบอื่นมาให้ในรูปแบบ API (JSON)


### Ingestion & Transport

การขนข้อมูล รวมถึง Extraction and Load ใช้เครื่องมือ
- [Microsoft SQL Server Integration Services (SSIS)](https://docs.microsoft.com/en-us/sql/integration-services/sql-server-integration-services?redirectedfrom=MSDN&view=sql-server-ver15)
- [Apache Airflow](https://airflow.apache.org)
- *ขณะนี้กำลัง explore [Airbyte](https://airbyte.com) เพิ่มเติม*


### Storage

การเก็บข้อมูลสำหรับการวิเคราะห์ ทั้ง Data Lake และ Data Warehouse ด้วย [Microsoft SQL Server](https://www.microsoft.com/en-us/sql-server/sql-server-downloads)


### Transformation

การแปลงข้อมูล เดิมใช้การเขียน SQL scripts ปัจจุบันอยู่ระหว่างการแปลง scripts เดิมและเพิ่มเติม scripts ใหม่ด้วย [dbt](https://www.getdbt.com) ให้เป็นระบบมากขึ้น
และใช้โปรแกรม [Tableau Prep](https://www.tableau.com/products/prep) ร่วมแปลงข้อมูลด้วย


### Analytics Workflows

#### Descriptive Analytics

การวิเคราะห์ข้อมูลเบื้องต้น ใช้โปรแกรม [Tableau Desktop](https://www.tableau.com/products/desktop)

#### Predictive Analytics

การวิเคราะห์ข้อมูลที่ซับซ้อนขึ้น ใช้การเขียนโปรแกรม [Python](https://www.python.org) และ [R](https://www.r-project.org)

#### End Points

ผู้ใช้งานสามารถเข้าถึงรายงานข้อมูลได้ผ่าน [Tableau Server](https://www.tableau.com/products/server) และสามารถตั้งเวลาส่ง screenshots อัตโนมัติให้รายคนผ่าน [Si vWORK (Enterprise Chat Platform)](https://www.youtube.com/watch?v=PDL-2rUE1Gk) 

ส่วนโปรแกรม Data Science ที่พัฒนาด้วย Python ใช้ [Streamlit](http://streamlit.io) ในการเข้าถึง


### Auxiliaries

- **Data Catalog:** [dbt docs](https://docs.getdbt.com/docs/building-a-dbt-project/documentation)
- **Documentation:** [Confluence](https://www.atlassian.com/software/confluence)
- **Version Control:** [GitHub](https://github.com/sidataplus) *มีผลงานบางส่วนเปิดเผยสาธารณะ แต่ผลงานส่วนใหญ่เป็น private ภายใน
- **Communication & Alert:** [Slack](https://slack.com) โดยเชื่อมต่อ Automated Bots เช่น GitHub, Airflow, Airtable เป็นต้น
- **Data Models:** [OMOP CDM](https://ohdsi.github.io/CommonDataModel/index.html), [HL7 FHIR](https://www.hl7.org/fhir/), [Unified Star Schema](https://technicspub.com/uss/)


---
แนะนำแหล่งศึกษาเพิ่มเติม
- [a16z Modern Data Infrastructure](https://future.a16z.com/emerging-architectures-modern-data-infrastructure/)
- [GitLab Enterprise Data Platform](https://about.gitlab.com/handbook/business-technology/data-team/platform/#our-data-stack)
- [dbt Analytics Engineering Guide](https://www.getdbt.com/analytics-engineering/)
- [Fundamentals of Data Engineering by Joe Reis & Matt Housley](https://learning.oreilly.com/library/view/fundamentals-of-data/9781098108298/)
- [Benn Stancil, Chief Analytics Officer & Founder @ Mode](https://benn.substack.com)