Techelse: Cập nhật giá Bitcoin theo thời gian thực
Techelse là một công ty fintech sử dụng các công nghệ tiên tiến để cung cấp các giải pháp tài chính, như thanh toán, đầu tư và giao dịch. Bitcoin là một trong những phương thức thanh toán sáng tạo mà họ đang phát triển dựa trên sức mạnh của mật mã học và phân tán.
Sơ lược dự án
Công nghệ học máy đang biến đổi mọi lĩnh vực của thị trường một cách nhanh chóng, và giao dịch Bitcoin cũng không nằm ngoại lệ. Dự án Đường ống cập nhật giá Bitcoin được triển khai nhằm xây dựng một hệ thống dữ liệu mà có thể liên tục truyền dữ liệu giá của đồng tiền từ API do khách hàng cung cấp, và hiển thị chúng trên trang web của khách hàng. Dự án cũng sử dụng công nghệ học máy để dự đoán giá của đồng tiền trong tương lai dựa trên những dữ liệu lịch sử và xu hướng.
Thách thức: Hiệu suất của nhiều Gigabytes dữ liệu truyền trực tiếp
Thị trường tiền ảo rất đa dạng và phong phú, và mỗi loại tiền tạo ra lượng dữ liệu lớn mỗi phút hoặc thậm chí mỗi giây. Khi khách hàng tiếp cận NeuSplend, họ muốn chúng tôi xây dựng một giải pháp có thể xử lý một lượng lớn và đa dạng dữ liệu từ các nguồn và định dạng khác nhau. Kiến trúc dữ liệu nên có độ sẵn sàng cao ngay cả trong trường hợp sự cố hoặc mất nguồn điện trong khu vực.
Để xây dựng một giải pháp thông minh, có độ sẵn sàng cao và hiệu suất tốt, NeuSplend đã đưa ra những đề cuất:
Giải pháp có khả năng xử lý một lượng lớn dữ liệu trực tuyến. Kích thước dữ liệu ước tính là ~ 1 GB/phút.
Kiến trúc dữ liệu phải có tính chịu lỗi và khả năng phục hồi trong trường hợp gặp sự cố NeuSplend dự định xây dựng mỗi tài nguyên trên nhiều khu vực khác nhau để đảm bảo tính sẵn sàng cao cho hệ thống.
Việc chọn mô hình tốt nhất để dự đoán giá đồng tiền cũng là một thách thức lớn cần phải giải quyết. Mô hình tối ưu phải phù hợp với nhu cầu và kỳ vọng của khách hàng.
Giải pháp: Một đường truyền phát trực tuyến mạnh mẽ với khả năng dự đoán giá tiền xu.
Sau khi đánh giá về cơ sở hạ tầng hiện có của khách hàng và định dạng API do khách hàng cung cấp, chúng tôi quyết định chọn nền tảng đám mây Azure làm nhà cung cấp đám mây chính cho giải pháp của mình. Azure ML cũng sẽ được sử dụng để đào tạo Rừng ngẫu nhiên (Random Forest model), một kỹ thuật học máy mạnh mẽ để dự đoán giá tiền xu trong tương lai.
QA của NeuSplend đã thử nghiệm các mô hình ML để đảm bảo rằng khách hàng có thể sử dụng chúng để dự báo và giao dịch tiền điện tử trong điều kiện thị trường thay đổi.
Chúng tôi tin rằng việc khám phá không phải là một bước tốn thời gian mà là một bước có giá trị lớn cung cấp cho chúng tôi thông tin cần thiết để xây dựng và triển khai các dịch vụ xuất sắc cho khách hàng. Nhờ có kế hoạch cẩn thận được chuẩn bị từ trước, chúng tôi đã triển khai giải pháp của mình ở nhiều khu vực riêng biệt khác nhau để mang lại giải pháp có tính sẵn sàng cao ngay cả trong trường hợp mất điện hoặc sự cố hạ nguồn ở một khu vực. Các mô hình ML cũng phù hợp với kiến trúc dữ liệu và cung cấp cho khách hàng những dự đoán giá chính xác mà họ có thể sử dụng để đưa ra các quyết định quan trọng. Dưới đây là kiến trúc dự án chúng tôi đã triển khai:
Kết quả: Dự đoán được những thông tin vô giá cho khách hàng
Sau khi sử dụng kiến trúc truyền dữ liệu mới được tích hợp với dịch vụ máy học Azure, giờ đây Techelse có thể dựa vào dữ liệu lịch sử và dữ liệu phát trực tuyến mà họ nhận được từ đường ống để dự báo giá tiềm năng của đồng tiền ưa thích của họ trong tương lai.
NeuSplend đã thiết kế kiến trúc dữ liệu không chỉ có tính sẵn sàng cao trong trường hợp xảy ra thảm họa trong khu vực mà còn tối ưu hóa chi phí duy trì và phát triển. Sau khi hoàn thành dự án này, chúng tôi vẫn cùng nhau hợp tác để nâng cao và cải thiện kiến trúc dữ liệu nhằm làm cho đường ống ngày một mạnh hơn và nhanh hơn.
Công nghệ chúng tôi sử dụng
Các công cụ kỹ thuật dữ liệu và đám mây
Cơ sở dữ liệu và hệ thống phân tán
Các công cụ cho dữ liệu lớn
Các công cụ khoa học dữ liệu và học máy
Azure Managed Airflow
Azure Event Hub Cluster
Azure Key Vault
Azure Container Registry
Microsoft PowerBI
Grafana
Azure DB for PostgreSQL
Azure Blob Storage
Azure Storage Account (Logs and Data)
Azure Storage Account for Models
Azure Data Explorer
Azure Managed Airflow
Azure Machine Learning Studio Workspace
Azure Application Insights
Python
Câu chuyện khách hàng
NeuSplend là một trung tâm của sự đa dạng và các giải pháp đổi mới cho bất cứ lĩnh vực và khách hàng nào. Chúng tôi không làm việc với bạn chỉ vì dự án, mà chúng tôi còn làm việc để đảm bảo sự thành công và hạnh phúc của bạn.
