روش mixin در SASS به طراح این امکان را میدهد که از نوشتن کدهای تکراری جلوگیری کرده و هم اینکه به صورت یک تابع از آنها در هر جایی استفاده کند و دیگر کدها حتی ترکیب شود
اشتراکها
ایجاد قالبهای سفارشی Material
مطالب
OpenCVSharp #18
ساخت یک OCR ساده تشخیص اعداد انگلیسی به کمک OpenCV
این مطلب را میتوان به عنوان جمع بندی مطالبی که تاکنون بررسی شدند درنظر گرفت و در اساس مطلب جدیدی ندارد و صرفا ترکیب یک سری تکنیک است؛ برای مثال:
چطور یک تصویر را به نمونهی سیاه و سفید آن تبدیل کنیم؟
کار با متد Threshold جهت بهبود کیفیت یک تصویر جهت تشخیص اشیاء
تشخیص کانتورها (Contours) و اشیاء موجود در یک تصویر
آشنایی با نحوهی گروه بندی تصاویر مشابه و مفاهیمی مانند برچسبهای تصاویر که بیانگر یک گروه از تصاویر هستند.
تهیه تصاویر اعداد انگلیسی جهت آموزش دادن به الگوریتم CvKNearest
در اینجا نیز از یکی دیگر از الگوریتمهای machine learning موجود در OpenCV به نام CvKNearest برای تشخیص اعداد انگلیسی استفاده خواهیم کرد. این الگوریتم نزدیکترین همسایهی اطلاعاتی مفروض را در گروهی از دادههای آموزش داده شدهی به آن پیدا میکند. خروجی آن شمارهی این گروه است. بنابراین نحوهی طبقهی بندی اطلاعات در اینجا چیزی شبیه به شکل زیر خواهد بود:
مجموعهای از تصاویر 0 تا 9 را جمع آوری کردهایم. هر کدام از پوشهها، بیانگر اعدادی از یک خانواده هستند. این تصویر را با فرمت ذیل جمع آوری میکنیم:
به این ترتیب
در متد خواندن تصاویر آموزشی، ابتدا پوشههای اصلی مسیر Numbers تصویر ابتدای بحث دریافت میشوند. سپس نام هر پوشه، شمارهی گروه تصاویر موجود در آن پوشه را تشکیل خواهد داد. به این نام در الگوریتمهای machine leaning، کلاس هم گفته میشود. سپس هر تصویر را با فرمت سیاه و سفید بارگذاری کرده و به لیست تصاویر موجود اضافه میکنیم. در اینجا از متد processTrainingImage نیز استفاده شدهاست. هدف از آن بهبود کیفیت تصویر دریافتی جهت کار تشخیص اشیاء است:
عملیات صورت گرفتهی در این متد را با تصویر ذیل بهتر میتوان توضیح داد:
ابتدا تصویر اصلی بارگذاری میشود؛ همان تصویر سمت چپ. سپس با استفاده از متد Threshold، شدت نور نواحی مختلف آن یکسان شده و آماده میشود برای تشخیص کانتورهای موجود در آن. در ادامه با استفاده از متد FindContours، شیء مرتبط با عدد جاری یافت میشود. سپس متد Cv2.BoundingRect مستطیل دربرگیرندهی این شیء را تشخیص میدهد (تصویر سمت راست). بر این اساس میتوان تصویر اصلی ورودی را به یک تصویر کوچکتر که صرفا شامل ناحیهی عدد مدنظر است، تبدیل کرد. در ادامه برای کار با الگوریتم CvKNearest نیاز است تا این تصویر بهبود یافته را تبدیل به یک ماتریس یک بعدی کردی که روش انجام کار توسط متد Reshape مشاهده میکنید.
از همین روش پردازش و بهبود تصویر ورودی، جهت پردازش اعداد یافت شدهی در یک تصویر با تعداد زیادی عدد نیز استفاده خواهیم کرد.
آموزش دادن به الگوریتم CvKNearest
تا اینجا تصاویر گروه بندی شدهای را خوانده و لیستی از آنها را مطابق فرمت الگوریتم CvKNearest تهیه کردیم. مرحلهی بعد، معرفی این لیست به متد Train این الگوریتم است:
متد Train دو ورودی دارد. ورودی اول آن یک تصویر است که باید از طریق متد PushBack کلاس Mat تهیه شود. بنابراین لیست تصاویر اصلی را تبدیل به لیستی از Matها خواهیم کرد.
سپس نیاز است لیست گروههای متناظر با تصاویر اعداد را تبدیل به فرمت مورد انتظار متد Train کنیم. در اینجا صرفا لیستی از اعداد صحیح را داریم. این لیست نیز باید تبدیل به یک Mat شود که روش انجام آن در متد فوق بیان شدهاست. کلاس Mat سازندهی مخصوصی را جهت تبدیل لیست اعداد، به همراه دارد. این Mat نیز باید تبدیل به یک ماتریس یک بعدی شود که برای این منظور از متد Reshape استفاده شدهاست.
انجام عملیات OCR نهایی
پس از تهیهی لیستی از تصاویر و آموزش دادن آنها به الگوریتم CvKNearest، تنها کاری که باید انجام دهیم، یافتن اعداد در تصویر نمونهی مدنظر و سپس معرفی آن به متد FindNearest الگوریتم CvKNearest است. روش انجام اینکار بسیار شبیه است به روش معرفی شده در متد processTrainingImage که پیشتر بررسی شد:
این عملیات به صورت خلاصه در تصویر ذیل مشخص شدهاست:
ابتدا تصویر اصلی که قرار است عملیات OCR روی آن صورت گیرد، بارگذاری میشود. سپس کانتورها و اعداد موجود در آن تشخیص داده میشوند. مستطیلهای قرمز رنگ در برگیرندهی این اعداد را در تصویر دوم مشاهده میکنید. سپس این کانتورهای یافت شده را که شامل یکی از اعداد تشخیص داده شدهاست، تبدیل به یک ماتریس یک بعدی کرده و به متد FindNearest ارسال میکنیم. خروجی آن نام گروه یا پوشهای است که این عدد در آن قرار دارد. در همینجا این خروجی را تبدیل به یک رشته کرده و در تصویر سوم با رنگ سبز رنگ نمایش میدهیم.
بنابراین در این تصویر، پنجرهی segmented image، همان اشیاء تشخیص داده شدهی از تصویر اصلی هستند.
پنجرهی با زمینهی سیاه رنگ، نتیجهی نهایی OCR است که نسبتا هم دقیق عمل کردهاست.
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
این مطلب را میتوان به عنوان جمع بندی مطالبی که تاکنون بررسی شدند درنظر گرفت و در اساس مطلب جدیدی ندارد و صرفا ترکیب یک سری تکنیک است؛ برای مثال:
چطور یک تصویر را به نمونهی سیاه و سفید آن تبدیل کنیم؟
کار با متد Threshold جهت بهبود کیفیت یک تصویر جهت تشخیص اشیاء
تشخیص کانتورها (Contours) و اشیاء موجود در یک تصویر
آشنایی با نحوهی گروه بندی تصاویر مشابه و مفاهیمی مانند برچسبهای تصاویر که بیانگر یک گروه از تصاویر هستند.
تهیه تصاویر اعداد انگلیسی جهت آموزش دادن به الگوریتم CvKNearest
در اینجا نیز از یکی دیگر از الگوریتمهای machine learning موجود در OpenCV به نام CvKNearest برای تشخیص اعداد انگلیسی استفاده خواهیم کرد. این الگوریتم نزدیکترین همسایهی اطلاعاتی مفروض را در گروهی از دادههای آموزش داده شدهی به آن پیدا میکند. خروجی آن شمارهی این گروه است. بنابراین نحوهی طبقهی بندی اطلاعات در اینجا چیزی شبیه به شکل زیر خواهد بود:
مجموعهای از تصاویر 0 تا 9 را جمع آوری کردهایم. هر کدام از پوشهها، بیانگر اعدادی از یک خانواده هستند. این تصویر را با فرمت ذیل جمع آوری میکنیم:
public class ImageInfo { public Mat Image { set; get; } public int ImageGroupId { set; get; } public int ImageId { set; get; } }
public IList<ImageInfo> ReadTrainingImages(string path, string ext) { var images = new List<ImageInfo>(); var imageId = 1; foreach (var dir in new DirectoryInfo(path).GetDirectories()) { var groupId = int.Parse(dir.Name); foreach (var imageFile in dir.GetFiles(ext)) { var image = processTrainingImage(new Mat(imageFile.FullName, LoadMode.GrayScale)); if (image == null) { continue; } images.Add(new ImageInfo { Image = image, ImageId = imageId++, ImageGroupId = groupId }); } } return images; }
private static Mat processTrainingImage(Mat gray) { var threshImage = new Mat(); Cv2.Threshold(gray, threshImage, Thresh, ThresholdMaxVal, ThresholdType.BinaryInv); // Threshold to find contour Point[][] contours; HiearchyIndex[] hierarchyIndexes; Cv2.FindContours( threshImage, out contours, out hierarchyIndexes, mode: ContourRetrieval.CComp, method: ContourChain.ApproxSimple); if (contours.Length == 0) { return null; } Mat result = null; var contourIndex = 0; while ((contourIndex >= 0)) { var contour = contours[contourIndex]; var boundingRect = Cv2.BoundingRect(contour); //Find bounding rect for each contour var roi = new Mat(threshImage, boundingRect); //Crop the image //Cv2.ImShow("src", gray); //Cv2.ImShow("roi", roi); //Cv.WaitKey(0); var resizedImage = new Mat(); var resizedImageFloat = new Mat(); Cv2.Resize(roi, resizedImage, new Size(10, 10)); //resize to 10X10 resizedImage.ConvertTo(resizedImageFloat, MatType.CV_32FC1); //convert to float result = resizedImageFloat.Reshape(1, 1); contourIndex = hierarchyIndexes[contourIndex].Next; } return result; }
ابتدا تصویر اصلی بارگذاری میشود؛ همان تصویر سمت چپ. سپس با استفاده از متد Threshold، شدت نور نواحی مختلف آن یکسان شده و آماده میشود برای تشخیص کانتورهای موجود در آن. در ادامه با استفاده از متد FindContours، شیء مرتبط با عدد جاری یافت میشود. سپس متد Cv2.BoundingRect مستطیل دربرگیرندهی این شیء را تشخیص میدهد (تصویر سمت راست). بر این اساس میتوان تصویر اصلی ورودی را به یک تصویر کوچکتر که صرفا شامل ناحیهی عدد مدنظر است، تبدیل کرد. در ادامه برای کار با الگوریتم CvKNearest نیاز است تا این تصویر بهبود یافته را تبدیل به یک ماتریس یک بعدی کردی که روش انجام کار توسط متد Reshape مشاهده میکنید.
از همین روش پردازش و بهبود تصویر ورودی، جهت پردازش اعداد یافت شدهی در یک تصویر با تعداد زیادی عدد نیز استفاده خواهیم کرد.
آموزش دادن به الگوریتم CvKNearest
تا اینجا تصاویر گروه بندی شدهای را خوانده و لیستی از آنها را مطابق فرمت الگوریتم CvKNearest تهیه کردیم. مرحلهی بعد، معرفی این لیست به متد Train این الگوریتم است:
public CvKNearest TrainData(IList<ImageInfo> trainingImages) { var samples = new Mat(); foreach (var trainingImage in trainingImages) { samples.PushBack(trainingImage.Image); } var labels = trainingImages.Select(x => x.ImageGroupId).ToArray(); var responses = new Mat(labels.Length, 1, MatType.CV_32SC1, labels); var tmp = responses.Reshape(1, 1); //make continuous var responseFloat = new Mat(); tmp.ConvertTo(responseFloat, MatType.CV_32FC1); // Convert to float var kNearest = new CvKNearest(); kNearest.Train(samples, responseFloat); // Train with sample and responses return kNearest; }
سپس نیاز است لیست گروههای متناظر با تصاویر اعداد را تبدیل به فرمت مورد انتظار متد Train کنیم. در اینجا صرفا لیستی از اعداد صحیح را داریم. این لیست نیز باید تبدیل به یک Mat شود که روش انجام آن در متد فوق بیان شدهاست. کلاس Mat سازندهی مخصوصی را جهت تبدیل لیست اعداد، به همراه دارد. این Mat نیز باید تبدیل به یک ماتریس یک بعدی شود که برای این منظور از متد Reshape استفاده شدهاست.
انجام عملیات OCR نهایی
پس از تهیهی لیستی از تصاویر و آموزش دادن آنها به الگوریتم CvKNearest، تنها کاری که باید انجام دهیم، یافتن اعداد در تصویر نمونهی مدنظر و سپس معرفی آن به متد FindNearest الگوریتم CvKNearest است. روش انجام اینکار بسیار شبیه است به روش معرفی شده در متد processTrainingImage که پیشتر بررسی شد:
public void DoOCR(CvKNearest kNearest, string path) { var src = Cv2.ImRead(path); Cv2.ImShow("Source", src); var gray = new Mat(); Cv2.CvtColor(src, gray, ColorConversion.BgrToGray); var threshImage = new Mat(); Cv2.Threshold(gray, threshImage, Thresh, ThresholdMaxVal, ThresholdType.BinaryInv); // Threshold to find contour Point[][] contours; HiearchyIndex[] hierarchyIndexes; Cv2.FindContours( threshImage, out contours, out hierarchyIndexes, mode: ContourRetrieval.CComp, method: ContourChain.ApproxSimple); if (contours.Length == 0) { throw new NotSupportedException("Couldn't find any object in the image."); } //Create input sample by contour finding and cropping var dst = new Mat(src.Rows, src.Cols, MatType.CV_8UC3, Scalar.All(0)); var contourIndex = 0; while ((contourIndex >= 0)) { var contour = contours[contourIndex]; var boundingRect = Cv2.BoundingRect(contour); //Find bounding rect for each contour Cv2.Rectangle(src, new Point(boundingRect.X, boundingRect.Y), new Point(boundingRect.X + boundingRect.Width, boundingRect.Y + boundingRect.Height), new Scalar(0, 0, 255), 2); var roi = new Mat(threshImage, boundingRect); //Crop the image var resizedImage = new Mat(); var resizedImageFloat = new Mat(); Cv2.Resize(roi, resizedImage, new Size(10, 10)); //resize to 10X10 resizedImage.ConvertTo(resizedImageFloat, MatType.CV_32FC1); //convert to float var result = resizedImageFloat.Reshape(1, 1); var results = new Mat(); var neighborResponses = new Mat(); var dists = new Mat(); var detectedClass = (int)kNearest.FindNearest(result, 1, results, neighborResponses, dists); //Console.WriteLine("DetectedClass: {0}", detectedClass); //Cv2.ImShow("roi", roi); //Cv.WaitKey(0); //Cv2.ImWrite(string.Format("det_{0}_{1}.png",detectedClass, contourIndex), roi); Cv2.PutText( dst, detectedClass.ToString(CultureInfo.InvariantCulture), new Point(boundingRect.X, boundingRect.Y + boundingRect.Height), 0, 1, new Scalar(0, 255, 0), 2); contourIndex = hierarchyIndexes[contourIndex].Next; } Cv2.ImShow("Segmented Source", src); Cv2.ImShow("Detected", dst); Cv2.ImWrite("dest.jpg", dst); Cv2.WaitKey(); }
ابتدا تصویر اصلی که قرار است عملیات OCR روی آن صورت گیرد، بارگذاری میشود. سپس کانتورها و اعداد موجود در آن تشخیص داده میشوند. مستطیلهای قرمز رنگ در برگیرندهی این اعداد را در تصویر دوم مشاهده میکنید. سپس این کانتورهای یافت شده را که شامل یکی از اعداد تشخیص داده شدهاست، تبدیل به یک ماتریس یک بعدی کرده و به متد FindNearest ارسال میکنیم. خروجی آن نام گروه یا پوشهای است که این عدد در آن قرار دارد. در همینجا این خروجی را تبدیل به یک رشته کرده و در تصویر سوم با رنگ سبز رنگ نمایش میدهیم.
بنابراین در این تصویر، پنجرهی segmented image، همان اشیاء تشخیص داده شدهی از تصویر اصلی هستند.
پنجرهی با زمینهی سیاه رنگ، نتیجهی نهایی OCR است که نسبتا هم دقیق عمل کردهاست.
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
نظرات اشتراکها
پروژهی Awesome Bootstrap
اگه قالب خاصی از اینها مد نظر باشه
آیا با استفاده از Bootstrap RTL قابل استفاده هست ؟
یا باید خود تم و قالب رو هم سفارشی RTL نمود ؟
با تشکر
آیا با استفاده از Bootstrap RTL قابل استفاده هست ؟
یا باید خود تم و قالب رو هم سفارشی RTL نمود ؟
با تشکر
مطالب
OpenCVSharp #7
معرفی اینترفیس ++C کتابخانهی OpenCVSharp
اینترفیس یا API زبان C کتابخانهی OpenCV مربوط است به نگارشهای 1x این کتابخانه و تمام مثالهایی را که تاکنون ملاحظه کردید، بر مبنای همین اینترفیس تهیه شده بودند. اما از OpenCV سری 2x، این اینترفیس صرفا جهت سازگاری با نگارشهای قبلی، نگهداری میشود و اینترفیس اصلی مورد استفاده، API جدید ++C آن است. به همین جهت کتابخانهی OpenCVSharp نیز در فضای نام OpenCvSharp.CPlusPlus و توسط اسمبلی OpenCvSharp.CPlusPlus.dll، امکان دسترسی به این API جدید را فراهم کردهاست که در ادامه نکات مهم آنرا بررسی خواهیم کرد.
تبدیل مثالهای اینترفیس C به اینترفیس ++C
مثال «تبدیل تصویر به حالت سیاه و سفید» قسمت سوم را درنظر بگیرید. این مثال به کمک اینترفیس C کتابخانهی OpenCV کار میکند. معادل تبدیل شدهی آن به اینترفیس ++C به صورت ذیل است:
نکاتی را که باید در اینجا مدنظر داشت:
- بجای IplImage، از کلاس Mat استفاده شدهاست.
- برای ایجاد Clone یک تصویر نیازی نیست تا پارامترهای خاصی را به Mat دوم (همان dst) انتساب داد و ایجاد یک Mat خالی کفایت میکند.
- اینبار بجای کلاس Cv اینترفیس C، از کلاس Cv2 اینترفیس ++C استفاده شدهاست.
- متد الحاقی ToBitmap نیز که در کلاس OpenCvSharp.Extensions.BitmapConverter قرار دارد، با نمونهی Mat سازگار است و به این ترتیب میتوان خروجی معادل دات نتی Mat را با فرمت Bitmap تهیه کرد.
- بجای CvWindow، در اینجا باید از Window سازگار با Mat، استفاده شود.
- new Mat معادل Cv2.ImRead است. بنابراین اگر مثال ++C ایی را در اینترنت یافتید:
معادل متد imread آن همان new Mat کتابخانهی OpenCVSharp است و یا متد Cv2.ImRead آن.
کار مستقیم با نقاط در OpenCVSharp
متدهای ماتریسی OpenCV، فوق العاده در جهت سریع اجرا شدن و استفادهی از امکانات سخت افزاری و پردازشهای موازی، بهینه سازی شدهاند. اما اگر قصد داشتید این متدهای سریع را با نمونههایی متداول و نه چندان سریع جایگزین کنید، میتوان مستقیما با نقاط تصویر نیز کار کرد. در ادامه قصد داریم کار فیلتر توکار Not را که عملیات معکوس سازی رنگ نقاط را انجام میدهد، شبیه سازی کنیم.
در اینجا نحوهی دسترسی مستقیم به نقاط تصویر بارگذاری شده را توسط اینترفیس C، ملاحظه میکنید:
IplImage امکان دسترسی به نقاط را به صورت یک آرایهی دو بعدی میسر میکند. خروجی آن از نوع CvColor است که در اینجا از هر عنصر آن، 255 واحد کسر خواهد شد تا فیلتر Not شبیه سازی شود. سپس این رنگ جدید، به نقطهای معادل آن در تصویر خروجی انتساب داده میشود.
روش ارائه شدهی در اینجا یکی از روشهای دسترسی به نقاط، توسط اینترفیس C است. سایر روشهای ممکن را در Wiki آن میتوانید مطالعه کنید.
شبیه به همین کار را میتوان به نحو ذیل توسط اینترفیس ++C کتابخانهی OpenCVSharp نیز انجام داد:
ابتدا توسط کلاس Mat، کار بارگذاری و سپس تهیهی یک کپی، از تصویر اصلی انجام میشود. در ادامه برای دسترسی به نقاط تصویر، از متد Get که خروجی آن از نوع Vec3b است، استفاده خواهد شد. این بردار دارای سه جزء است که بیانگر اجزای رنگ نقطهی مدنظر میباشند. در اینجا نیز 255 واحد از هر جزء کسر شده و سپس توسط متد Set، به تصویر خروجی اعمال خواهند شد.
میتوانید سایر روشهای دسترسی به نقاط را توسط اینترفیس ++C، در Wiki این کتابخانه مطالعه نمائید.
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
اینترفیس یا API زبان C کتابخانهی OpenCV مربوط است به نگارشهای 1x این کتابخانه و تمام مثالهایی را که تاکنون ملاحظه کردید، بر مبنای همین اینترفیس تهیه شده بودند. اما از OpenCV سری 2x، این اینترفیس صرفا جهت سازگاری با نگارشهای قبلی، نگهداری میشود و اینترفیس اصلی مورد استفاده، API جدید ++C آن است. به همین جهت کتابخانهی OpenCVSharp نیز در فضای نام OpenCvSharp.CPlusPlus و توسط اسمبلی OpenCvSharp.CPlusPlus.dll، امکان دسترسی به این API جدید را فراهم کردهاست که در ادامه نکات مهم آنرا بررسی خواهیم کرد.
تبدیل مثالهای اینترفیس C به اینترفیس ++C
مثال «تبدیل تصویر به حالت سیاه و سفید» قسمت سوم را درنظر بگیرید. این مثال به کمک اینترفیس C کتابخانهی OpenCV کار میکند. معادل تبدیل شدهی آن به اینترفیس ++C به صورت ذیل است:
// Cv2.ImRead using (var src = new Mat(@"..\..\Images\Penguin.Png", LoadMode.AnyDepth | LoadMode.AnyColor)) using (var dst = new Mat()) { Cv2.CvtColor(src, dst, ColorConversion.BgrToGray); // How to export using (var bitmap = dst.ToBitmap()) // => OpenCvSharp.Extensions.BitmapConverter.ToBitmap(dst) { bitmap.Save("gray.png", ImageFormat.Png); } using (new Window("BgrToGray C++: src", image: src)) using (new Window("BgrToGray C++: dst", image: dst)) { Cv2.WaitKey(); } }
- بجای IplImage، از کلاس Mat استفاده شدهاست.
- برای ایجاد Clone یک تصویر نیازی نیست تا پارامترهای خاصی را به Mat دوم (همان dst) انتساب داد و ایجاد یک Mat خالی کفایت میکند.
- اینبار بجای کلاس Cv اینترفیس C، از کلاس Cv2 اینترفیس ++C استفاده شدهاست.
- متد الحاقی ToBitmap نیز که در کلاس OpenCvSharp.Extensions.BitmapConverter قرار دارد، با نمونهی Mat سازگار است و به این ترتیب میتوان خروجی معادل دات نتی Mat را با فرمت Bitmap تهیه کرد.
- بجای CvWindow، در اینجا باید از Window سازگار با Mat، استفاده شود.
- new Mat معادل Cv2.ImRead است. بنابراین اگر مثال ++C ایی را در اینترنت یافتید:
cv::Mat src = cv::imread ("foo.jpg"); cv::Mat dst; cv::cvtColor (src, dst, CV_BGR2GRAY);
کار مستقیم با نقاط در OpenCVSharp
متدهای ماتریسی OpenCV، فوق العاده در جهت سریع اجرا شدن و استفادهی از امکانات سخت افزاری و پردازشهای موازی، بهینه سازی شدهاند. اما اگر قصد داشتید این متدهای سریع را با نمونههایی متداول و نه چندان سریع جایگزین کنید، میتوان مستقیما با نقاط تصویر نیز کار کرد. در ادامه قصد داریم کار فیلتر توکار Not را که عملیات معکوس سازی رنگ نقاط را انجام میدهد، شبیه سازی کنیم.
در اینجا نحوهی دسترسی مستقیم به نقاط تصویر بارگذاری شده را توسط اینترفیس C، ملاحظه میکنید:
using (var src = new IplImage(@"..\..\Images\Penguin.Png", LoadMode.AnyDepth | LoadMode.AnyColor)) using (var dst = new IplImage(src.Size, src.Depth, src.NChannels)) { for (var y = 0; y < src.Height; y++) { for (var x = 0; x < src.Width; x++) { CvColor pixel = src[y, x]; dst[y, x] = new CvColor { B = (byte)(255 - pixel.B), G = (byte)(255 - pixel.G), R = (byte)(255 - pixel.R) }; } } // [C] Accessing Pixel // https://github.com/shimat/opencvsharp/wiki/%5BC%5D-Accessing-Pixel using (new CvWindow("C Interface: Src", image: src)) using (new CvWindow("C Interface: Dst", image: dst)) { Cv.WaitKey(0); } }
روش ارائه شدهی در اینجا یکی از روشهای دسترسی به نقاط، توسط اینترفیس C است. سایر روشهای ممکن را در Wiki آن میتوانید مطالعه کنید.
شبیه به همین کار را میتوان به نحو ذیل توسط اینترفیس ++C کتابخانهی OpenCVSharp نیز انجام داد:
// Cv2.ImRead using (var src = new Mat(@"..\..\Images\Penguin.Png", LoadMode.AnyDepth | LoadMode.AnyColor)) using (var dst = new Mat()) { src.CopyTo(dst); for (var y = 0; y < src.Height; y++) { for (var x = 0; x < src.Width; x++) { var pixel = src.Get<Vec3b>(y, x); var newPixel = new Vec3b { Item0 = (byte)(255 - pixel.Item0), // B Item1 = (byte)(255 - pixel.Item1), // G Item2 = (byte)(255 - pixel.Item2) // R }; dst.Set(y, x, newPixel); } } // [Cpp] Accessing Pixel // https://github.com/shimat/opencvsharp/wiki/%5BCpp%5D-Accessing-Pixel //Cv2.NamedWindow(); //Cv2.ImShow(); using (new Window("C++ Interface: Src", image: src)) using (new Window("C++ Interface: Dst", image: dst)) { Cv2.WaitKey(0); } }
میتوانید سایر روشهای دسترسی به نقاط را توسط اینترفیس ++C، در Wiki این کتابخانه مطالعه نمائید.
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
نظرات مطالب
شروع کار با Angular Material ۲
با تشکر از مطلب خوب و مفیدتون.
فقط اگه میشه یه مرجع کامل که نحوه استفاده کامپوننتها داخل برنامههای انگولار هست رو معرفی کنید.
مثل کدهای خودتون تو این مطلب که مخصوص برنامه انگولار هست چون سایت خودش گویا کدهاش تویهبرنامه انگولار جواب نمیده.
بر فرض برای یه باتن تو داکیومنت خود سایت
به این صورت هست که وقتی کپی میکنیم تو برنامه ارور 'md-button' is not a known elemen میده
در حالی که تو کد خودتون برای استفاده از باتن
به این صورت عمل کردین. بی زحمت اگه میشه یه راهنمایی بکنید.
فقط اگه میشه یه مرجع کامل که نحوه استفاده کامپوننتها داخل برنامههای انگولار هست رو معرفی کنید.
مثل کدهای خودتون تو این مطلب که مخصوص برنامه انگولار هست چون سایت خودش گویا کدهاش تویهبرنامه انگولار جواب نمیده.
بر فرض برای یه باتن تو داکیومنت خود سایت
<md-button ng-disabled="true"> Disabled </md-button>
در حالی که تو کد خودتون برای استفاده از باتن
<button md-raised-button color = "accent" >
مطالب
OpenCVSharp #14
تشخیص BLOBs در تصویر به کمک OpenCV
BLOB یا Binary Large OBject به معنای گروهی از نقاط به هم پیوستهی در یک تصویر باینری هستند. Large در اینجا به این معنا است که اشیایی با اندازههایی مشخص، مدنظر هستند و اشیاء کوچک، به عنوان نویز درنظر گرفته خواهند شد و پردازش نمیشوند.
برای نمونه در تصویر ذیل، تصویر سمت چپ، تصویر اصلی است و تصویر سمت راست، نمونهی باینری سیاه و سفید آن. سپس عملیات تشخیص Blobs بر روی تصویر اصلی انجام شده و نتیجهی نهایی که مشخص کنندهی اشیاء تشخیص داده شدهاست، با دوایری قرمز در تصویر سمت راست، مشخص هستند.
معرفی کلاس SimpleBlobDetector
در کدهای ذیل، نحوهی کار با کلاس SimpleBlobDetector را مشاهده میکنید. این کلاس کار تشخیص Blobs را در تصویر اصلی انجام میدهد:
توضیحات
در اینجا ابتدا تصویر منبع به صورتی متداول باگذاری شدهاست. سپس توسط متد CvtColor به نمونهای سیاه و سفید و به کمک متد Threshold به یک تصویر باینری تبدیل شدهاست.
اگر به تصویر ابتدای بحث دقت کنید، اشیاء موجود در منبع مفروض، رنگهای متفاوتی دارند؛ اما در تصویر نهایی تولید شده، تمام آنها تبدیل به اشیایی سفید رنگ شدهاند. این کار را متد Cv2.Threshold انجام دادهاست، تا کلاس SimpleBlobDetector قابلیت تشخیص بهتری را پیدا کند. تشخیص اشیایی یک دست، بسیار سادهتر هستند از تشخیص اشیایی با رنگها و شدت نور متفاوت.
اگر بخواهیم الگوریتم Threshold را بیان کنیم به pseudo code زیر خواهیم رسید:
در اینجا رنگ نقطهی x,y با مقدار thresh (پارامتر سوم متد Cv2.Threshold) مقایسه میشود. اگر مقدار آن بیشتر بود، با پارامتر چهارم جایگزین خواهد شد. مقدار 255 در اینجا روشنترین حالت ممکن است؛ اگر خیر با صفر یا تیرهترین رنگ، جایگزین میشود. به همین دلیل است که در تصویر سمت راست، تمام اشیاء را با روشنترین رنگ ممکن مشاهده میکنید.
سپس پارامتر اصلی سازندهی کلاس SimpleBlobDetector مقدار دهی شدهاست. این تنظیمات در تشخیص اشیاء موجود در تصویر بسیار مهم هستند. برای درک بهتر واژههایی مانند Circularity، Convexity، Inertia و امثال آن، به تصویر ذیل دقت کنید:
در اینجا میتوان حداقل و حداکثر تقعر و تحدب اشیاء و یا حتی حداقل و حداکثر اندازهی اشیاء مدنظر را مشخص کرد.
اگر سازندهی کلاس SimpleBlobDetector به نال تنظیم شود، از مقادیر پیش فرض آن استفاده خواهند شد که در اینجا به معنای تشخیص اشیاء کدر دایرهای شکل هستند. به همین جهت در تنظیمات فوق FilterByColor به false تنظیم شدهاست تا اشکال سفید رنگ تصویر اصلی را بتوان تشخیص داد.
در ادامه متد simpleBlobDetector.Detect بر روی تصویر باینری بهبود داده شده، فراخوانی گشتهاست. خروجی آن نقاط کلیدی اشیاء یافت شدهاست. این نقاط را میتوان توسط متد DrawKeypoints ترسیم کرد که حاصل آن دوایر قرمز رنگ موجود در مرکز اشیاء یافت شدهی در تصویر سمت راست هستند.
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
BLOB یا Binary Large OBject به معنای گروهی از نقاط به هم پیوستهی در یک تصویر باینری هستند. Large در اینجا به این معنا است که اشیایی با اندازههایی مشخص، مدنظر هستند و اشیاء کوچک، به عنوان نویز درنظر گرفته خواهند شد و پردازش نمیشوند.
برای نمونه در تصویر ذیل، تصویر سمت چپ، تصویر اصلی است و تصویر سمت راست، نمونهی باینری سیاه و سفید آن. سپس عملیات تشخیص Blobs بر روی تصویر اصلی انجام شده و نتیجهی نهایی که مشخص کنندهی اشیاء تشخیص داده شدهاست، با دوایری قرمز در تصویر سمت راست، مشخص هستند.
معرفی کلاس SimpleBlobDetector
در کدهای ذیل، نحوهی کار با کلاس SimpleBlobDetector را مشاهده میکنید. این کلاس کار تشخیص Blobs را در تصویر اصلی انجام میدهد:
var srcImage = new Mat(@"..\..\Images\cvlbl.png"); Cv2.ImShow("Source", srcImage); Cv2.WaitKey(1); // do events var binaryImage = new Mat(srcImage.Size(), MatType.CV_8UC1); Cv2.CvtColor(srcImage, binaryImage, ColorConversion.BgrToGray); Cv2.Threshold(binaryImage, binaryImage, thresh: 100, maxval: 255, type: ThresholdType.Binary); var detectorParams = new SimpleBlobDetector.Params { //MinDistBetweenBlobs = 10, // 10 pixels between blobs //MinRepeatability = 1, //MinThreshold = 100, //MaxThreshold = 255, //ThresholdStep = 5, FilterByArea = false, //FilterByArea = true, //MinArea = 0.001f, // 10 pixels squared //MaxArea = 500, FilterByCircularity = false, //FilterByCircularity = true, //MinCircularity = 0.001f, FilterByConvexity = false, //FilterByConvexity = true, //MinConvexity = 0.001f, //MaxConvexity = 10, FilterByInertia = false, //FilterByInertia = true, //MinInertiaRatio = 0.001f, FilterByColor = false //FilterByColor = true, //BlobColor = 255 // to extract light blobs }; var simpleBlobDetector = new SimpleBlobDetector(detectorParams); var keyPoints = simpleBlobDetector.Detect(binaryImage); Console.WriteLine("keyPoints: {0}", keyPoints.Length); foreach (var keyPoint in keyPoints) { Console.WriteLine("X: {0}, Y: {1}", keyPoint.Pt.X, keyPoint.Pt.Y); } var imageWithKeyPoints = new Mat(); Cv2.DrawKeypoints( image: binaryImage, keypoints: keyPoints, outImage: imageWithKeyPoints, color: Scalar.FromRgb(255, 0, 0), flags: DrawMatchesFlags.DrawRichKeypoints); Cv2.ImShow("Key Points", imageWithKeyPoints); Cv2.WaitKey(1); // do events Cv2.WaitKey(0); Cv2.DestroyAllWindows(); srcImage.Dispose(); imageWithKeyPoints.Dispose();
در اینجا ابتدا تصویر منبع به صورتی متداول باگذاری شدهاست. سپس توسط متد CvtColor به نمونهای سیاه و سفید و به کمک متد Threshold به یک تصویر باینری تبدیل شدهاست.
اگر به تصویر ابتدای بحث دقت کنید، اشیاء موجود در منبع مفروض، رنگهای متفاوتی دارند؛ اما در تصویر نهایی تولید شده، تمام آنها تبدیل به اشیایی سفید رنگ شدهاند. این کار را متد Cv2.Threshold انجام دادهاست، تا کلاس SimpleBlobDetector قابلیت تشخیص بهتری را پیدا کند. تشخیص اشیایی یک دست، بسیار سادهتر هستند از تشخیص اشیایی با رنگها و شدت نور متفاوت.
اگر بخواهیم الگوریتم Threshold را بیان کنیم به pseudo code زیر خواهیم رسید:
if src(x,y) > thresh dst(x,y) = maxValue else dst(x,y) = 0
سپس پارامتر اصلی سازندهی کلاس SimpleBlobDetector مقدار دهی شدهاست. این تنظیمات در تشخیص اشیاء موجود در تصویر بسیار مهم هستند. برای درک بهتر واژههایی مانند Circularity، Convexity، Inertia و امثال آن، به تصویر ذیل دقت کنید:
در اینجا میتوان حداقل و حداکثر تقعر و تحدب اشیاء و یا حتی حداقل و حداکثر اندازهی اشیاء مدنظر را مشخص کرد.
اگر سازندهی کلاس SimpleBlobDetector به نال تنظیم شود، از مقادیر پیش فرض آن استفاده خواهند شد که در اینجا به معنای تشخیص اشیاء کدر دایرهای شکل هستند. به همین جهت در تنظیمات فوق FilterByColor به false تنظیم شدهاست تا اشکال سفید رنگ تصویر اصلی را بتوان تشخیص داد.
در ادامه متد simpleBlobDetector.Detect بر روی تصویر باینری بهبود داده شده، فراخوانی گشتهاست. خروجی آن نقاط کلیدی اشیاء یافت شدهاست. این نقاط را میتوان توسط متد DrawKeypoints ترسیم کرد که حاصل آن دوایر قرمز رنگ موجود در مرکز اشیاء یافت شدهی در تصویر سمت راست هستند.
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
مطالب
OpenCVSharp #12
قطعه بندی (segmentation) تصویر با استفاده از الگوریتم watershed
در تصویر ذیل، تصویر یک راهرو را مشاهده میکنید که توسط ماوس قطعه بندی شدهاست (تصویر اصلی یا سمت چپ). تصویر سمت راست، نسخهی قطعه بندی شدهی این تصویر به کمک الگوریتم watershed است.
انتخاب نواحی مختلف به کمک ماوس
در اینجا کدهای آغازین مثال بحث جاری را ملاحظه میکنید:
ابتدا تصویر راهرو بارگذاری شدهاست. سپس یک نسخهی سیاه و سفید تک کاناله به نام markerMask از آن استخراج میشود. از آن برای ترسیم خطوط انتخاب نواحی مختلف تصویر به کمک ماوس استفاده میشود. به علاوه متد FindContours که در ادامه معرفی خواهد شد، نیاز به یک تصویر 8 بیتی تک کاناله دارد (به هر یک از اجزای RGB یک کانال گفته میشود).
همچنین این نسخهی سیاه و سفید تک کاناله به یک تصویر سه کاناله برای نمایش رنگهای قسمتهای مختلف قطعه بندی شده، تبدیل میشود.
سپس پنجرهی نمایش تصویر اصلی برنامه ایجاد شده و در اینجا روال رخدادگردان OnMouseCallback آن به صورت inline مقدار دهی شدهاست. در این روال میتوان مدیریت ماوس را به عهده گرفت و کار نمایش خطوط مختلف را با فشرده شدن و سپس رها شدن کلیک سمت چپ ماوس انجام داد.
خط ترسیم شده بر روی دو تصویر از نوع Mat نمایش داده میشود. تصویر srcCopy، همان تصویر نمایش داده شدهی در پنجرهی اصلی است و تصویر markerMask، بیشتر جنبهی محاسباتی دارد و در متدهای بعدی OpenCV استفاده خواهد شد.
تشخیص کانتورها (Contours) در تصویر
پس از ترسیم نواحی مورد نظر توسط ماوس، یک سری خطوط به هم پیوسته در شکل قابل مشاهده هستند. میخواهیم این خطوط را تشخیص داده و سپس از آنها جهت محاسبات قطعه بندی تصویر استفاده کنیم. تشخیص این خطوط متصل، توسط متدی به نام FindContours انجام میشود. کانتورها، قسمتهای خارجی اجزای متصل به هم هستند.
متد FindContours همان تصویر markerMask را که توسط ماوس، قسمتهای مختلف تصویر را علامتگذاری کردهاست، دریافت میکند. سپس کانتورهای آن را استخراج خواهد کرد. کانتورها در مثالهای اصلی OpenCV با verctor مشخص شدهاند. در اینجا (در کتابخانهی OpenCVSharp) آنها را توسط یک آرایهی دو بعدی از نوع Point مشاهده میکنید یا شبیه به لیستی از آرایهی نقاط کانتورهای مختلف تشخیص داده شده (هر کانتور، آرایهی از نقاط است). از hierarchyIndexes جهت یافتن و ترسیم این کانتورها در متد DrawContours استفاده میشود.
متد FindContours یک تصویر 8 بیتی تک کاناله را دریافت میکند. اگر mode آن CCOMP یا FLOODFILL تعریف شود، امکان دریافت یک تصویر 32 بیتی را نیز خواهد داشت.
پارامتر hierarchy آن یک پارامتر اختیاری است که بیانگر اطلاعات topology تصویر است.
توسط پارامتر Mode، نحوهی استخراج کانتور مشخص میشود. اگر به external تنظیم شود، تنها کانتورهای خارجیترین قسمتها را تشخیص میدهد. اگر مساوی list قرار گیرد، تمام کانتورها را بدون ارتباطی با یکدیگر و بدون تشکیل hierarchy استخراج میکند. حالت ccomp تمام کانتورها را استخراج کرده و یک درخت دو سطحی از آنها را تشکیل میدهد. در سطح بالایی مرزهای خارجی اجزاء وجود دارند و در سطح دوم مرزهای حفرهها مشخص شدهاند. حالت و مقدار tree به معنای تشکیل یک درخت کامل از کانتورهای یافت شدهاست.
پارامتر method اگر به none تنظیم شود، تمام نقاط کانتور ذخیره خواهند شد و اگر به simple تنظیم شود، قطعههای افقی، عمودی و قطری، فشرده شده و تنها نقاط نهایی آنها ذخیره میشوند. برای مثال در این حالت یک کانتور مستطیلی، تنها با 4 نقطه ذخیره میشود.
ترسیم کانتورهای تشخیص داده شده بر روی تصویر
میتوان به کمک متد DrawContours، مرزهای کانتورهای یافت شده را ترسیم کرد:
پارامتر اول آن تصویری است که قرار است ترسیمات بر روی آن انجام شوند. پارامتر کانتور، آرایهای است از کانتورهای یافت شدهی در قسمت قبل. پارامتر ایندکس مشخص میکند که اکنون کدام کانتور باید رسم شود. برای یافتن کانتور بعدی باید از hierarchyIndexes یافت شدهی توسط متد FindContours استفاده کرد. خاصیت Next آن، بیانگر ایندکس کانتور بعدی است و اگر مساوی منهای یک شد، کار متوقف میشود. مقدار maxLevel مشخص میکند که بر اساس پارامتر hierarchyIndexes، چند سطح از کانتورهای به هم مرتبط باید ترسیم شوند. در اینجا چون به حداکثر مقدار Int32 تنظیم شدهاست، تمام این سطوح ترسیم خواهند شد. اگر پارامتر ضخامت به یک عدد منفی تنظیم شود، سطوح داخلی کانتور ترسیم و پر میشوند.
اعمال الگوریتم watershed
در مرحلهی آخر، تصویر کانتورهای ترسیم شده را به متد Watershed ارسال میکنیم. پارامتر اول آن تصویر اصلی است و پارامتر دوم، یک پارامتر ورودی و خروجی محسوب میشود و کار قطعه بندی تصویر بر روی آن انجام خواهد شد.
کار الگوریتم watershed، ایزوله سازی اشیاء موجود در تصویر از پس زمینهی آنها است. این الگوریتم، یک تصویر سیاه و سفید را دریافت میکند؛ به همراه یک تصویر ویژه به نام marker. تصویر marker کارش مشخص سازی اشیاء، از پس زمینهی آنها است که در اینجا توسط ماوس ترسیم و سپس به کمک یافتن کانتورها و ترسیم آنها بهینه سازی شدهاست.
متد Cv2.TheRNG یک تولید کنندهی اعداد تصادفی توسط OpenCV است و متد Uniform آن شبیه به متد Next کلاس Random دات نت عمل میکند. به نظر این کلاس تولید اعداد تصادفی، آنچنان هم تصادفی عمل نمیکند. به همین جهت از کلاس Random دات نت استفاده شد. در اینجا به ازای تعداد کانتورهای ترسیم شده، یک رنگ تصادفی تولید شدهاست.
پس از اعمال متد Watershed، هر نقطهی تصویر marker مشخص میکند که متعلق به کدام قطعهی تشخیص داده شدهاست. سپس به این نقطه، رنگ آن قطعه را نسبت داده و آنرا در تصویر جدیدی ترسیم میکنیم.
در آخر، پس زمینه، با نواحی تشخیص داده ترکیب شدهاند (watershedImage * 0.5 + imgGray * 0.5) تا تصویر ابتدای بحث حاصل شود. اگر این ترکیب صورت نگیرد، چنین تصویری حاصل خواهد شد:
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
در تصویر ذیل، تصویر یک راهرو را مشاهده میکنید که توسط ماوس قطعه بندی شدهاست (تصویر اصلی یا سمت چپ). تصویر سمت راست، نسخهی قطعه بندی شدهی این تصویر به کمک الگوریتم watershed است.
همانطور که در تصویر نیز مشخص است، نمایش هر ناحیهی قطعه بندی شده، شبیه به سیلان آب است که با رسیدن به مرز قطعهی بعدی متوقف شدهاست. به همین جهت به آن watershed (آب پخشان) میگویند.
انتخاب نواحی مختلف به کمک ماوس
در اینجا کدهای آغازین مثال بحث جاری را ملاحظه میکنید:
var src = new Mat(@"..\..\Images\corridor.jpg", LoadMode.AnyDepth | LoadMode.AnyColor); var srcCopy = new Mat(); src.CopyTo(srcCopy); var markerMask = new Mat(); Cv2.CvtColor(srcCopy, markerMask, ColorConversion.BgrToGray); var imgGray = new Mat(); Cv2.CvtColor(markerMask, imgGray, ColorConversion.GrayToBgr); markerMask = new Mat(markerMask.Size(), markerMask.Type(), s: Scalar.All(0)); var sourceWindow = new Window("Source (Select areas by mouse and then press space)") { Image = srcCopy }; var previousPoint = new Point(-1, -1); sourceWindow.OnMouseCallback += (@event, x, y, flags) => { if (x < 0 || x >= srcCopy.Cols || y < 0 || y >= srcCopy.Rows) { return; } if (@event == MouseEvent.LButtonUp || !flags.HasFlag(MouseEvent.FlagLButton)) { previousPoint = new Point(-1, -1); } else if (@event == MouseEvent.LButtonDown) { previousPoint = new Point(x, y); } else if (@event == MouseEvent.MouseMove && flags.HasFlag(MouseEvent.FlagLButton)) { var pt = new Point(x, y); if (previousPoint.X < 0) { previousPoint = pt; } Cv2.Line(img: markerMask, pt1: previousPoint, pt2: pt, color: Scalar.All(255), thickness: 5); Cv2.Line(img: srcCopy, pt1: previousPoint, pt2: pt, color: Scalar.All(255), thickness: 5); previousPoint = pt; sourceWindow.Image = srcCopy; } };
همچنین این نسخهی سیاه و سفید تک کاناله به یک تصویر سه کاناله برای نمایش رنگهای قسمتهای مختلف قطعه بندی شده، تبدیل میشود.
سپس پنجرهی نمایش تصویر اصلی برنامه ایجاد شده و در اینجا روال رخدادگردان OnMouseCallback آن به صورت inline مقدار دهی شدهاست. در این روال میتوان مدیریت ماوس را به عهده گرفت و کار نمایش خطوط مختلف را با فشرده شدن و سپس رها شدن کلیک سمت چپ ماوس انجام داد.
خط ترسیم شده بر روی دو تصویر از نوع Mat نمایش داده میشود. تصویر srcCopy، همان تصویر نمایش داده شدهی در پنجرهی اصلی است و تصویر markerMask، بیشتر جنبهی محاسباتی دارد و در متدهای بعدی OpenCV استفاده خواهد شد.
تشخیص کانتورها (Contours) در تصویر
پس از ترسیم نواحی مورد نظر توسط ماوس، یک سری خطوط به هم پیوسته در شکل قابل مشاهده هستند. میخواهیم این خطوط را تشخیص داده و سپس از آنها جهت محاسبات قطعه بندی تصویر استفاده کنیم. تشخیص این خطوط متصل، توسط متدی به نام FindContours انجام میشود. کانتورها، قسمتهای خارجی اجزای متصل به هم هستند.
Point[][] contours; //vector<vector<Point>> contours; HiearchyIndex[] hierarchyIndexes; //vector<Vec4i> hierarchy; Cv2.FindContours( markerMask, out contours, out hierarchyIndexes, mode: ContourRetrieval.CComp, method: ContourChain.ApproxSimple);
متد FindContours یک تصویر 8 بیتی تک کاناله را دریافت میکند. اگر mode آن CCOMP یا FLOODFILL تعریف شود، امکان دریافت یک تصویر 32 بیتی را نیز خواهد داشت.
پارامتر hierarchy آن یک پارامتر اختیاری است که بیانگر اطلاعات topology تصویر است.
توسط پارامتر Mode، نحوهی استخراج کانتور مشخص میشود. اگر به external تنظیم شود، تنها کانتورهای خارجیترین قسمتها را تشخیص میدهد. اگر مساوی list قرار گیرد، تمام کانتورها را بدون ارتباطی با یکدیگر و بدون تشکیل hierarchy استخراج میکند. حالت ccomp تمام کانتورها را استخراج کرده و یک درخت دو سطحی از آنها را تشکیل میدهد. در سطح بالایی مرزهای خارجی اجزاء وجود دارند و در سطح دوم مرزهای حفرهها مشخص شدهاند. حالت و مقدار tree به معنای تشکیل یک درخت کامل از کانتورهای یافت شدهاست.
پارامتر method اگر به none تنظیم شود، تمام نقاط کانتور ذخیره خواهند شد و اگر به simple تنظیم شود، قطعههای افقی، عمودی و قطری، فشرده شده و تنها نقاط نهایی آنها ذخیره میشوند. برای مثال در این حالت یک کانتور مستطیلی، تنها با 4 نقطه ذخیره میشود.
ترسیم کانتورهای تشخیص داده شده بر روی تصویر
میتوان به کمک متد DrawContours، مرزهای کانتورهای یافت شده را ترسیم کرد:
var markers = new Mat(markerMask.Size(), MatType.CV_32S, s: Scalar.All(0)); var componentCount = 0; var contourIndex = 0; while ((contourIndex >= 0)) { Cv2.DrawContours( markers, contours, contourIndex, color: Scalar.All(componentCount + 1), thickness: -1, lineType: LineType.Link8, hierarchy: hierarchyIndexes, maxLevel: int.MaxValue); componentCount++; contourIndex = hierarchyIndexes[contourIndex].Next; }
اعمال الگوریتم watershed
در مرحلهی آخر، تصویر کانتورهای ترسیم شده را به متد Watershed ارسال میکنیم. پارامتر اول آن تصویر اصلی است و پارامتر دوم، یک پارامتر ورودی و خروجی محسوب میشود و کار قطعه بندی تصویر بر روی آن انجام خواهد شد.
کار الگوریتم watershed، ایزوله سازی اشیاء موجود در تصویر از پس زمینهی آنها است. این الگوریتم، یک تصویر سیاه و سفید را دریافت میکند؛ به همراه یک تصویر ویژه به نام marker. تصویر marker کارش مشخص سازی اشیاء، از پس زمینهی آنها است که در اینجا توسط ماوس ترسیم و سپس به کمک یافتن کانتورها و ترسیم آنها بهینه سازی شدهاست.
var rnd = new Random(); var colorTable = new List<Vec3b>(); for (var i = 0; i < componentCount; i++) { var b = rnd.Next(0, 255); //Cv2.TheRNG().Uniform(0, 255); var g = rnd.Next(0, 255); //Cv2.TheRNG().Uniform(0, 255); var r = rnd.Next(0, 255); //Cv2.TheRNG().Uniform(0, 255); colorTable.Add(new Vec3b((byte)b, (byte)g, (byte)r)); } Cv2.Watershed(src, markers); var watershedImage = new Mat(markers.Size(), MatType.CV_8UC3); // paint the watershed image for (var i = 0; i < markers.Rows; i++) { for (var j = 0; j < markers.Cols; j++) { var idx = markers.At<int>(i, j); if (idx == -1) { watershedImage.Set(i, j, new Vec3b(255, 255, 255)); } else if (idx <= 0 || idx > componentCount) { watershedImage.Set(i, j, new Vec3b(0, 0, 0)); } else { watershedImage.Set(i, j, colorTable[idx - 1]); } } } watershedImage = watershedImage * 0.5 + imgGray * 0.5; Cv2.ImShow("Watershed Transform", watershedImage); Cv2.WaitKey(1); //do events
پس از اعمال متد Watershed، هر نقطهی تصویر marker مشخص میکند که متعلق به کدام قطعهی تشخیص داده شدهاست. سپس به این نقطه، رنگ آن قطعه را نسبت داده و آنرا در تصویر جدیدی ترسیم میکنیم.
در آخر، پس زمینه، با نواحی تشخیص داده ترکیب شدهاند (watershedImage * 0.5 + imgGray * 0.5) تا تصویر ابتدای بحث حاصل شود. اگر این ترکیب صورت نگیرد، چنین تصویری حاصل خواهد شد:
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
مطالب
OpenCVSharp #8
بررسی morphology (ریخت شناسی) تصاویر
به تصویر زیر دقت کنید:
فرض کنید در اینجا قصد دارید تعداد توپهای قرمز را شمارش کنید. از دیدگاه یک انسان، شاید سه توپ قرمز قابل مشاهده باشد. اما از دیدگاه یک برنامه، توپ وسطی به دو توپ تفسیر خواهد شد و همچنین نویزهای قرمزی که بین توپها در صفحه وجود دارند نیز شمارش میشوند. بنابراین بهتر است پیش از پردازش این تصویر، ریخت شناسی آنرا بهبود بخشید. برای مثال توپ وسطی را یکی کرد،حفرههای توپهای دیگر را پوشاند و یا نویزهای قرمز را حذف نمود. به علاوه خطوط آبی رنگی را که با یکدیگر تماس یافتهاند نیز میخواهیم اندکی از هم جدا کنیم.
متدهایی که مورفولوژی تصاویر را تغییر میدهند
در OpenCV سه متد یا فیلتر مهم، کار تغییر مورفولوژی تصاویر را انجام میدهند:
1) Cv2.Erode
تحلیل/فرسایش یا erosion سبب میشود تا نواحی تیرهی تصویر «رشد» کنند.
در اینجا فیلتر Erode کار یکی کردن اجزای جدای توپهای رنگی را انجام دادهاست.
2) Cv2.Dilate
اتساع یا dilation سبب خواهد شد تا نواحی روشن تصویر «رشد» کنند.
بکارگیری فیلتر Dilate سبب شدهاست تا نویزهای تصویر محو شوند و اشیاء به هم پیوسته از هم جدا گردند.
3) Cv2.MorphologyEx
کار این متد انجام اعمال پیشرفتهی مورفولوژی بر روی تصاویر است و در اینجا ترکیبی از erosion و dilation، با هم انجام میشوند.
اگر پارامتر سوم آن به MorphologyOperation.Open تنظیم شود، ابتدا erosion و سپس dilation انجام خواهد شد:
و اگر این پارامتر به MorphologyOperation.Close مقدار دهی شود، ابتدا dilation و سپس erosion انجام میشود:
در تمام این حالات، پارامتر آخر که Structuring Element نام دارد، یکی از مقادیر اشیاء مستطیل، به علاوه و بیضی را میتواند داشته باشد. این اشیاء و اندازهی آنها، مشخص کنندهی میزان تحلیل و یا اتساع نهایی هستند.
استفاده از متدهای مورفولوژی در عمل
در اینجا مثالی را از نحوهی بکارگیری متدهای اتساع و فرسایش، ملاحظه میکنید:
اینترفیس به کار گرفته شده، همان C++ API است و در اینجا ابتدا یک تصویر و کپی آن تهیه میشوند. سپس پنجرهی سازگار با C++ API ایجاد شده و به این پنجره یک شیء tracker اضافه میشود. این tracker یا slider، چندسکویی است. بدیهی است اگر قرار بود چنین کاری را صرفا با یک برنامهی دات نتی انجام داد، میشد قسمت ایجاد پنجره و tracker آنرا حذف کرد و بجای آنها از یک picture box و یک slider به همراه مدیریت روال رخدادگردان تغییر مقادیر slider کمک گرفت. اما در اینجا تنها جهت آشنایی با این امکانات توکار OpenCV، از همان متدهای native آن استفاده شدهاست. در این مثال، روال رخدادگردان تغییر مقادیر tracker یا slider، یک function pointer است که معادل آن در دات نت یک delegate میباشد که در پارامتر callback متد ایجاد tracker قابل مشاهده است. هر بار که مقدار tracker تغییر میکند، مقدار pos را به callback خود ارسال خواهد کرد. از این مقدار جهت ایجاد شیء ساختاری و همچنین انتخاب بین حالات اتساع و فرسایش، کمک گرفته شدهاست.
کار متد PutText، نوشتن یک متن ساده بر روی پنجرهی native مربوط به OpenCV است.
همچنین در ادامه کدهای بکارگیری متد MorphologyEx را که کار ترکیب اتساع و فرسایش را با هم انجام میدهد، ذکر شدهاست و نکات بکارگیری آن همانند مثال اول بحث است:
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.
به تصویر زیر دقت کنید:
فرض کنید در اینجا قصد دارید تعداد توپهای قرمز را شمارش کنید. از دیدگاه یک انسان، شاید سه توپ قرمز قابل مشاهده باشد. اما از دیدگاه یک برنامه، توپ وسطی به دو توپ تفسیر خواهد شد و همچنین نویزهای قرمزی که بین توپها در صفحه وجود دارند نیز شمارش میشوند. بنابراین بهتر است پیش از پردازش این تصویر، ریخت شناسی آنرا بهبود بخشید. برای مثال توپ وسطی را یکی کرد،حفرههای توپهای دیگر را پوشاند و یا نویزهای قرمز را حذف نمود. به علاوه خطوط آبی رنگی را که با یکدیگر تماس یافتهاند نیز میخواهیم اندکی از هم جدا کنیم.
متدهایی که مورفولوژی تصاویر را تغییر میدهند
در OpenCV سه متد یا فیلتر مهم، کار تغییر مورفولوژی تصاویر را انجام میدهند:
1) Cv2.Erode
تحلیل/فرسایش یا erosion سبب میشود تا نواحی تیرهی تصویر «رشد» کنند.
در اینجا فیلتر Erode کار یکی کردن اجزای جدای توپهای رنگی را انجام دادهاست.
2) Cv2.Dilate
اتساع یا dilation سبب خواهد شد تا نواحی روشن تصویر «رشد» کنند.
بکارگیری فیلتر Dilate سبب شدهاست تا نویزهای تصویر محو شوند و اشیاء به هم پیوسته از هم جدا گردند.
3) Cv2.MorphologyEx
کار این متد انجام اعمال پیشرفتهی مورفولوژی بر روی تصاویر است و در اینجا ترکیبی از erosion و dilation، با هم انجام میشوند.
اگر پارامتر سوم آن به MorphologyOperation.Open تنظیم شود، ابتدا erosion و سپس dilation انجام خواهد شد:
و اگر این پارامتر به MorphologyOperation.Close مقدار دهی شود، ابتدا dilation و سپس erosion انجام میشود:
در تمام این حالات، پارامتر آخر که Structuring Element نام دارد، یکی از مقادیر اشیاء مستطیل، به علاوه و بیضی را میتواند داشته باشد. این اشیاء و اندازهی آنها، مشخص کنندهی میزان تحلیل و یا اتساع نهایی هستند.
استفاده از متدهای مورفولوژی در عمل
در اینجا مثالی را از نحوهی بکارگیری متدهای اتساع و فرسایش، ملاحظه میکنید:
using (var src = new Mat(@"..\..\Images\cvmorph.Png", LoadMode.AnyDepth | LoadMode.AnyColor)) using (var dst = new Mat()) { src.CopyTo(dst); var elementShape = StructuringElementShape.Rect; var maxIterations = 10; var erodeDilateWindow = new Window("Erode/Dilate", image: dst); var erodeDilateTrackbar = erodeDilateWindow.CreateTrackbar( name: "Iterations", value: 0, max: maxIterations * 2 + 1, callback: pos => { var n = pos - maxIterations; var an = n > 0 ? n : -n; var element = Cv2.GetStructuringElement( elementShape, new Size(an * 2 + 1, an * 2 + 1), new Point(an, an)); if (n < 0) { Cv2.Erode(src, dst, element); } else { Cv2.Dilate(src, dst, element); } Cv2.PutText(dst, (n < 0) ? string.Format("Erode[{0}]", elementShape) : string.Format("Dilate[{0}]", elementShape), new Point(10, 15), FontFace.HersheyPlain, 1, Scalar.Black); erodeDilateWindow.Image = dst; }); Cv2.WaitKey(); erodeDilateWindow.Dispose(); }
کار متد PutText، نوشتن یک متن ساده بر روی پنجرهی native مربوط به OpenCV است.
همچنین در ادامه کدهای بکارگیری متد MorphologyEx را که کار ترکیب اتساع و فرسایش را با هم انجام میدهد، ذکر شدهاست و نکات بکارگیری آن همانند مثال اول بحث است:
using (var src = new Mat(@"..\..\Images\cvmorph.Png", LoadMode.AnyDepth | LoadMode.AnyColor)) using (var dst = new Mat()) { src.CopyTo(dst); var elementShape = StructuringElementShape.Rect; var maxIterations = 10; var openCloseWindow = new Window("Open/Close", image: dst); var openCloseTrackbar = openCloseWindow.CreateTrackbar( name: "Iterations", value: 0, max: maxIterations * 2 + 1, callback: pos => { var n = pos - maxIterations; var an = n > 0 ? n : -n; var element = Cv2.GetStructuringElement( elementShape, new Size(an * 2 + 1, an * 2 + 1), new Point(an, an)); if (n < 0) { Cv2.MorphologyEx(src, dst, MorphologyOperation.Open, element); } else { Cv2.MorphologyEx(src, dst, MorphologyOperation.Close, element); } Cv2.PutText(dst, (n < 0) ? string.Format("Open/Erosion followed by Dilation[{0}]", elementShape) : string.Format("Close/Dilation followed by Erosion[{0}]", elementShape), new Point(10, 15), FontFace.HersheyPlain, 1, Scalar.Black); openCloseWindow.Image = dst; }); Cv2.WaitKey(); openCloseWindow.Dispose(); }
کدهای کامل این مثال را از اینجا میتوانید دریافت کنید.