حجم زیاد اطلاعات، مدیران مجموعه‌ها را در تحلیل و یافتن اطلاعات مفید دچار چالش کرده است. داده کاوی، ابزار مناسب برای تجزیه و تحلیل اطلاعات و کشف و استخراج روابط پنهان در مجموعه‌های داده‌ای سنگین را فراهم میکند. گروه مشاوره‌ای گارتنر داده کاوی را استخراج نیمه اتوماتیک الگوها، تغییرات، وابستگی‌ها، نابهنجاری‌ها و دیگر ساختارهای معنی دار آماری از پایگاه‌های بزرگ داده تعریف میکند. داده کاوی، تلاشی برای یافتن قوانین، الگوها و یا میل احتمالی داده به مُدلی، در بین انبوهی از دادهها است.
داده کاوی فرآیندی پیچیده جهت شناسایی الگوها و مدل‌های صحیح، جدید و به صورت بالقوه مفید، در حجم وسیعی از داده می‌باشد؛ به طریقی که این الگوها و مدلها برای انسانها قابل درک باشند. داده کاوی به صورت یک محصول قابل خریداری نمی‌باشد، بلکه یک رشته علمی و فرآیندی است که بایستی به صورت یک پروژه پیاده سازی شود.
به بیانی دیگر داده کاوی، فرآیند کشف الگوهای پنهان، جالب توجه، غیر منتظره و با ارزش از داخل مجموعه وسیعی از داده‌هاست و فعالیتی در ارتباط با تحلیل دقیق داده‌های سنگین بی ساختار است که علم آمار ناتوان از تحلیل آنهاست. بعضی مواقع دانش کشف شده توسط داده کاوی عجیب به نظر می‌رسد؛ مثلا ارتباط افراد دارای کارت اعتباری و جنسیت با داشتن دفترچه تامین اجتماعی یا سن، جنسیت و درآمد اشخاص با پیش بینی خوش حسابی او در بازپرداخت اقساط وام. داده کاوی در حوزه‌های تصمیم گیری، پیش بینی، و تخمین مورد استفاده قرار می‌گیرد.
پایه و اساس این تکنیک، ریشه در علوم زیر دارد:
OLAP و داده کاوی فن آوری‌های تحلیلی در خانواده BI به شمار می‌آیند. OLAP در زمینه تجمیع مقادیر عظیم داده‌های تراکنشی بر پایه تعاریف ابعادی مناسب است.
فن آوری OLAP بر پایه محاسبات تجمیعی است. سرویس دهنده OLAP نوع خاصی از سرویس دهنده‌ی بانک اطلاعاتی محسوب می‌گردد که با داده‌های چند بعدی سروکار دارد. بسیاری از مشکلات و مخاطرات نظیر ایندکس گذاری، ذخیره سازی دادهها و ... که در RDBMSها وجود دارد در سرویس دهنده‌ی OLAP نیز وجود دارد.
داده کاوی در یافتن الگوهای پنهان از یک مجموعه داده توسط تحلیل همبستگی میان مقادیر مشخصه‌ها مناسب است.
تکنیکهای داده کاوی دو گونه هستند: نظارت شده و نظارت نشده. در داده کاوی نظارت شده کاربر می‌بایست مشخصه‌ی هدف و مجموعه داده‌ی ورودی را تعیین نماید. الگوریتم‌های داده کاوی نظارت شده شامل درخت تصمیم، نیو بیز و شبکه‌های عصبی هستند. تکنیکهای داده کاوی نظارت نشده نیازی به تعیین مشخصه‌ی قابل پیش بینی ندارد. خوشه بندی مثال خوبی از داده کاوی نظارت نشده می‌باشد و به گروه بندی نقاط داده ای ناهمگن به زیر گروه هایی می‌پردازد که در آنها نقاط داده ای کم و بیش مشابه و همگن هستند.
یکی از فرآیند‌های اصلی داده کاوی، تحلیل همبستگی میان مشخصه‌ها و مقادیر آنها است. محققین آمار در این موارد قرن‌ها مطالعه داشته‌اند. OLAP و داده کاوی دو فن آوری مختلف هستند اما فعالیت‌های یکدیگر را تکمیل می‌کنند. OLAP فعالیت هایی نظیر خلاصه سازی، تحلیل تغییرات در طول زمان و تحلیل‌های What If را پشتیبانی می‌نماید. همچنین می‌توان آنرا برای تحلیل نتایج داده کاوی در سطوح مختلف و مجزا استفاده کرد. داده کاوی نیز می‌تواند در ساخت Cubeهای مفید‌تر سودمند باشد.
تفاوت میان OLAP و داده کاوی ارتباطی به تفاوت میان داده‌های تلخیص شده و داده‌های تشریحی ندارد. در واقع تمایز قابل توجهی میان مدل سازی توصیفی و تشریحی وجود دارد. توابع و الگوریتم هایی که معمولاً در ابزارهای OLAP یافت می‌شود، توابع مدل سازی توصیفی به شمار می‌آیند. در حالیکه توابعی که در آنچه که اصطلاحاً بسته داده کاوی نامیده می‌شود، یافت می‌شود توابع یا الگوهای مدل سازی تشریحی هستند.
این الگوریتم‌ها را به 5 دسته تقسیم می‌توان نمود:
برای مثال جهت تجزیه و تحلیل مجموعه ای از شرایط آب و هوایی که منجر به وقوع پدیده خاصی می‌شود. از الگوریتم زیر استفاده می‌شود:
Microsoft Sequence Clustering Algorithm
Microsoft Association Algorithm
Microsoft Decision Trees Algorithm
Microsoft Clustering Algorithm
Microsoft Sequence Clustering Algorithm
Microsoft Decision Trees Algorithm
Microsoft Naive Bayes Algorithm
Microsoft Clustering Algorithm
Microsoft Neural Network Algorithm
Microsoft Decision Trees Algorithm
Microsoft Time Series Algorithm
<head>
<title>@ViewBag.Title</title>
<link href="@Url.Content("~/Content/TagIt/jquery-ui-1.8.23.custom.css")" rel="stylesheet" type="text/css" />
<link href="@Url.Content("~/Content/TagIt/tagit-simple-blue.css")" rel="stylesheet" type="text/css" />
<link href="@Url.Content("Content/Site.css")" rel="stylesheet" type="text/css" />
<script src="@Url.Content("~/Scripts/jquery-1.9.1.min.js")" type="text/javascript"></script>
<script src="@Url.Content("~/Scripts/jquery.validate.min.js")" type="text/javascript"></script>
<script src="@Url.Content("~/Scripts/jquery.unobtrusive-ajax.min.js")" type="text/javascript"></script>
<script src="@Url.Content("~/Scripts/jquery.validate.unobtrusive.min.js")" type="text/javascript"></script>
<script src="@Url.Content("~/Content/TagIt/jquery-ui-1.8.23.custom.min.js")" type="text/javascript"></script>
<script src="@Url.Content("~/Content/TagIt/tagit.js")" type="text/javascript"></script>
@RenderSection("JavaScript", required: false)
</head>using System.ComponentModel;
using System.ComponentModel.DataAnnotations;
namespace jQueryMvcSample04.Models
{
public class BlogPostViewModel
{
[DisplayName("عنوان"), Required(ErrorMessage = "*")]
public string Title { set; get; }
[DisplayName("متن"), Required(ErrorMessage = "*")]
public string Body { set; get; }
/// <summary>
/// آرایه‌ای محدود از برچسب‌های این مطلب خاص به صورت جی‌سون که پیشتر ثبت شده است
/// هدف استفاده در حین ویرایش مطلب
/// </summary>
public string InitialTags { set; get; }
/// <summary>
/// آرایه‌ای جی‌سونی از تمام برچسب‌های موجود در سیستم
/// هدف نمایش منوی انتخاب برچسب‌ها از لیست
/// </summary>
public string TagsSource { set; get; }
/// <summary>
/// آرایه‌ای از برچسب‌های وارد شده توسط کاربر در حین ثبت مطلب
/// </summary>
[DisplayName("برچسب‌ها"), Required(ErrorMessage = "*")]
public string[] Tags { set; get; }
public int? Id { set; get; }
}
}using System.Web.Mvc;
using jQueryMvcSample04.Extensions;
using jQueryMvcSample04.Models;
namespace jQueryMvcSample04.Controllers
{
public class HomeController : Controller
{
[HttpGet]
public ActionResult Index(int? id)
{
//در ابتدای کار تمام تگ‌های موجود در سیستم از بانک اطلاعاتی دریافت خواهند شد
//از این تگ‌ها برای تشکیل منوی انتخاب برچسب‌ها استفاده می‌شود
var tagsSource = new[] { "C#", "C++", "C", "ASP.NET", "MVC" }.ToJson();
//همچنین صرفا برچسب‌های مطلب جاری که پیشتر ثبت شده‌اند نیز باید از بانک اطلاعاتی دریافت گردند
//از این برچسب‌ها برای ویرایش یک مطلب موجود استفاده خواهد شد
var init = new[] { "ASP.NET" }.ToJson();
var model = new BlogPostViewModel
{
TagsSource = tagsSource,
InitialTags = init,
Id = id
};
return View(model);
}
[HttpPost]
public ActionResult Index(BlogPostViewModel data)
{
if (this.ModelState.IsValid)
{
//todo: save data
// ...
return RedirectToAction(actionName: "index", controllerName: "home");
}
//در صورت بروز خطا مجددا اطلاعات موجود نمایش داده خواهند شد
data.TagsSource = new[] { "C#", "C++", "C", "ASP.NET", "MVC" }.ToJson();
data.InitialTags = data.Tags.ToJson();
return View(data);
}
}
}
using System.Linq;
using System.Web.Script.Serialization;
namespace jQueryMvcSample04.Extensions
{
public static class JsonExt
{
public static string ToJson(this string[] initialTags)
{
if (initialTags == null || !initialTags.Any())
return "[]";
else
return new JavaScriptSerializer().Serialize(initialTags);
}
}
}@model jQueryMvcSample04.Models.BlogPostViewModel
@{
ViewBag.Title = "Index";
}
@using (Html.BeginForm())
{
@Html.ValidationSummary(true)
<fieldset>
<legend>ثبت مطلب جدید</legend>
@Html.HiddenFor(model => model.Id)
<div class="editor-label">
@Html.LabelFor(model => model.Title)
</div>
<div class="editor-field">
@Html.EditorFor(model => model.Title)
@Html.ValidationMessageFor(model => model.Title)
</div>
<div class="editor-label">
@Html.LabelFor(model => model.Body)
</div>
<div class="editor-field">
@Html.EditorFor(model => model.Body)
@Html.ValidationMessageFor(model => model.Body)
</div>
<div class="editor-label">
@Html.LabelFor(model => model.Tags)
</div>
<div class="editor-field">
<ul id="tagsList" dir="ltr" name="Tags">
</ul>
@Html.ValidationMessageFor(model => model.Tags)
</div>
<p>
<input type="submit" value="Create" />
</p>
</fieldset>
}
@section JavaScript
{
<script type="text/javascript">
$(document).ready(function () {
var tagsSource = @Html.Raw(Model.TagsSource);
$('#tagsList').tagit({
tagSource: tagsSource,
select: true,
triggerKeys: ['enter', 'comma', 'tab'],
initialTags: @Html.Raw(Model.InitialTags)
});
});
</script>
}
try {
Employees objInfo = new Employees();
EmployeesFactory objFactory = new EmployeesFactory();
objInfo.EmployeeID = EmployeeID;
objFactory.Load(objInfo);
// code here to use the "objInfo" object
}
catch(Exception ex) {
// code here to handle the exception
}
پی نوشت: سیستم به اسمبلی هایی که از روی ماشین یا از طریق شبکه به اشتراک گذاشته می‌شوند اعتماد کامل میکند که این اعتماد شامل کدهای ناامن هم می‌شود ولی به طور پیش فرض به اسمبلی هایی از طریق اینترنت اجرا می‌شوند اجازه اجرای کدهای ناامن را نمی‌دهد و اگر شامل کدهای ناامن شود یکی از خطاهایی که در بالا به آن اشاره کردیم را صادر می‌کنند. در صورتی که مدیر یا کاربر سیستم اجازه اجرای آن را بدهد تمامی مسئولیت‌های این اجرا بر گردن اوست.
